CN114913944A - 光人工神经网络血糖检测芯片及制备方法 - Google Patents

光人工神经网络血糖检测芯片及制备方法 Download PDF

Info

Publication number
CN114913944A
CN114913944A CN202110172851.4A CN202110172851A CN114913944A CN 114913944 A CN114913944 A CN 114913944A CN 202110172851 A CN202110172851 A CN 202110172851A CN 114913944 A CN114913944 A CN 114913944A
Authority
CN
China
Prior art keywords
neural network
layer
optical
artificial neural
blood sugar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110172851.4A
Other languages
English (en)
Inventor
崔开宇
熊健
杨家伟
黄翊东
张巍
冯雪
刘仿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110172851.4A priority Critical patent/CN114913944A/zh
Publication of CN114913944A publication Critical patent/CN114913944A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Neurology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种光人工神经网络血糖检测芯片及制备方法，用于血糖检测任务，本发明在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光调制层作为人工神经网络的输入层和线性层，将硬件芯片上的光调制层对入射光的滤波作用作为输入层到线性层的连接权重，将硬件芯片上的图像传感器的平方检波响应作为人工神经网络的非线性层中的第一次非线性激活函数，本发明将血液空间不同点处的图像信息、光谱信息、入射光的角度和入射光的相位信息投影到硬件芯片的光电流响应中，并在处理器中实现电信号的全连接、非线性层中的第二次非线性激活函数以及输出层，从而实现了低功耗、安全可靠的快速准确、非侵入式的血糖检测。

Description

光人工神经网络血糖检测芯片及制备方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种光人工神经网络血糖检测芯片及制备方法。
背景技术
糖尿病(Diabetes Mellitus，简称DM)是一种多病因的代谢疾病，由胰岛素分泌不足或胰岛素利用障碍导致，以慢性高血糖为主要特征，伴有碳水化合物、脂肪和蛋白质代谢紊乱，可引发一系列严重的并发症。糖尿病作为威胁人类健康的重大疾病之一，目前临床上尚无根治方法。根据相关发布数据，2017年底全球糖尿病患者为4.25亿，预计2045年该数值将上升到6.29亿。糖尿病不仅大大降低了患者的生活质量，而且增加了全球的经济负担，因此对糖尿病预防及治疗的相关研究刻不容缓。
随着生活水平的不断提高，糖尿病已成为严重影响人类身体健康的一种世界性的第三大疾病。为了有效监控糖尿病患者的血糖浓度，家用便携式血糖仪及血糖试纸得到了广泛的使用。目前市场上对血糖的检测，主要是针对采集血样的有创伤或微创伤检测，给患者带来极大的痛苦，而且存在病毒通过血液感染的危险。因此，无创伤血糖检测成为治疗糖尿病的迫切需求。
目前无创血糖检测的方法主要有光学和辐射方法、反向离子电渗分析法、电磁波法、超声波法以及组织液提取法等。例如，近红外光谱检测法主要利用血糖浓度与其近红外光谱吸收之间的关系，用近红外光照射皮肤，并从反射光强度变化来反映出血糖浓度。这种方法具有测量快速、无需化学试剂及消耗品等优点，但是由于被测对象的个体差异大，且取得的信号又非常微弱，因此在测量部位选择、测量条件选取、重叠光谱中提取微弱化学信息的方法等关键性技术方面还有待进一步解决。且信号处理系统体积大，无法随身携带。还有皮下组织液检测法，通过测量皮下渗出的组织液的葡萄糖浓度来反映血糖浓度。根据此原理可制成检测葡萄糖的手表，并可实时连续监控血糖浓度，然而这种方法准确性较差，且反应速度慢，因此很难替代现有的有创血糖仪。
发明内容
针对现有技术存在的问题，本发明实施例提供一种光人工神经网络血糖检测芯片及制备方法。
具体地，本发明实施例提供了如下技术方案：
第一方面，本发明实施例提供了一种光人工神经网络血糖检测芯片，用于血糖检测任务，包括：光调制层、图像传感器和处理器；所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层；
所述光调制层设置于所述图像传感器表面，所述光调制层包含有光调制结构，所述光调制结构用于对经人体待测部位反射和/或透射进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；所述人体待测部位是具备血糖信息的部位；
所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，所述处理器将与不同位置点对应的电信号进行全连接处理，得到血糖检测结果，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到血糖检测结果。
进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
进一步地，所述光人工神经网络血糖检测芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；或，所述训练好的光调制结构、图像传感器和处理器是指利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由具有不同血糖值的人体待测部位反射或透射的入射光；所述输出训练样本包括相应的血糖值。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
进一步地，用于照射人体待测部位的光源为近红外光源。
进一步地，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光调制层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光调制层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
第二方面，本发明实施例提供一种智能血糖检测仪，包括如上所述的光人工神经网络血糖检测芯片。
第二方面，本发明实施例提供一种如上所述的光人工神经网络血糖检测芯片的制备方法，包括：
在所述图像传感器的表面制备包含有光调制结构的光调制层；
生成具备对信号进行全连接处理功能的处理器或生成具备对信号进行全连接处理以及第二次非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息；
所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；
所述处理器将与不同位置点对应的电信号进行全连接处理，得到血糖检测结果，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到血糖检测结果。
进一步地，还包括：对所述光人工神经网络血糖检测芯片的训练过程，具体包括：
利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器；
或，利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在所述图像传感器的表面制备包含有光调制结构的光调制层，包括：
在所述图像传感器的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；
或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。
本发明实施例实现了一种能够实现人工神经网络功能的全新光人工神经网络血糖检测芯片，用于血糖检测任务，本发明实施例在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光调制层作为人工神经网络的输入层和线性层，将硬件芯片上的光调制层对入射光的滤波作用作为输入层到线性层的连接权重，将硬件芯片上的图像传感器的平方检波响应作为人工神经网络的非线性层中的第一次非线性激活函数，本发明实施例将带有血糖信息的人体待测部位血液空间不同点处的入射光携带信息入射到预先训练好的硬件芯片中，通过硬件芯片对带有血糖信息的人体待测部位血液的入射光携带信息的人工神经网络分析进而得出血糖检测结果，需要说明的是，本发明实施例实现了低功耗、安全可靠的快速准确、非侵入式的血糖检测，从而能够很好地满足用户对于无创血糖准确检测的需求。
可以理解的是，在该光人工神经网络血糖检测芯片中，光调制层对应人工神经网络的输入层和线性层，图像传感器对应人工神经网络的非线性层的一部分；所述处理器对应人工神经网络的非线性层的另一部分以及输出层。具体地，光调制层设置于图像传感器的表面，光调制层包含有光调制结构，光调制结构用于对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在图像传感器的表面得到与不同位置点对应的入射光携带信息，在本发明实施例中，光调制层上的光调制结构对入射光的调制作用相当于输入层到所述线性层的连接权重。同时，在本发明实施例中，图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号，由此可见，在该光人工神经网络血糖检测芯片中，所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，也即该光人工神经网络血糖检测芯片中的光调制层和图像传感器实现了人工神经网络中输入层、线性层和部分非线性激活函数的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数进行了剥离，利用硬件的方式实现了人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数这些结构，从而使得后续在使用该光人工神经网络血糖检测芯片进行人工神经网络智能处理时不需要再进行与输入层、线性层以及一部分或全部非线性激活函数对应的复杂的信号处理和算法处理，只需由光人工神经网络血糖检测芯片中的处理器进行与电信号全连接处理或全连接以及第二次非线性激活处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。由此可见，本发明实施例将光调制层作为人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，将图像传感器的平方检波响应作为人工神经网络的非线性层中的第一次非线性激活函数；将处理器作为人工神经网络的全连接以及输出层，或，将处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，由此可见，本发明实施例不但能够省去现有技术中与输入层、线性层和一部分非线性激活函数对应的复杂的信号处理和算法处理，从而可以大幅降低人工神经网络处理时的功耗和延时。
此外，可以理解的是，本发明实施例可以利用人体待检测部位的血液的入射光携带信息，例如图像信息、光谱信息、入射光的角度和入射光的相位信息中的一种或多种，由于人体待检测部位的血液空间不同点处的入射光携带信息涵盖了人体待检测部位的血液的图像、成分、形状、三维深度、结构等信息，从而在依据人体待检测部位的血液空间不同点处的入射光携带信息进行识别处理时，可以涵盖人体待检测部位的血液的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的难以准确实现血糖无创检测的问题，由此可见，本发明实施例提供的光人工神经网络血糖检测芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地实现血糖值的无创检测。
由此可见，本发明实施例提供了用于准确实现血糖值的无创检测的新型光电芯片，该芯片将人工神经网络部分嵌入包含各种光调制层的图像传感器中，实现安全可靠、快速准确的血糖无创检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一个实施例提供的光人工神经网络血糖检测芯片的结构示意图；
图2是本发明一实施例提供的光人工神经网络血糖检测芯片识别原理示意图；
图3是本发明一实施例提供的光人工神经网络血糖检测芯片拆解示意图；
图4a是本发明一实施例提供的对用户手指透射的光进行识别以检测血糖值的示意图；
图4b是本发明一实施例提供的对用户手腕反射的光进行识别以检测血糖值的示意图；
图5是本发明一实施例提供的一种光调制层的俯视图；
图6是本发明一实施例提供的另一种光调制层的俯视图；
图7是本发明一实施例提供的又一种光调制层的俯视图；
图8是本发明一实施例提供的另又一种光调制层的俯视图；
图9是本发明一实施例提供的再又一种光调制层的俯视图；
图10是本发明一实施例提供的还又一种光调制层的俯视图；
图11是本发明一实施例提供的微纳结构宽带滤波效果示意图；
图12是本发明一实施例提供的微纳结构窄带滤波效果示意图；
图13是本发明一实施例提供的前照式的图像传感器结构示意图；
图14是本发明一实施例提供的后照式的图像传感器结构示意图；
图15是本发明第三个实施例提供的光人工神经网络血糖检测芯片的制备方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明第一个实施例提供的光人工神经网络血糖检测芯片，用于血糖检测任务，包括：光调制层1、图像传感器2和处理器3；所述光调制层1对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器2的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器3对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层；
所述光调制层1设置于所述图像传感器的表面或图像传感器的感光区域的表面，所述光调制层1包含有光调制结构，所述光调制层1用于通过所述光调制结构对经人体待测部位反射和/或透射进入至所述光调制结构不同位置点处的入射光分别进行随波长变化强度调制的频谱调制，即对不同波长的入射光进行不同的强度调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；其中，所述人体待测部位是具备血糖信息的部位，如手指、手腕、前臂、耳垂等部位。
由此可见，在本实施例中，需要利用光源照射人体待测部位，然后使得透射光或反射光进入芯片的光调制层，由光调制层中的光调制结构对入射至光调制结构上的光进行调整，由于光调制层中的光调制结构是预先设计好的可以进行血糖值检测的调制图案，因此，当人体待测部位的透射光或反射光进入芯片的光调制层后，芯片上的光调制层、图像传感器和处理器一起作为人工神经网络的整体对所述透射光或反射光进行识别，进而得到血糖值检测结果。
在本实施例中，用于照射人体待测部位的光源可以为近红外光源，波长范围780nm-2526nm。
此外，需要说明的是，光调制层中的可以进行血糖值检测的调制图案可以通过如下方式进行设定：
对于人体血糖检测，可以通过在计算机上对调制图案进行光学仿真，得到调制图案对入射光不同波长成分的调制强度(透射率)，将其作为人工神经网络输入层到线性层的连接权重，并在计算机中实现非线性激活函数，预先对大量血糖数据对应的光谱信号数据进行采集并进行数据训练，可以设计出所需的调制图案并进行制备，在芯片上通过硬件方式(光调制层和图像传感器)实现人工神经网络的输入层、线性层以及第一次非线性激活函数，从而使得在用户检测血糖的过程中，通过对不同波长的入射光调制得到的电信号进行算法还原，便可实现对该用户血糖值的快速准确检测。
在本实施例中，所述图像传感器2的平方检波响应是指图像传感器探测到的是入射光场的强度信息，而入射光场的强度信息为光场信号取模的平方，也即所述图像传感器2通过平方检波响应将与不同位置点经光调制层1调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器3；所述电信号为经光调制层调制后的图像信号；其中，所述入射光包括人体待检测部位的血液的反射光和/或透射光；
所述处理器3用于将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号，也即得到血糖检测结果。
在本实施例中，所述入射光携带信息中包含有人体待检测部位的血液的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
在本实施例中，光调制层1设置于图像传感器的表面，光调制层1包含有光调制结构，光调制层1用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在图像传感器的表面得到与不同位置点对应的调制后的入射光携带信息。由此可见，在实施例中，光调制层上的光调制结构对入射光的调制作用可以看作是输入层到所述线性层的连接权重；
在本实施例中，图像传感器2对调制后的入射光携带信息进行光电转换时，由于图像传感器2只能探测光的强度信息，故其对光场分布信号进行处理得到的电信号正比于光场分布信号的模的平方，因此，图像传感器2存在平方检波响应，故可以将图像传感器2看作为人工神经网络的非线性层的一部分，也即可以将图像传感器2的平方检波响应看作为人工神经网络的第一次非线性激活函数。
在本实施例中，图像传感器2通过平方检波响应将与不同位置点经光调制层1调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，即经光调制层调制后的图像信号，与此同时，与图像传感器2连接的处理器3用于将与不同位置点对应的电信号进行全连接处理或进行全连接以及第二次非线性激活处理，得到人工神经网络的输出信号。
在本实施例中，光调制层1包含有光调制结构，通过光调制结构对进入至光调制结构不同位置点处的入射光(例如待识别目标的反射光、透射光、辐射光等相关作用光)进行不同强度的频谱调制，以在图像传感器2的表面得到与不同位置点对应的光场分布信号。
在本实施例中，可以理解的是，调制强度与光调制结构的具体结构形式有关，例如，可以通过设计不同的光调制结构(如改变光调制结构的形状和/或尺寸参数)来实现不同的调制强度。
在本实施例中，可以理解的是，光调制层1上不同位置处的光调制结构对入射光具有不同的频谱调制作用，光调制结构对入射光不同波长成分的调制强度对应于人工神经网络线性层的连接强度，也即对应输入层以及输入层到线性层的连接权重。需要说明的是，光调制层1是由多个光滤波器单元组成的，每个光滤波器单元内不同位置处的光调制结构是不同的，因此对入射光具有不同的频谱调制作用；光滤波器单元之间不同位置处的光调制结构可以相同或不同，因此对入射光具有相同或不同的频谱调制作用。
在本实施例中，图像传感器2通过平方检波响应将与不同位置点经光调制层1调制后对应的光场分布信号进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给处理器3，图像传感器2对应神经网络的非线性层的一部分。
在本实施例中，处理器3将不同位置点的电信号进行全连接处理或，处理器3将不同位置点的电信号进行全连接处理以及第二次非线性激活处理，进而得到人工神经网络的输出信号。
可以理解的是，在本实施例中，图像传感器2对应神经网络非线性层的一部分，处理器3对应神经网络的非线性层的另一部分以及输出层，也可以理解成对应神经网络中除输入层、线性层和非线性层中的第一次非线性激活函数以外的剩余层(其他所有层)。
在本实施例中，需要说明的是，图像传感器2的平方检波响应对应神经网络非线性层中的第一次非线性激活函数，在这种情况下，可以是处理器中只进行全连接处理，不再进行第二次非线性激活处理，也可以是处理器中既进行全连接处理，又进行第二次非线性激活处理。具体可根据芯片的实际应用场景确定，本实施例对此不作限定。
此外，需要补充说明的是，处理器3可以设置在所述光人工神经网络血糖检测芯片内，也即所述处理器3可以和所述光调制层1以及图像传感器2一起设置在光人工神经网络血糖检测芯片内，也可以单独地设置在光人工神经网络血糖检测芯片外，并通过数据线或连接器件与光人工神经网络血糖检测芯片内中的图像传感器2连接，本实施例对此不作限定。
此外，需要说明的是，所述处理器3可以采用计算机实现，也可以采用具有一定运算能力的ARM或FPGA电路板实现，还可以采用微处理器实现，本实施例对此不做限定。此外，正如前面所述，所述处理器3可以集成在所述光人工神经网络血糖检测芯片内，也可以独立于所述光人工神经网络血糖检测芯片外设置。当所述处理器3独立于所述光人工神经网络血糖检测芯片外设置时，可以通过信号读出电路将图像传感器2中的电信号读出至处理器3中，进而由处理器3对读出的电信号进行全连接处理与非线性激活处理。
在本实施例中，可以理解的是，处理器3在进行第二次非线性激活处理时，可以采用非线性激活函数实现，例如可以采用Sigmoid函数、Tanh函数、ReLU函数等，本实施例对此不作限定。
在本实施例中，光调制层1对应人工神经网络的输入层、线性层以及输入层到线性层的连接权重，图像传感器2对应于人工神经网络的非线性层的一部分，也即图像传感器2的平方检波响应对应于人工神经网络的第一非线性激活函数，图像传感器2用于通过平方检波响应将空间不同位置点的光场分布信号进行非线性激活处理进而转化为电信号，处理器3对应人工神经网络的剩余层，将不同位置的电信号进行全连接，也可以进一步经由第二次非线性激活函数得到人工神经网络的输出信号。
如图2左侧所示，光人工神经网络血糖检测芯片包括光调制层1、图像传感器2和处理器3，在图2中，处理器3采用信号读出电路和计算机来实现。如图2右侧所示，光人工神经网络血糖检测芯片中的光调制层1对应人工神经网络的输入层和线性层，图像传感器2对应人工神经网络的非线性层的一部分，处理器3对应人工神经网络的非线性层的另一部分和输出层，光调制层1对进入光调制层1的入射光的滤波作用对应输入层到线性层的连接权重，图像传感器2的平方检波响应对应人工神经网络的第一非线性激活函数，由此可见，本实施例提供的光人工神经网络血糖检测芯片中的光调制层和图像传感器通过硬件的方式实现了人工神经网络中输入层、线性层和部分或全部非线性激活函数的相关功能，从而使得后续在使用该光人工神经网络血糖检测芯片进行智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理(例如省略了输入层到线性层的连接权重等这些计算)，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，由于本实施例同时利用了人体待检测部位的血液空间不同点处的图像信息、光谱信息、入射光角度信息和入射光相位信息，从而可以更加准确地实现对人体待检测部位的血液的血糖值无创识别。
如图2右侧所示，光调制层1对入射光具有不同的宽带频谱调制作用，将对应单元位置处的入射光频谱Pλ投影/连接到出射的光场EN上；图像传感器2的平方检波响应对应于光人工神经网的一部分非线性激活函数，将光调制层1的出射光场EN转换为图像传感器的光电流响应IN上。处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出IN至传输到计算机中，由计算机进行电信号的全连接处理或再次进行非线性激活处理，最后输出血糖值检测结果。
如图3所示，光调制层1上的光调制结构集成在图像传感器2表面，对入射光进行调制，将入射光的频谱信息投影/连接到图像传感器2的不同像素点上，得到包含入射光频谱信息和图像信息的电信号，也即入射光经过光调制层1后，由图像传感器2的平方检波响应进行非线性激活后转换成电信号，形成包含入射光的频谱信息的图像，最后由与图像传感器2连接的处理器3对包含入射光的频谱信息和图像信息的电信号进行处理，进而获得输出结果。
在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用了人体待检测部位的血液的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对目标对象进行识别，从而可以更加准确地实现对人体待检测部位的血液中血糖的智能识别。
由此可见，本实施例提供的光人工神经网络血糖检测芯片可以利用了人体待检测部位的血液的图像信息、光谱信息、入射光的角度和入射光的相位信息中的一种或多种，即空间不同点处的入射光携带信息，并在硬件上嵌入了人工神经网络，从空间图像、光谱、角度、相位信息中可以进一步提取物质成分、图像形状、三维深度、物质成分分布等信息，从而可以解决背景技术部分所提到的难以准确实现血糖无创检测的问题，同时本发明实施例能够省去现有技术中与输入层、线性层和一部分非线性激活函数对应的复杂的信号处理和算法处理，从而可以低功耗和低延时，由此可见，本发明实施例提供的光人工神经网络血糖检测芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地检测出血糖值，此外，本实施例提供的芯片体积较小，可以集成在一个较小的设备上，从而方便随身携带。
本发明实施例实现了一种能够实现人工神经网络功能的全新光人工神经网络血糖检测芯片，用于血糖检测任务，本发明实施例在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光调制层作为人工神经网络的输入层和线性层，将硬件芯片上的光调制层对入射光的滤波作用作为输入层到线性层的连接权重，将硬件芯片上的图像传感器的平方检波响应作为人工神经网络的非线性层中的第一次非线性激活函数，本发明实施例将带有血糖信息的人体待测部位的空间光谱信息投影到预先训练好的硬件芯片中，使得硬件芯片通过对带有血糖信息的人体待测部位的空间光谱信息的分析得出血糖检测结果，需要说明的是，本发明实施例实现了低功耗、安全可靠的快速准确、非侵入式的血糖检测，从而很好地满足了用户对于无创血糖准确检测的需求。
可以理解的是，在该光人工神经网络血糖检测芯片中，光调制层对应人工神经网络的输入层和线性层，图像传感器对应人工神经网络的非线性层的一部分；所述处理器对应人工神经网络的非线性层的另一部分以及输出层。具体地，光调制层设置于图像传感器的表面，光调制层包含有光调制结构，光调制结构用于对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在图像传感器的表面得到与不同位置点对应的入射光携带信息，在本发明实施例中，光调制层上的光调制结构对入射光的调制作用相当于输入层到所述线性层的连接权重。同时，在本发明实施例中，图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号，由此可见，在该光人工神经网络血糖检测芯片中，所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，也即该光人工神经网络血糖检测芯片中的光调制层和图像传感器实现了人工神经网络中输入层、线性层和部分非线性激活函数的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数进行了剥离，利用硬件的方式实现了人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数这些结构，从而使得后续在使用该光人工神经网络血糖检测芯片进行人工神经网络智能处理时不需要再进行与输入层、线性层以及一部分或全部非线性激活函数对应的复杂的信号处理和算法处理，只需由光人工神经网络血糖检测芯片中的处理器进行与电信号全连接处理或全连接以及第二次非线性激活处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。由此可见，本发明实施例将光调制层作为人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，将图像传感器的平方检波响应作为人工神经网络的非线性层中的第一次非线性激活函数；将处理器作为人工神经网络的全连接以及输出层，或，将处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，由此可见，本发明实施例不但能够省去现有技术中与输入层、线性层和一部分非线性激活函数对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了人体待检测部位的血液的图像信息、光谱信息、入射光的角度和入射光的相位信息，即人体待检测部位的血液空间不同点处的入射光携带信息，由此可见，由于人体待检测部位的血液空间不同点处的入射光携带信息涵盖了人体待检测部位的血液的图像、成分、形状、三维深度、结构等信息，从而在依据人体待检测部位的血液空间不同点处的入射光携带信息进行识别处理时，可以涵盖人体待检测部位的血液的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的难以准确实现血糖无创检测的问题，由此可见，本发明实施例提供的光人工神经网络血糖检测芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地实现血糖值的无创检测。由此可见，本发明实施例提供了一种用于准确检测血糖值的新型光电芯片，该芯片将人工神经网络部分嵌入包含各种光调制层的图像传感器中，实现安全可靠、快速准确的血糖无创检测。
需要说明的是，本发明实施例提供的用于准确检测血糖值的新型光电芯片，其具有测量精度高、便携、可实时在线检测、操作简单等优点，能够极大提高糖尿病患者的生活质量，具有广阔的市场前景。
基于上述实施例的内容，在本实施例中，所述光人工神经网络血糖检测芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；或，所述训练好的光调制结构、图像传感器和处理器是指利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
其中，所述输入训练样本包括由具有不同血糖值的人体待测部位反射或透射的入射光；所述输出训练样本包括相应的血糖值。
可以理解的是，由于光调制层对进入光调制层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光调制层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数，从而完成对光人工神经网络血糖检测芯片的训练。
可以理解的是，对于无创血糖检测，可以先对大量具备血糖信息的人体部位对应的光谱信号数据进行采集，并用计算机模拟入射光经过微纳调制结构的响应，通过数据训练，可以逆向设计出所需的微纳调制结构，将其集成在图像传感器上方。在用户检测血糖的过程中，通过对不同波长的入射光调制得到的电信号进行算法还原，便可实现对该用户血糖值的快速准确检测。
具体来说，对于人体血糖检测，可以通过在计算机上对微纳调制结构进行光学仿真，可以得到调制结构对入射光不同波长成分的调制强度(透射率)，将其作为人工神经网络输入层到线性层的连接权重，并在计算机中实现非线性激活函数，预先对大量血糖数据对应的光谱信号数据进行采集并进行数据训练，可以设计出所需的微纳调制结构并进行制备，在芯片上实现人工神经网络的输入层、线性层以及部分非线性激活函数。在用户检测血糖的过程中，通过对不同波长的入射光调制得到的电信号进行算法还原，便可实现对该用户血糖值的快速准确检测。
可以理解的是，在对光人工神经网络血糖检测芯片训练后，就可以使用该光人工神经网络血糖检测芯片执行识别任务。具体地，人体待检测部位的血液携带有空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息的入射光进入训练好的光人工神经网络血糖检测芯片的光调制层1后，光调制层1中的光调制结构会对入射光进行调制，调制后的光信号强度由图像传感器2探测并转换成电信号，再由处理器3进行全连接处理或同时进行全连接以及第二次非线性激活处理，就能得到血糖值检测结果。
如图4a所示，对于人体待检测部位的血液进行识别以检测血糖值的完整流程为：光源100(可以利用手机屏幕光源)照射到带有血糖信息的人体待检测部位200(手指)上，然后人体待检测部位的血液的透射光由光人工神经网络血糖检测芯片300采集，由光人工神经网络血糖检测芯片中的光调制层、图像传感器和处理器进行处理后，即可得到血糖值的检测结果。
又如图4b所示，对于人体待检测部位的血液进行识别以检测血糖值的完整流程为：光源100(可以利用手机屏幕光源)照射到带有血糖信息的人体待检测部位200(手腕)上，然后人体待检测部位的血液的反射光由光人工神经网络血糖检测芯片300采集，由光人工神经网络血糖检测芯片中的光调制层、图像传感器和处理器进行处理后，即可得到血糖值的检测结果。
在本实施例中，其中，光源100可以为近红外光源，波长范围780nm-2526nm。
其中，人体待测部位有多种选择，包括但不限于手指、手腕、前臂、耳垂等部位。检测方式包括但不限于透射检测、反射检测、透射检测与反射检测结合等方式。
需要说明的是，该芯片在图像传感器的感光区域表面上直接制备微纳调制结构，若干个分立或连续的微纳结构构成一个单元，不同位置处的微纳调制结构对入射光具有不同的频谱调制作用，共同构成了光调制层。这些微纳调制结构对入射光不同波长成分的调制强度对应于人工神经网络的连接强度(线性层权重)，同时图像传感器的平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理，实现光谱成像的人工神经网络，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，实现光谱成像的人工神经网络。
对于无创血糖检测，可以先对大量血糖数据对应的光谱信号数据进行采集，并用计算机模拟入射光经过微纳调制结构的响应，通过数据训练，可以逆向设计出所需的微纳调制结构，将其集成在图像传感器上方。在用户检测血糖的过程中，通过对不同波长的入射光调制得到的电信号进行算法还原，便可实现对该用户血糖值的快速准确检测。该芯片利用人体中血液含糖量的光谱信息，并在硬件上嵌入了人工神经网络，提高了血糖检测的速度和精度。此外，该芯片方案可以利用现有的CMOS工艺实现量产，降低了器件的体积、功耗和成本。
在本实施例中，将光调制层1作为神经网络的输入层和线性层，将图像传感器2作为神经网络的非线性层的一部分(也即将图像传感器2的平方检波响应作为神经网络的第一非线性激活函数)，为了使神经网络的损失函数最小，将光调制层中的光调制结构对人体待检测部位的血液的入射光中不同波长成分的调制强度作为神经网络的输入层到线性层的连接权重，通过调整光调制层的结构可以调整人体待检测部位的血液的入射光中不同波长成分的调制强度，从而实现对输入层到线性层连接权重的调整，进而优化神经网络的训练。
因此，本实施例中光调制结构是基于神经网络训练得到的，通过计算机对训练样本进行光学仿真，获取训练样本中光调制结构对智能处理任务中人体待检测部位的血液的入射光不同波长成分的样本调制强度，将样本调制强度作为神经网络的输入层到线性层的连接权重，进行非线性激活，并利用与智能处理任务对应的训练样本进行神经网络训练，直至神经网络收敛时将对应的训练样本光调制结构作为对应智能处理任务的光调制层。
由此可见，本实施例通过在物理层实现神经网络的输入层和线性层(光调制层)以及非线性层的一部分(图像传感器2的平方检波响应作为神经网络的第一次非线性激活函数)，能够省去现有技术中与输入层、线性层以及部分或全部非线性激活函数对应的复杂的信号处理和算法处理，从而可以提高处理速度，降低时延。同时本发明实施例实际上同时利用了人体待检测部位的血液空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，即人体待检测部位的血液的空间不同点处的入射光携带信息，由此可见，由于人体待检测部位的血液空间不同点处的入射光携带信息涵盖了人体待检测部位的血液的图像、成分、形状、三维深度、结构等信息，从而在依据人体待检测部位的血液空间不同点处的入射光携带信息进行识别处理时，可以涵盖人体待检测部位的血液的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的无法实现血糖无创准确检测的问题。
基于上述实施例的内容，在本实施例中，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
本实施例通过计算机光学仿真对光调制结构进行设计，通过光学仿真调整光调制结构，直至神经网络收敛时确定对应的光调制结构为最终需要制作的光调制结构尺寸，节省原型制作时间和成本，提高产品效率，轻松解决复杂的光学问题。例如，可以通过FDTD软件来对光调制结构进行仿真设计，在光学仿真中改变光调制结构，从而可以准确地预测光调制结构对不同入射光的调制强度，并将其作为神经网络输入层与线性层的连接权重，对光人工神经网络血糖检测芯片进行训练，准确获取光调制结构。
可以理解的是，可以预先对不同血糖值的人体部位进行多次反射光或透射光的采集并进行数据训练，可以设计出所需的微纳调制结构并进行制备，在芯片上实现人工神经网络的输入层、线性层以及非线性层中的第一次非线性激活函数。
由此可见，本实施例通过采用计算机光学仿真设计的方式设计光调制结构，节省了光调制结构原型制作时间和成本，提高产品效率。
本实施例提供的基于微纳调制结构和图像传感器的光人工神经网血糖检测芯片，其结构示意图如图2所示，包括光调制层1、图像传感器2和处理器3。光调制层1对应于光人工神经网的输入层和线性层，其中，若干个分立或连续的微纳调制结构构成一个单元，这些调制结构对入射光具有不同的宽带频谱调制作用，不同单元包含的微纳调制结构可以相同或不同，也可以根据图像进行空间重构。每个单元与多个图像传感器感光像素在垂直方向上相对应。图像传感器2的平方检波响应对应于光人工神经网的一部分非线性激活函数，将光调制层1的出射光场EN转换为图像传感器的光电流响应IN上。处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出IN至传输到计算机中，由计算机进行电信号的全连接处理或再次进行非线性激活处理，最后输出血糖检测结果。
从纵向上看，如图2所示，光调制层中的每个微纳调制结构是通过预先的人工神经网络训练设计得到的，可以通过在图像传感器上直接生长一层或多层介质或金属材料，再进行刻蚀来制备。光调制层中每个调制单元的整体尺寸通常为λ2～105λ2，厚度通常为0.1λ～10λ，λ是目标波段的中心波长。光调制层中的每个调制单元结构对应图像传感器上的多个像素。光调制层直接在图像传感器上制备，图像传感器和处理器之间通过电接触进行连接。
可以理解的是，光调制层和CIS晶圆(CIS晶圆作为一种特殊的图像传感器)都可以由半导体CMOS集成工艺制造，从晶圆级别直接在图像传感器上单片集成光调制层，利用CMOS工艺一次流片即可完成该芯片的制备，从而可以在晶圆级别实现单片集成，有利于减小传感器与光调制层之间的距离，缩小器件的体积，降低封装成本。
由此可见，本实施例将光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，将图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数，进而将人体待测部位血液的空间光谱信息投影到图像传感器的光电流响应中，并在处理器中实现电信号的全连接和第二次非线性激活，从而可以快速实现血糖无损检测。
本实施例提供的基于微纳调制结构和图像传感器的光人工神经网络血糖检测芯片具有以下效果：A、将人工神经网络部分嵌入至包含各种光调制层的图像传感器中，利用芯片对待测部位的反射光或透射光的处理，实现安全可靠、快速准确的血糖无损检测。B、可以通过CMOS工艺一次流片完成对该芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。C、在晶圆级别实现单片集成，可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本，且易于后期集成为可穿戴式实时血糖监测仪。
由此可见，本实施例将光调制层作为人工神经网络的输入层和线性层，将图像传感器作为人工神经网络的非线性层中的第一次非线性激活，将血糖信息的空间光谱信息投影到图像传感器的光电流响应中，并在处理器中实现电信号的全连接和第二次非线性激活(也可以没有第二次非线性激活)，从而实现了低功耗、安全可靠的快速准确、非侵入式的血糖检测。
基于上述实施例的内容，在本实施例中，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。
在本实施例中，所述光调制层中的光调制结构可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
在本实施例中，这里光调制结构包括规则结构可以指：光调制结构包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
在本实施例中，这里的光调制结构包括不规则结构可以指：光调制结构包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
在本实施例中，所述光调制层中的光调制结构可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
在本实施例中，这里光调制结构包括连续型结构可以指：光调制结构是由连续的调制图案构成的；这里光调制结构包括离散型结构可以指：光调制结构是由离散的调制图案构成的。
可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的方形、离散的不规则多变形等)形成的调制图案。
在本实施例中，需要说明的是，光调制结构对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述光调制层为单层结构或多层结构。
在本实施例中，需要说明的是，所述光调制层可以为单层滤波器结构，也可以是多层滤波器结构，例如可以是两层、三层、四层等多层结构。
在本实施例中，如图1所示，所述光调制层1为单层结构，光调制层1的厚度与目标波长范围相关，对于波长400nm～10μm，光栅结构的厚度可以为50nm～5μm。
可以理解的是，由于光调制层1的作用是对入射光进行频谱调制，因此，优选折射率高、损耗小的材料制备，例如可以选择硅、锗、锗硅材料、硅的化合物、锗的化合物、III-V族材料等进行制备，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
此外，需要说明的是，为在输入层和线性层之间形成更多或更复杂的连接权重，优选地，可以将所述光调制层1设置为多层结构，各层对应的光调制结构可以设置为不同的结构，从而增加光调制层对入射光的频谱调制能力，从而可以在输入层和线性层之间形成更多或更为复杂的连接权重，进而提高光人工神经网络血糖检测芯片在处理智能任务时的准确度。
此外，需要说明的是，对于包含多层结构的光调制层来说，每层结构的材料可以相同，也可以不同，举例来说，对于有二层的光调制层1，第一层可以为硅层，第二层可以为氮化硅层。
需要说明的是，光调制层1厚度与目标波长范围相关，对于波长400nm～10μm，多层结构总的厚度可以为50nm～5μm。
基于上述实施例的内容，在本实施例中，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
在本实施例中，为能够获得呈阵列分布的连接权重(用于连接输入层与线性层之间的连接权重)以便于处理器进行后续的全连接与非线性激活处理，优选地，在本实施例中，光调制结构为阵列结构形式，具体地，光调制结构包括由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点。需要说明的是，各个微纳单元的结构可以相同，也可以不同。此外，需要说明的是，各个微纳单元的结构可以是周期的，也可以是非周期的。此外，需要说明的是，各个微纳单元还可以进一步包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同等。
下面结合图5～图9进行举例说明，在本实施例中，如图5所示，光调制层1包含多个重复连续或离散的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为非周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图6所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(与图5的区别在于图6中每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图7所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点，与图6的区别在于图7中的各微纳单元内周期阵列的单元形状具有四重旋转对称性；如图8所示，光调制层1包含多个微纳单元，如11、22、33、44、55、66，与图6的区别在于每个微纳单元结构互不相同，每个微纳单元对应图像传感器2上的一个或多个像素点，本实施例中光调制层1包含多个互不相同的微纳单元，也即光人工神经网络血糖检测芯片上不同区域对入射光的调制作用不同，从而提高了设计的自由度，进而也可以提升了血糖检测的准确率。如图9所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同，与图5的区别在于各微纳单元是由分立的非周期阵列结构组成的，每个微纳单元对应图像传感器2上的一个或多个像素点。
在本实施例中，微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
在本实施例中，所述微纳单元可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
在本实施例中，这里微纳单元包括规则结构可以指：微纳单元包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
在本实施例中，这里的微纳单元包括不规则结构可以指：微纳单元包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
在本实施例中，所述光调制层中的微纳单元可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
在本实施例中，这里微纳单元包括连续型结构可以指：微纳单元是由连续的调制图案构成的；这里微纳单元包括离散型结构可以指：微纳单元是由离散的调制图案构成的。
可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
在本实施例中，需要说明的是，不同微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳单元，使得光通过不同组的微纳单元后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
在本实施例中，如图5所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个不同的微纳结构阵列110、111、112和113，滤波单元44包含4个不同的微纳结构阵列440、441、442和443。如图10所示，光调制层1包含多个微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个相同的微纳结构阵列110、111、112和113。
需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。
在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组滤波结构之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
在本实施例中，为了能够获取人体待检测部位的血液的入射光不同波长成分的调制强度作为神经网络输入层和线性层的连接权重，通过采用不同的微纳结构阵列实现宽带滤波和窄带滤波，因此本实施例中微纳结构阵列通过对人体待检测部位的血液的入射光进行宽带滤波或窄带滤波，获取人体待检测部位的血液的入射光不同波长成分的调制强度。如图11和图12所示，光调制层中各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
可以理解的是，对于各组微纳结构阵列来说，可以都具备宽带滤波作用，也可以都具备窄带滤波作用，也可以部分具备宽带滤波作用，部分具备窄带滤波作用。此外，各组微纳结构阵列的宽带滤波范围和窄带滤波范围也可以相同或不同。举例来说，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有窄带滤波作用，即只有一个(或较少个)波长的光可以通过。又如，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有宽带滤波作用，即允许较多波长或所有波长的光可以通过。
可以理解的是，在具体使用时，可以根据应用场景进行宽带滤波、窄带滤波或其组合的方式确定各组微纳结构阵列的滤波状态。
基于上述实施例的内容，在本实施例中，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
在本实施例中，各组微纳结构阵列可以均为周期结构阵列，也可以均为非周期结构阵列，也可以部分为周期结构阵列，部分为非周期结构阵列。其中，周期结构阵列易于进行光学仿真设计，非周期结构阵列可以实现更复杂的调制作用。
在本实施例中，如图5所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为非周期性结构。其中，非周期性结构指微纳结构阵列上的调制孔形状按照非周期排列方式进行排布。如图5所示，微纳单元11包含4个不同的非周期结构阵列110、111、112和113，微纳单元44包含4个不同的非周期结构阵列440、441、442和443，非周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图6所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，与图5所不同的是，微纳结构阵列为周期性结构。其中，周期性结构指微纳结构阵列上的调制孔形状按照周期排列方式进行排布，周期结构阵列的基本单元也是前期采集大量血糖数据，通过人工神经网络训练设计得到的，周期的大小通常为20nm～50μm。如图6所示，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的滤波器结构是通过前期针对血糖检测任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图7所示，光调制层1包含多个互不相同的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为周期性结构。其中，周期性结构指滤波器结构上的形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图7所示，微纳单元11与微纳单元12的微纳结构阵列互不相同，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的微纳结构阵列是通过前期针对血糖检测任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。
需要说明的是，图5～图9每个微纳单元均包括四组微纳结构阵列，四组微纳结构阵列分别采用四种不同形状的调制孔形成，四组微纳结构阵列用于对入射光具有不同的调制作用。需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。在本实施例中，四种不同形状可以为圆形、十字形、正多边形和矩形(不限于此)。
在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组微纳结构阵列之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
下面结合图9所示例子进行举例说明，在本实施例中，如图9所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，对于任一微纳单元包含一组或多组空结构，所述空结构用于直通入射光。可以理解的是，当多组微纳结构阵列中包含有一组或多组空结构时，可以形成更为丰富的频谱调制效果，从而满足特定场景下的频谱调制需求(或满足特定场景下输入层与线性层之间的特定连接权重需求)。
如图9所示，每个微纳单元均包括一组微纳结构阵列和三组空结构，微纳单元11包含1个非周期结构阵列111，微纳单元22包含1个非周期结构阵列221，微纳单元33包含1个非周期结构阵列331，微纳单元44包含1个非周期结构阵列441，微纳单元55包含1个非周期结构阵列551，微纳单元66包含1个非周期结构阵列661，其中微纳结构阵列用于对入射光进行不同的调制。需要说明的是，这里只是以包括一组微纳结构阵列和三组空结构进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括一组微纳结构阵列和五组空结构或其他数量组微纳结构阵列的微纳单元。在本实施例中，微纳结构阵列可以采用圆形、十字形、正多边形和矩形的调制孔制成(不限于此)。
需要说明的是，微纳单元包含的多组微纳结构阵列中也可以均不包含空结构，即多组微纳结构阵列可以是非周期结构阵列，也可以是周期结构阵列。
基于上述实施例的内容，在本实施例中，所述微纳单元具有偏振无关特性。
在本实施例中，由于微纳单元具有偏振无关特性，因此使得光调制层对入射光的偏振不敏感，从而实现了对入射角、偏振均不敏感的光人工神经网络血糖检测芯片。本发明实施例提供的光人工神经网络血糖检测芯片对入射光的入射角以及偏振特性不敏感，即测量结果不会受到入射光的入射角度和偏振特性的影响，从而可以保证光谱测量性能的稳定性，进而可以保证血糖检测的稳定性。需要说明的是，微纳单元也可以具有偏振相关特性。
基于上述实施例的内容，在本实施例中，所述微纳单元具有四重旋转对称性。
在本实施例中，需要说明的是，四重旋转对称性属于偏振无关特性中的一种具体情况，通过将微纳单元设计为具有四重旋转对称性的结构，可以满足偏振无关特性的要求。
下面结合图7所示例子进行举例说明，在本实施例中，如图7所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，每组微纳结构阵列对应的结构可为圆、十字、正多边形、矩形等具有四重旋转对称性的结构，即结构旋转90°、180°、270°后，与原来的结构重合，从而使得结构具有偏振无关的特性，使得在不同偏振光入射都能取得相同的智能识别效果。
基于上述实施例的内容，在本实施例中，所述光调制层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP(Surface Plasmon Polaritons，SPP)微纳结构、可调法布里-珀罗谐振腔(Fabry-perot Cavity，FP腔)中的一种或多种制备的滤波器层。
所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
其中，光子晶体，以及超表面与随机结构组合可采用CMOS工艺兼容，能够有较好的调制效果，微纳调制结构微孔中也可以填充其他材料做表面的平滑化处理；量子点与钙钛矿可以利用材料本身的谱调制特性使得单个调制结构的体积最小；SPP体积较小，可实现偏振相关的光调制；液晶可以用电压动态调控，提升空间分辨率；可调法布里-珀罗谐振腔可以动态调控，提升空间分辨率。
基于上述实施例的内容，在本实施例中，所述光调制层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
在本实施例中，需要说明的是，若光调制层的厚度远小于入射光的中心波长，就不能起到有效的频谱调制作用；若光调制层的厚度远大于入射光的中心波长，工艺上难以制备，并且会引入较大的光学损耗。因此，本实施例中为了减少光学损耗易于制备，并且保证有效的频谱调制作用，光调制层1中每个微纳单元的整体尺寸(面积)通常为λ2～105λ2，厚度通常为0.1λ～10λ(λ表示人体待检测部位的血液的入射光的中心波长)。如图5所示，每个微纳单元的整体尺寸为0.5μm2～40000μm2，光调制层1中的介质材料为多晶硅，厚度为50nm～2μm。
可以理解的是，图像传感器2可以采用CIS晶圆，光调制层1直接在CIS晶圆上制备。光调制层1包含多个重复的调制单元，每个调制单元又包含4个不同的连续非周期结构阵列，非周期结构阵列的基本单元是通过前期采集大量不同血糖信息，由人工神经网络数据训练设计得到的，通常是不规则形状的结构。各个非周期结构阵列对入射光具有不同的宽谱调制作用，每个调制单元的整体尺寸为0.5μm2～40000μm2。光调制层1中的介质材料为多晶硅，厚度为50nm～2μm。可以理解的是，CIS晶圆包括硅探测器层和金属线层，响应范围为可见到近红外波段；CIS晶圆是裸露的，未制备上拜尔滤光片阵列和微透镜阵列。每个调制单元对应CIS晶圆上的多个传感器单元。
基于上述实施例的内容，在本实施例中，所述图像传感器为下述中的任意一项或多项：
CMOS图像传感器(Contact Image Sensor，CIS)、电荷耦合元件(Charge CoupledDevice，CCD)、单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)阵列和焦平面光电图像传感器阵列。
在本实施例中，需要说明的是，采用晶圆级别的CMOS图像传感器CIS，在晶圆级别实现单片集成，可以最大程度减小图像传感器与光调制层之间的距离，有利用于缩小单元的尺寸，降低器件体积和封装成本，SPAD可以用于弱光探测，CCD可以用于强光探测。
在本实施例中，光调制层和图像传感器可以由互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)集成工艺制造，有利于降低器件失效率，提高器件的成品率并降低成本。例如，可以通过在图像传感器上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到光调制层。
基于上述实施例的内容，在本实施例中，所述人工神经网络的类型包括：前馈神经网络。
在本实施例中，前馈神经网络(Feedforward Neural Network，FNN)，又称作深度前馈网络(Deep Feedforward Network，DFN)、多层感知机(Multi-Layer Perceptron，MLP)，是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。前馈神经网络结构简单，易于在硬件上实现，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数.而且可以精确实现任意有限训练样本集。前馈网络是一种静态非线性映射。通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。
基于上述实施例的内容，在本实施例中，所述光调制层与所述图像传感器之前设置有透光介质层。
在本实施例中，需要说明的是，在所述光调制层与所述图像传感器之间设置透光介质层，可以有效将光调制层与图像传感器层分开，避免两者相互干扰。
基于上述实施例的内容，在本实施例中，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光调制层集成在所述金属线层远离所述光探测层的一面；或，
所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光调制层集成在所述光探测层远离所述金属线层的一面。
在本实施例中，如图13所示为前照式的图像传感器，硅探测层21在金属线层22下方，光调制层1直接集成到金属线层22上。
在本实施例中，与图13不同的是，图14所示为背照式的图像传感器，硅探测层21在金属线层22上方，光调制层1直接集成到硅探测层21上。
需要说明的是，对于背照式的图像传感器，硅探测层21在金属线层22上方，可以减少金属线层对入射光的影响，从而可以提高器件的量子效率。
根据上面的内容可知，本实施例将光调制层作为人工神经网络的输入层和线性层，将图像传感器作为人工神经网络的非线性层的一部分(将图像传感器的平方检波响应作为人工神经网络的第一次非线性激活函数)，将光调制层对进入光调制层的入射光的滤波作用作为输入层到线性层的连接权重，本实施例提供的光人工神经网络血糖检测芯片中的光调制层和图像传感器通过硬件的方式实现了人工神经网络中输入层、线性层以及部分非线性激活函数的相关功能，从而使得后续在使用该光人工神经网络血糖检测芯片进行智能处理时不需要再进行与输入层、线性层以及部分非线性激活函数对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，本实施例由于同时利用了人体待检测部位的血液的图像信息和空间不同点处的光谱信息，从而可以更加准确地实现对人体待检测部位的血糖值的智能检测。
由此可见，在本发明实施例中，将光调制层作为人工神经网络的输入层和线性层，图像传感器作为人工神经网络的非线性层的一部分，将物体的空间光谱信息投影到图像传感器的光电流响应中，并在处理器中实现电信号的全连接和二次非线性激活，实现了低功耗、低延时和高准确率的智能感知、识别和/或决策等功能。本发明实施例中基于光滤波器和图像传感器的光人工神经网光人工神经网络血糖检测芯片有以下效果：将人工神经网络部分嵌入包含各种光调制层的图像传感器中，实现快速准确的智能感知、识别和/或决策功能。此外，本发明实施例还可以在晶圆级别实现单片集成，从而可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。
基于相同的发明构思，本发明另一实施例提供了一种智能血糖检测仪，包括：如上面实施例所述的光人工神经网络血糖检测芯片。
优选地，本实施例中的血糖检测仪可以为可穿戴式血糖检测仪。
由于本实施例提供的智能血糖检测仪包括上述实施例所述的光人工神经网络血糖检测芯片，因此，本实施例提供的智能血糖检测仪具备上述实施例所述的光人工神经网络血糖检测芯片的全部有益效果，由于上述实施例已经对此进行了较为详尽的描述，因此本实施例不再赘述。
基于相同的发明构思，本发明另一实施例提供了一种如上面所述实施例的光人工神经网络血糖检测芯片的制备方法，如图15所示，具体包括如下步骤：
步骤1510、在所述图像传感器的表面制备包含有光调制结构的光调制层；
步骤1520、生成具备对信号进行全连接处理功能的处理器或生成具备对信号进行全连接处理以及第二次非线性激活处理功能的处理器；
步骤1530、连接所述图像传感器和所述处理器；
其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息；
所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；
所述处理器将与不同位置点对应的电信号进行全连接处理，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号。
在本实施例中，还包括对所述光人工神经光人工神经网络血糖检测芯片的训练过程，具体包括：
利用与所述血糖检测任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器；
或，利用与所述血糖检测任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
可以理解的是，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经光人工神经网络血糖检测芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
可以理解的是，可以预先对各种血糖值训练样本进行多次信息采集并进行数据训练，可以设计出所需的微纳调制结构并进行制备，在芯片上实现人工神经网络的输入层、线性层以及非线性层中的第一次非线性激活函数。
在本实施例中，在所述图像传感器的感光区域的表面制备包含有光调制结构的光调制层，包括：
在所述图像传感器的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的干法刻蚀，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；
或通过对所述一层或多层预设材料进行外加动态调控，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。
当所述光人工神经网络血糖检测芯片用于人体待检测部位的血糖值检测任务时，利用与所述任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器；或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。
在本实施例中，需要说明的是，如图1所示，光调制层1可以通过在图像传感器2上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到。通过设计光调制结构的尺寸参数，各个单元能够对目标范围内不同波长的光有不同的调制作用，并且该调制作用对入射角度、偏振均不敏感。光调制层1中的每个单元对应图像传感器2上一个或多个像素。1是直接在2上制备的。
在本实施例中，需要说明的是，如图14所示，假设图像传感器2为背照式结构，则光调制层1可以在背照式的图像传感器的硅图像传感器层21上直接刻蚀，然后再沉积金属进行制备得到。
此外，需要说明的是，所述光调制层上的光调制结构可以通过对一层或多层预设材料进行光调制结构图案的干法刻蚀，干法刻蚀就是直接将图像传感器感光区域表面的一层或多层预设材料中不需要的部分去除，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行压印转移，压印转移是在其它衬底上通过刻蚀制备所需的结构，再通过PDMS等材料将结构转移到图像传感器的感光区域，得到包含有光调制结构的光调制层；或通过对一层或多层预设材料进行外加动态调控，外加动态调控是采用有源材料，然后外加电极通过改变电压来调控相应区域的光调制特性，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行分区打印，分区打印是分区采用打印的技术，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。
此外，需要说明的是，由于本实施例提供的制备方法是上述实施例中的光人工神经网络血糖检测芯片的制备方法，因此，关于一些原理和结构等方面的详细内容，可以参见上述实施例的介绍，本实施例对此不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种光人工神经网络血糖检测芯片，其特征在于，用于血糖检测任务，包括：光调制层、图像传感器和处理器；所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层；
所述光调制层设置于所述图像传感器表面，所述光调制层包含有光调制结构，所述光调制结构用于对经人体待测部位反射和/或透射进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；所述人体待测部位是具备血糖信息的部位；
所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，所述处理器将与不同位置点对应的电信号进行全连接处理，得到血糖检测结果，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到血糖检测结果。
2.根据权利要求1所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
3.根据权利要求1所述的光人工神经网络血糖检测芯片，其特征在于，所述光人工神经网络血糖检测芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；或，所述训练好的光调制结构、图像传感器和处理器是指利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由具有不同血糖值的人体待测部位反射或透射的入射光；所述输出训练样本包括相应的血糖值。
4.根据权利要求3所述的光人工神经网络血糖检测芯片，其特征在于，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
5.根据权利要求1～4任一项所述的光人工神经网络血糖检测芯片，其特征在于，用于照射人体待测部位的光源为近红外光源。
6.根据权利要求1～4任一项所述的光人工神经网络血糖检测芯片，其特征在于，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。
7.根据权利要求1～4任一项所述的光人工神经网络血糖检测芯片，其特征在于，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
8.根据权利要求7所述的光人工神经网络血糖检测芯片，其特征在于，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
9.根据权利要求7所述的光人工神经网络血糖检测芯片，其特征在于，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
10.根据权利要求9所述的光人工神经网络血糖检测芯片，其特征在于，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
11.根据权利要求9所述的光人工神经网络血糖检测芯片，其特征在于，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
12.根据权利要求9所述的光人工神经网络血糖检测芯片，其特征在于，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
13.根据权利要求9所述的光人工神经网络血糖检测芯片，其特征在于，所述微纳单元具有四重旋转对称性。
14.根据权利要求1所述的光人工神经网络血糖检测芯片，其特征在于，所述光调制层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
15.根据权利要求14所述的光人工神经网络血糖检测芯片，其特征在于，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
16.根据权利要求1所述的光人工神经网络血糖检测芯片，其特征在于，所述光调制层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
17.一种智能血糖检测仪，其特征在于，包括如权利要求1～16任一项所述的光人工神经网络血糖检测芯片。
18.一种如权利要求1～16任一项所述的光人工神经网络血糖检测芯片的制备方法，其特征在于，包括：
在所述图像传感器的表面制备包含有光调制结构的光调制层；
生成具备对信号进行全连接处理功能的处理器或生成具备对信号进行全连接处理以及第二次非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；
所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；
所述处理器将与不同位置点对应的电信号进行全连接处理，得到血糖检测结果，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到血糖检测结果。
19.根据权利要求18所述的光人工神经网络血糖检测芯片的制备方法，其特征在于，还包括：对所述光人工神经网络血糖检测芯片的训练过程，具体包括：
利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器；
或，利用与所述血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
20.根据权利要求18所述的光人工神经网络血糖检测芯片的制备方法，其特征在于，在所述图像传感器的表面制备包含有光调制结构的光调制层，包括：
在所述图像传感器的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；
或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光调制层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。
CN202110172851.4A 2021-02-08 2021-02-08 光人工神经网络血糖检测芯片及制备方法 Pending CN114913944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110172851.4A CN114913944A (zh) 2021-02-08 2021-02-08 光人工神经网络血糖检测芯片及制备方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172851.4A CN114913944A (zh) 2021-02-08 2021-02-08 光人工神经网络血糖检测芯片及制备方法

Publications (1)

Publication Number Publication Date
CN114913944A true CN114913944A (zh) 2022-08-16

Family

ID=82760871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172851.4A Pending CN114913944A (zh) 2021-02-08 2021-02-08 光人工神经网络血糖检测芯片及制备方法

Country Status (1)

Country Link
CN (1) CN114913944A (zh)

Similar Documents

Publication Publication Date Title
CN104665840B (zh) 无创血糖测量方法及指端测量探头
US8583565B2 (en) Brain imaging system and methods for direct prosthesis control
US8457705B2 (en) Brain imaging system and methods for direct prosthesis control
US9532738B2 (en) Implantable sensor
AU2010232841B2 (en) Optical spectroscopy device for non-invasive blood glucose detection and associated method of use
JP7524060B2 (ja) 非侵襲血糖測定器及び血糖測定方法
Liu et al. Photodetectors based on two dimensional materials for biomedical application
US20170071510A1 (en) Implantable sensor
US20200033519A1 (en) Solid-state imaging device and electronic apparatus
WO2022166188A1 (zh) 光人工神经网络智能芯片、智能处理设备及制备方法
US20220156479A1 (en) Spectral imaging chip and apparatus, information processing method, fingerprint living body identification device and fingerprint module
KR20180003227A (ko) 유기 광 감지소자 기반의 비침습형 생체 센서
CN105249974A (zh) 一种基于压力调制光谱技术的无创葡萄糖检测系统与方法
CN114913944A (zh) 光人工神经网络血糖检测芯片及制备方法
CN114913111A (zh) 血糖检测芯片、智能血糖检测仪及制备方法
US10835126B1 (en) Implantable micro-spectrophotometer
CN210112118U (zh) 一种图像采集芯片及物体成像识别设备
CN1700881A (zh) 用于读取从人皮肤反射的光辐射的装置和处理方法
KR102348195B1 (ko) 광학적 피분석물 모니터링 시스템 및 방법
CN114913553A (zh) 光人工神经网络指纹识别芯片、指纹识别装置及制备方法
CN114912601A (zh) 光人工神经网络环保监测芯片及制备方法
CN114912600A (zh) 光人工神经网络智能农业精准控制芯片及制备方法
Trabelsi et al. Blood glucose optical bio-implant: Preliminary design guidelines
CN114912597A (zh) 农业控制芯片、智能农业控制设备及制备方法
CN114912602A (zh) 光人工神经网络冶炼终点监测芯片及制备方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination