CN114912600A - 光人工神经网络智能农业精准控制芯片及制备方法 - Google Patents

Abstract

本发明提供一种光人工神经网络智能农业精准控制芯片及制备方法，用于农业精准控制智能处理任务，将光调制层作为人工神经网络的输入层和线性层，将光调制层对入射光的滤波作用作为输入层到线性层的连接权重，将图像传感器的平方检波响应作为人工神经网络的非线性层中的第一次非线性激活函数，将处理器作为人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，从而光调制层和图像传感器以硬件的方式实现人工神经网络中输入层、线性层和非线性激活函数的相关功能，从而大幅降低人工神经网络处理时的功耗和延时。

Description

光人工神经网络智能农业精准控制芯片及制备方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种光人工神经网络智能农业精准控制芯片及制备方法。

背景技术

精准农业是由信息技术支持的根据空间变异，定位、定时、定量地实施一整套现代化农事操作技术与管理的系统，其基本涵义是根据作物生长的土壤性状，调节对作物的投入，判断农田内部的土壤性状与生产力空间变异，另一方面确定农作物的生产目标，进行定位的“系统诊断、优化配方、技术组装、科学管理”，调动土壤生产力，以最少的或最节省的投入达到同等收入或更高的收入，并改善环境，高效地利用各类农业资源，取得经济效益和环境效益。

目前在进行精准农业控制时，存在处理速度慢的问题。例如，对于土壤肥力的识别，需要进行图像采集、图像预处理、特征提取、特征匹配等步骤，以实现对土壤肥力的识别。目前的农业对象智能识别任务，一般依赖于神经网络识别模型，也即目前的农业对象智能识别任务，需要先对农业对象进行成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。

此外，目前在进行精准农业控制时，还存在识别不准确的问题。例如，目前只利用土壤的二维图像信息难以保证识别的准确性，例如二维图像存在失真因素等，并且，成像过程需要将光学信息转换为数字电子信号，再传输到计算机中进行后续的算法处理，大量数据的传输和处理造成了较大的功耗和延时。此外，对于农作物生长状况的识别也存在类似的问题。

精准农业的技术原理是根据土壤肥力和农作物生长状况的空间差异，调节对作物的投入，当对土壤肥力和农作物生长状况识别不准确以及存在较大的功耗和时延时，将会严重影响精准农业的发展。

发明内容

针对现有技术存在的问题，本发明实施例提供一种光人工神经网络智能农业精准控制芯片及制备方法，用于解决上述至少一种技术问题。

具体地，本发明实施例提供了如下技术方案：

第一方面，本发明实施例提供了一种光人工神经网络智能农业精准控制芯片，用于农业精准控制智能处理任务，包括：光调制层、图像传感器和处理器；所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层；

所述光调制层设置于所述图像传感器表面，所述光调制层包含有光调制结构，所述光调制结构用于对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；所述入射光包括农业对象的反射光、透射光和/或辐射光；所述农业对象包括农作物和/或土壤；

所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；

所述处理器将与不同位置点对应的电信号进行全连接处理，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到农业精准控制处理结果；

其中，所述农业精准控制智能处理任务包括：土壤肥力检测、农药布撒检测、微量元素含量检测、抗药性检测以及农作物生长状况检测中的一种或多种；所述农业精准控制处理结果包括：土壤肥力检测结果、农药布撒检测结果、微量元素含量检测结果、抗药性检测结果以及农作物生长状况检测结果中的一种或多种。

进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。

进一步地，所述光人工神经网络智能农业精准控制芯片包括训练好的光调制结构、图像传感器和处理器；

所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；或，所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；

其中，所述输入训练样本包括由具备不同肥力的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的土壤肥力；

和/或，

所述输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农药布撒状况；

和/或，

所述输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的微量元素含量状况；

和/或，

所述输入训练样本包括由具备不同抗药性的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的抗药性；

和/或，

所述输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农作物生长状况。

进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。

进一步地，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。

进一步地，所述光调制层为单层结构或多层结构。

进一步地，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。

进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。

进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。

进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。

进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。

进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。

进一步地，所述微纳单元具有四重旋转对称性。

进一步地，所述光调制层由一层或多层滤波器层构成；所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。

进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。

第二方面，本发明实施例还提供了一种智能农业控制设备，包括如第一方面所述的光人工神经网络智能农业精准控制芯片。

第三方面，本发明实施例还提供了一种如第一方面所述的光人工神经网络智能农业精准控制芯片的制备方法，包括：

在所述图像传感器的表面制备包含有光调制结构的光调制层；

生成具备对信号进行全连接处理功能的处理器或生成具备对信号进行全连接处理以及第二次非线性激活处理功能的处理器；

连接所述图像传感器和所述处理器；

其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；

所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；

所述处理器将与不同位置点对应的电信号进行全连接处理，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到农业精准控制处理结果。

进一步地，所述光人工神经网络智能农业精准控制芯片的制备方法，还包括：对所述光人工神经网络智能农业精准控制芯片的训练过程，具体包括：

利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器；

或，利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。

进一步地，在所述图像传感器的表面制备包含有光调制结构的光调制层，包括：

在所述图像传感器的表面生长一层或多层预设材料；

对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；

或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。

本发明实施例提供的光人工神经网络智能农业精准控制芯片及制备方法，实现了一种能够实现人工神经网络功能的全新光人工神经网络智能农业精准控制芯片，用于农业精准控制智能处理任务，在该光人工神经网络智能农业精准控制芯片中，光调制层对应人工神经网络的输入层和线性层，图像传感器对应人工神经网络的非线性层的一部分；所述处理器对应人工神经网络的非线性层的另一部分以及输出层。具体地，光调制层设置于图像传感器的表面，光调制层包含有光调制结构，光调制结构用于对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在图像传感器的表面得到与不同位置点对应的入射光携带信息，在本发明实施例中，光调制层上的光调制结构对入射光的调制作用相当于输入层到所述线性层的连接权重。同时，在本发明实施例中，图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号，由此可见，在该光人工神经网络智能农业精准控制芯片中，所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，也即该光人工神经网络智能农业精准控制芯片中的光调制层和图像传感器实现了人工神经网络中输入层、线性层和部分非线性激活函数的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数进行了剥离，利用硬件的方式实现了人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数这些结构，从而使得后续在使用该光人工神经网络智能农业精准控制芯片进行人工神经网络智能处理时不需要再进行与输入层、线性层以及一部分或全部非线性激活函数对应的复杂的信号处理和算法处理，只需由光人工神经网络智能农业精准控制芯片中的处理器进行与电信号全连接处理或全连接以及第二次非线性激活处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。

由此可见，本发明实施例提供了用于精准农业控制的新型光电芯片，该芯片由光调制层和图像传感器构成光人工神经网络的输入层和线性层，采集农田土壤及作物空间不同点处的入射光携带信息，以实现快速准确、安全可靠的土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一个实施例提供的光人工神经网络智能农业精准控制芯片的结构示意图；

图2是本发明一实施例提供的光人工神经网络智能农业精准控制芯片识别原理示意图；

图3是本发明一实施例提供的光人工神经网络智能农业精准控制芯片拆解示意图；

图4a是本发明一实施例提供的对农业对象进行识别的过程示意图；

图4b是本发明一实施例提供的对农作物和/或土壤进行识别或定性分析的立体示意图；

图5是本发明一实施例提供的一种光调制层的俯视图；

图6是本发明一实施例提供的另一种光调制层的俯视图；

图7是本发明一实施例提供的又一种光调制层的俯视图；

图8是本发明一实施例提供的另又一种光调制层的俯视图；

图9是本发明一实施例提供的再又一种光调制层的俯视图；

图10是本发明一实施例提供的还又一种光调制层的俯视图；

图11是本发明一实施例提供的微纳结构宽带滤波效果示意图；

图12是本发明一实施例提供的微纳结构窄带滤波效果示意图；

图13是本发明一实施例提供的前照式的图像传感器结构示意图；

图14是本发明一实施例提供的后照式的图像传感器结构示意图；

图15是本发明第三个实施例提供的光人工神经网络智能农业精准控制芯片的制备方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

精准农业是由信息技术支持的根据空间变异，定位、定时、定量地实施一整套现代化农事操作技术与管理的系统，其基本涵义是根据作物生长的土壤性状，调节对作物的投入，判断农田内部的土壤性状与生产力空间变异，另一方面确定农作物的生产目标，进行定位的“系统诊断、优化配方、技术组装、科学管理”，调动土壤生产力，以最少的或最节省的投入达到同等收入或更高的收入，并改善环境，高效地利用各类农业资源，取得经济效益和环境效益。目前在进行精准农业控制时，存在处理速度慢的问题。例如，对于土壤肥力的识别，需要进行图像采集、图像预处理、特征提取、特征匹配等步骤，以实现对土壤肥力的识别。目前的农业对象智能识别任务，一般依赖于神经网络识别模型，也即目前的农业对象智能识别任务，需要先对农业对象进行成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。此外，目前在进行精准农业控制时，还存在识别不准确的问题。例如，目前只利用土壤的二维图像信息难以保证识别的准确性，例如二维图像存在失真因素等，并且，成像过程需要将光学信息转换为数字电子信号，再传输到计算机中进行后续的算法处理，大量数据的传输和处理造成了较大的功耗和延时。此外，对于农作物生长状况的识别也存在类似的问题。基于此，本发明实施例提供一种光人工神经网络智能农业精准控制芯片，该光人工神经网络智能农业精准控制芯片中的光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，本发明实施例利用光调制层和图像传感器将农业对象的入射光携带信息投影成电信号，然后在处理器中实现电信号的全连接处理或全连接处理以及第二次非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层、线性层以及部分或全部非线性激活函数对应的复杂的信号处理和算法处理，从而可以大幅降低人工神经网络处理时的功耗和延时。

此外，本发明实施例还可以利用农业对象的图像信息、光谱信息、入射光的角度和入射光的相位信息中的一种或多种信息，即农业对象空间不同点处的入射光携带信息，由此可见，由于农业对象空间不同点处的入射光携带信息涵盖了农业对象的图像、成分、形状、三维深度、结构等信息，从而在依据农业对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖农业对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以提高智能处理(如智能识别)的准确性，由此可见，本发明实施例提供的光人工神经网络智能农业精准控制芯片，不但能够实现低功耗和低延时的效果，还能够提高智能处理的准确率，从而能够实现快速准确、安全可靠的土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析，因而可以较好地应用在精准农业控制领域。下面将通过具体实施例对本发明提供的内容进行详细解释和说明。

如图1所示，本发明第一个实施例提供的光人工神经网络智能农业精准控制芯片，用于农业精准控制智能处理任务，包括：光调制层1、图像传感器2和处理器3；所述光调制层1对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器2的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器3对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层；

所述光调制层1设置于所述图像传感器的表面或图像传感器的感光区域的表面，所述光调制层1包含有光调制结构，所述光调制层1用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行随波长变化强度调制的频谱调制，即对不同波长的入射光进行不同的强度调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；

在本实施例中，所述图像传感器2的平方检波响应是指图像传感器探测到的是入射光场的强度信息，而入射光场的强度信息为光场信号取模的平方，也即所述图像传感器2通过平方检波响应将与不同位置点经光调制层1调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器3；所述电信号为经光调制层调制后的图像信号；其中，所述入射光包括农业对象的反射光、透射光和/或辐射光；所述农业对象包括农作物和/或土壤；

所述处理器3用于将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号，进而得到农业精准控制处理结果。

在本实施例中，所述农业精准控制智能处理任务包括：土壤肥力检测、农药布撒检测、微量元素含量检测、抗药性检测以及农作物生长状况检测中的一种或多种；所述农业精准控制处理结果包括：土壤肥力检测结果、农药布撒检测结果、微量元素含量检测结果、抗药性检测结果以及农作物生长状况检测结果中的一种或多种。

所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。在本实施例中，光调制层1设置于图像传感器的表面，光调制层1包含有光调制结构，光调制层1用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在图像传感器的表面得到与不同位置点对应的调制后的入射光携带信息。由此可见，在实施例中，光调制层上的光调制结构对入射光的调制作用可以看作是输入层到所述线性层的连接权重；

在本实施例中，图像传感器2对调制后的入射光携带信息进行光电转换时，由于图像传感器2只能探测光的强度信息，故其对光场分布信号进行处理得到的电信号正比于光场分布信号的模的平方，因此，图像传感器2存在平方检波响应，故可以将图像传感器2看作为人工神经网络的非线性层的一部分，也即可以将图像传感器2的平方检波响应看作为人工神经网络的第一次非线性激活函数。

在本实施例中，图像传感器2通过平方检波响应将与不同位置点经光调制层1调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，即经光调制层调制后的图像信号，与此同时，与图像传感器2连接的处理器3用于将与不同位置点对应的电信号进行全连接处理或进行全连接以及第二次非线性激活处理，得到人工神经网络的输出信号。

在本实施例中，光调制层1包含有光调制结构，通过光调制结构对进入至光调制结构不同位置点处的入射光(例如待识别目标的反射光、透射光、辐射光等相关作用光)进行不同强度的频谱调制，以在图像传感器2的表面得到与不同位置点对应的入射光携带信息。

在本实施例中，可以理解的是，调制强度与光调制结构的具体结构形式有关，例如，可以通过设计不同的光调制结构(如改变光调制结构的形状和/或尺寸参数)来实现不同的调制强度。

在本实施例中，可以理解的是，光调制层1上不同位置处的光调制结构对入射光具有不同的频谱调制作用，光调制结构对入射光不同波长成分的调制强度对应于人工神经网络线性层的连接强度，也即对应输入层以及输入层到线性层的连接权重。需要说明的是，光调制层1是由多个光滤波器单元组成的，每个光滤波器单元内不同位置处的光调制结构是不同的，因此对入射光具有不同的频谱调制作用；光滤波器单元之间不同位置处的光调制结构可以相同或不同，因此对入射光具有相同或不同的频谱调制作用。

在本实施例中，图像传感器2通过平方检波响应将与不同位置点经光调制层1调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给处理器3，图像传感器2对应神经网络的非线性层的一部分。

在本实施例中，处理器3将不同位置点的电信号进行全连接处理或，处理器3将不同位置点的电信号进行全连接处理以及第二次非线性激活处理，进而得到人工神经网络的输出信号。

可以理解的是，在本实施例中，图像传感器2对应神经网络非线性层的一部分，处理器3对应神经网络的非线性层的另一部分以及输出层，也可以理解成对应神经网络中除输入层、线性层和非线性层中的第一次非线性激活函数以外的剩余层(其他所有层)。

在本实施例中，需要说明的是，图像传感器2的平方检波响应对应神经网络非线性层中的第一次非线性激活函数，在这种情况下，可以是处理器中只进行全连接处理，不再进行第二次非线性激活处理，也可以是处理器中既进行全连接处理，又进行第二次非线性激活处理。具体可根据芯片的实际应用场景确定，本实施例对此不作限定。

此外，需要补充说明的是，处理器3可以设置在所述光人工神经网络智能农业精准控制芯片内，也即所述处理器3可以和所述滤波器层1以及图像传感器2一起设置在光人工神经网络智能农业精准控制芯片内，也可以单独地设置在光人工神经网络智能农业精准控制芯片外，并通过数据线或连接器件与光人工神经网络智能农业精准控制芯片内中的图像传感器2连接，本实施例对此不作限定。

此外，需要说明的是，所述处理器3可以采用计算机实现，也可以采用具有一定运算能力的ARM或FPGA电路板实现，还可以采用微处理器实现，本实施例对此不做限定。此外，正如前面所述，所述处理器3可以集成在所述光人工神经网络智能农业精准控制芯片内，也可以独立于所述光人工神经网络智能农业精准控制芯片外设置。当所述处理器3独立于所述光人工神经网络智能农业精准控制芯片外设置时，可以通过信号读出电路将图像传感器2中的电信号读出至处理器3中，进而由处理器3对读出的电信号进行全连接处理与非线性激活处理。

在本实施例中，可以理解的是，处理器3在进行第二次非线性激活处理时，可以采用非线性激活函数实现，例如可以采用Sigmoid函数、Tanh函数、ReLU函数等，本实施例对此不作限定。

在本实施例中，光调制层1对应人工神经网络的输入层、线性层以及输入层到线性层的连接权重，图像传感器2对应于人工神经网络的非线性层的一部分，也即图像传感器2的平方检波响应对应于人工神经网络的第一非线性激活函数，图像传感器2用于通过平方检波响应将空间不同位置点的入射光携带信息进行非线性激活处理进而转化为电信号，处理器3对应人工神经网络的剩余层，将不同位置的电信号进行全连接，也可以进一步经由第二次非线性激活函数得到人工神经网络的输出信号，实现对特定目标的智能感知、识别和/或决策。

如图2左侧所示，光人工神经网络智能农业精准控制芯片包括光调制层1、图像传感器2和处理器3，在图2中，处理器3采用信号读出电路和计算机来实现。如图2右侧所示，光人工神经网络智能农业精准控制芯片中的光调制层1对应人工神经网络的输入层和线性层，图像传感器2对应人工神经网络的非线性层的一部分，处理器3对应人工神经网络的非线性层的另一部分和输出层，光调制层1对进入光调制层1的入射光的滤波作用对应输入层到线性层的连接权重，图像传感器2的平方检波响应对应人工神经网络的第一非线性激活函数，由此可见，本实施例提供的光人工神经网络智能农业精准控制芯片中的光调制层和图像传感器通过硬件的方式实现了人工神经网络中输入层、线性层和部分或全部非线性激活函数的相关功能，从而使得后续在使用该光人工神经网络智能农业精准控制芯片进行智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理(例如省略了输入层到线性层的连接权重等这些计算)，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，由于本实施例同时利用了农业对象空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，从而可以更加准确地实现对农业对象的智能处理。

如图2右侧所示，光调制层1对入射光具有不同的宽带频谱调制作用，将对应单元位置处的入射光频谱P_λ投影/连接到出射的光场E_N上；图像传感器2的平方检波响应对应于光人工神经网的一部分非线性激活函数，将光调制层1的出射光场E_N转换为图像传感器的光电流响应I_N上。处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出I_N至传输到计算机中，由计算机进行电信号的全连接处理或再次进行非线性激活处理，最后输出结果。

如图3所示，光调制层1上的光调制结构集成在图像传感器2表面，对入射光进行调制，将入射光的频谱信息投影/连接到图像传感器2的不同像素点上，得到包含入射光频谱信息和图像信息的电信号，也即入射光经过光调制层1后，由图像传感器2的平方检波响应进行非线性激活后转换成电信号，形成包含空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，最后由与图像传感器2连接的处理器3对包含入射光的频谱信息和图像信息的电信号进行处理，进而获得输出结果。

在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。

例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用了目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对目标对象进行识别，从而可以更加准确地实现对目标对象的智能识别。

由此可见，本实施例提供的光人工神经网络智能农业精准控制芯片可以同时利用农业对象的图像信息、光谱信息、入射光的角度和入射光的相位信息中的一种或多种，即空间不同点处的入射光携带信息，并在硬件上嵌入了人工神经网络，从空间图像、光谱、角度、相位信息中可以进一步提取物质成分、图像形状、三维深度等信息，从而可以解决背景技术部分所提到的采用农业对象的二维图像信息难以保证识别的准确性的问题，同时本发明实施例能够省去现有技术中与输入层、线性层和一部分非线性激活函数对应的复杂的信号处理和算法处理，从而可以低功耗和低延时，由此可见，本发明实施例提供的光人工神经网络智能农业精准控制芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地识别农业生产状况(如土壤肥力、农药布撒情况、土壤微量元素含量、农作物生长状况等)，从而可以为智能农业的精准控制做好准备。

本发明实施例提供的光人工神经网络智能农业精准控制芯片及制备方法，实现了一种能够实现人工神经网络功能的全新光人工神经网络智能农业精准控制芯片，用于农业精准控制智能处理任务，在该光人工神经网络智能农业精准控制芯片中，光调制层对应人工神经网络的输入层和线性层，图像传感器对应人工神经网络的非线性层的一部分；所述处理器对应人工神经网络的非线性层的另一部分以及输出层。具体地，光调制层设置于图像传感器的表面，光调制层包含有光调制结构，光调制结构用于对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在图像传感器的表面得到与不同位置点对应的入射光携带信息，在本发明实施例中，光调制层上的光调制结构对入射光的调制作用相当于输入层到所述线性层的连接权重。同时，在本发明实施例中，图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号，由此可见，在该光人工神经网络智能农业精准控制芯片中，所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，也即该光人工神经网络智能农业精准控制芯片中的光调制层和图像传感器实现了人工神经网络中输入层、线性层和部分非线性激活函数的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数进行了剥离，利用硬件的方式实现了人工神经网络中的输入层、线性层以及一部分或全部的非线性激活函数这些结构，从而使得后续在使用该光人工神经网络智能农业精准控制芯片进行人工神经网络智能处理时不需要再进行与输入层、线性层以及一部分或全部非线性激活函数对应的复杂的信号处理和算法处理，只需由光人工神经网络智能农业精准控制芯片中的处理器进行与电信号全连接处理或全连接以及第二次非线性激活处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。由此可见，本发明实施例将光调制层作为人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，将图像传感器的平方检波响应作为人工神经网络的非线性层中的第一次非线性激活函数；将处理器作为人工神经网络的全连接以及输出层，或，将处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层，由此可见，本发明实施例不但能够省去现有技术中与输入层、线性层和一部分非线性激活函数对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了农业对象的图像信息、光谱信息、入射光的角度和入射光的相位信息，即农业对象空间不同点处的入射光携带信息，由此可见，由于农业对象空间不同点处的入射光携带信息涵盖了农业对象的图像、成分、形状、三维深度、结构等信息，从而在依据农业对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖农业对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的采用农业对象的二维图像信息难以保证识别的准确性的问题，由此可见，本发明实施例提供的光人工神经网络智能农业精准控制芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地识别农业生产状况(如土壤肥力、农药布撒情况、土壤微量元素含量、农作物生长状况等)，从而可以为智能农业的精准控制做好准备。

由此可见，本发明实施例提供了用于精准农业控制的新型光电芯片，该芯片由光调制层和图像传感器构成光人工神经网络的输入层和线性层，同时采集农田土壤及作物空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，以实现快速准确、安全可靠的土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析。

基于上述实施例的内容，在本实施例中，所述光人工神经网络智能农业精准控制芯片包括训练好的光调制结构、图像传感器和处理器；

所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；或，所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；

其中，所述输入训练样本包括由具备不同肥力的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的土壤肥力；和/或，所述输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农药布撒状况；和/或，所述输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的微量元素含量状况；和/或，所述输入训练样本包括由具备不同抗药性的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的抗药性；和/或，所述输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农作物生长状况。

在本实施例中，可以理解的是，所述输入训练样本包括由相应智能处理任务中的农业对象反射、透射和/或辐射的入射光；所述输出训练样本包括农业对象的智能处理结果(如识别结果、感知结果、决策结果或定性分析结果等)。

在本实施例中，农业对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络智能农业精准控制芯片中，得到农业对象的智能处理结果。

在本实施例中，以农业对象的识别任务为例进行说明，可以理解的是，在利用该光人工神经网络智能农业精准控制芯片进行识别任务时，首先需要对光人工神经网络智能农业精准控制芯片进行训练，这里对光人工神经网络智能农业精准控制芯片进行训练是指通过训练确定适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数。

可以理解的是，由于光调制层对进入光调制层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光调制层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数，从而完成对光人工神经网络智能农业精准控制芯片的训练。

可以理解的是，在对光人工神经网络智能农业精准控制芯片训练后，就可以使用该光人工神经网络智能农业精准控制芯片执行识别任务。具体地，携带有农业对象空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息的入射光进入训练好的光人工神经网络智能农业精准控制芯片的光调制层1后，光调制层1中的光调制结构会对入射光进行调制，调制后的光信号强度由图像传感器2探测并转换成电信号，再由处理器3进行全连接处理或同时进行全连接以及第二次非线性激活处理，就能得到农业对象的识别结果。

如图4a所示，对于农业对象识别的完整流程为：宽谱光源100照射到农业对象200上，然后农业对象的反射光或透射光由光人工神经网络智能农业精准控制芯片300采集，或者农业对象直接向外辐射的光由光人工神经网络智能农业精准控制芯片300采集，由光人工神经网络智能农业精准控制芯片中的光调制层、图像传感器和处理器进行处理后，即可得到识别结果。

其中，训练好的光人工神经网络智能农业精准控制芯片是指包括训练好的光调制结构、图像传感器和处理器的光人工神经网络智能农业精准控制芯片；所述训练好的光调制结构、图像传感器和处理器是指利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数与不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器。

在本实施例中，由于农业精准控制智能处理任务包括土壤肥力检测、农药布撒检测、微量元素含量检测、抗药性检测以及农作物生长状况检测中的一种或多种，因此对应的输入训练样本和输出训练样本也不同。

例如，当农业精准控制智能处理任务包括土壤肥力检测时，对应的输入训练样本包括由具备不同肥力的土壤反射、透射和/或辐射的入射光，对应的输出训练样本包括相应的土壤肥力。

当农业精准控制智能处理任务包括农药布撒检测时，对应的输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的入射光，对应的输出训练样本包括相应的农药布撒状况。

当农业精准控制智能处理任务包括微量元素含量检测时，对应的输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐射的入射光，对应的输出训练样本包括相应的微量元素含量状况。

当农业精准控制智能处理任务包括抗药性检测时，对应的输入训练样本包括由具备不同抗药性的土壤反射、透射和/或辐射的入射光，对应的输出训练样本包括相应的抗药性。

当农业精准控制智能处理任务包括农作物生长状况检测时，对应的输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入射光，对应的输出训练样本包括相应的农作物生长状况。

可以理解的是，可以预先对大量不同状态、位置的土壤样本、农作物样本进行采集并进行数据训练，进而设计出所需的光调制结构(也即光调制层中的微纳调制结构)并进行制备，从而在芯片上以硬件方式实现人工神经网络的输入层、线性层以及非线性层中的第一次非线性激活函数。

可以理解的是，对于识别任务来说，由于本实施例提供的光人工神经网络智能农业精准控制芯片的优势还在于能够获取到识别对象空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，因此，为充分利用该优势，对于作为输入训练样本的识别对象样本优先采用真实的识别对象，而不是识别对象的二维图像。当然，这并不代表不可以将二维图像作为识别对象样本。

此外，在本实施例提供的光人工神经网络智能农业精准控制芯片还可以用于农业对象的其他智能处理任务，如智能农业感知、智能农业决策等任务。

在本实施例中，将光调制层1作为神经网络的输入层和线性层，将图像传感器2作为神经网络的非线性层的一部分(也即将图像传感器2的平方检波响应作为神经网络的第一非线性激活函数)，为了使神经网络的损失函数最小，将光调制层中的光调制结构对农业对象的入射光中不同波长成分的调制强度作为神经网络的输入层到线性层的连接权重，通过调整光调制层的结构可以调整农业对象的入射光中不同波长成分的调制强度，从而实现对输入层到线性层连接权重的调整，进而优化神经网络的训练。

因此，本实施例中光调制结构是基于神经网络训练得到的，通过计算机对训练样本进行光学仿真，获取训练样本中光调制结构对智能处理任务中农业对象的入射光不同波长成分的样本调制强度，将样本调制强度作为神经网络的输入层到线性层的连接权重，进行非线性激活，并利用与智能处理任务对应的训练样本进行神经网络训练，直至神经网络收敛时将对应的训练样本光调制结构作为对应智能处理任务的光调制层。

由此可见，本实施例通过在物理层实现神经网络的输入层和线性层(光调制层)以及非线性层的一部分(图像传感器2的平方检波响应作为神经网络的第一次非线性激活函数)，能够省去现有技术中与输入层、线性层以及部分或全部非线性激活函数对应的复杂的信号处理和算法处理，从而可以提高处理速度，降低时延。同时本发明实施例实际上同时利用了农业对象空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，即农业对象空间不同点处的光谱信息，从而使得可以从空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息中进一步提取农业对象成分、形状、三维深度等信息，从而可以解决背景技术部分所提到的采用农业对象的二维图像信息难以保证识别的准确性问题。

基于上述实施例的内容，在本实施例中，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。

本实施例通过计算机光学仿真对光调制结构进行设计，通过光学仿真调整光调制结构，直至神经网络收敛时确定对应的光调制结构为最终需要制作的光调制结构尺寸，节省原型制作时间和成本，提高产品效率，轻松解决复杂的光学问题。例如，可以通过FDTD软件来对光调制结构进行仿真设计，在光学仿真中改变光调制结构，从而可以准确地预测光调制结构对不同入射光的调制强度，并将其作为神经网络输入层与线性层的连接权重，对光人工神经网络智能农业精准控制芯片进行训练，准确获取光调制结构。

可以理解的是，可以预先对大量不同状态、位置的土壤样本、农作物样本进行采集并进行数据训练，进而设计出所需的光调制结构(也即光调制层中的微纳调制结构)并进行制备，从而在芯片上以硬件方式实现人工神经网络的输入层、线性层以及非线性层中的第一次非线性激活函数。

由此可见，本实施例通过采用计算机光学仿真设计的方式设计光调制结构，节省了光调制结构原型制作时间和成本，提高产品效率。

可以理解的是，精准农业的技术原理是根据土壤肥力和作物生长状况的空间差异，调节对作物的投入，在对耕地和作物长势进行定量的实时诊断并充分了解大田生产力的空间变异的基础上，以平衡地力、提高产量为目标，实施定位、定量的精准田间管理，实现高效利用各类农业资源和改善环境这一可持续发展目标。实施精准农业不但可以最大限度地提高农业生产力，而且能够实现优质、高产、低耗和环保的农业可持续发展的目标。农田里田间土壤、作物的特性都不是均一的，是随着时间、空间变化的。但在传统的、目前仍在采用的农田管理中，都认为上述特性是均一的，而采用统一的施肥时间、施肥量。但是过量施用的农药、肥料会流入地表水和地下水，引起环境污染。因此，通过对农田土壤及作物的光谱数据和图像采集、实现可与无人机、智能机器人等集成的、体积小、成本低、又可以大范围使用的精准农业控制芯片对农业现代化具有重要意义。本实施例的目的是提供一种用于精准农业控制的新型光电芯片，该芯片由光调制层和图像传感器构成光人工神经网络的输入层、线性层和非线性层中的一部分非线性激活函数，同时采集农田土壤及作物的图像信息和光谱信息，以实现快速准确、安全可靠的土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的定性分析。该芯片在图像传感器的感光区域表面上直接制备微纳调制结构，若干个分立或连续的微纳结构构成一个单元，不同位置处的微纳调制结构对入射光具有不同的频谱调制作用，共同构成了光调制层。这些微纳调制结构对入射光不同波长成分的调制强度对应于人工神经网络的连接强度(线性层权重)，同时图像传感器的平方检波响应将与不同位置点经光调制层调制后对应的光场分布信号进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号。对于精准农业控制，可以先对大量不同状态、位置的土壤样本及农作物样本进行采集，通过数据训练得到线性层的权重，即光调制层的系统函数，便可以逆向设计出所需的光调制层，将其集成在图像传感器上方。此外，在该芯片的应用过程中，可以利用制作完成的光调制层的输出，对电信号全连接层的权重以及第二次非线性激活函数进一步训练并优化，可实现土壤肥力、农药布撒情况、微量元素含量以及作物生长状况的定性分析。

可以理解的是，该芯片实际上同时利用了土壤、农作物空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，提高了精准农业控制的准确性和多样性；并在硬件上部分实现了人工神经网络，提高了精准农业控制的分析速度，且芯片可以集成到无人机、智能机器人系统，精准分析大面积农田区域的土壤和农作物状态。此外，该芯片方案可以利用现有的CMOS工艺实现量产，降低了器件的体积、功耗和成本。

本实施例提供的基于微纳调制结构和图像传感器的光人工神经网精准农业控制芯片，其结构示意图如图2所示，包括光调制层1、图像传感器2和处理器3。光调制层1对应于光人工神经网的输入层和线性层，其中，若干个分立或连续的微纳调制结构构成一个单元，这些调制结构对入射光具有不同的宽带频谱调制作用，不同单元包含的微纳调制结构可以相同或不同，也可以根据图像进行空间重构。每个单元与多个图像传感器感光像素在垂直方向上相对应。图像传感器2的平方检波响应对应于光人工神经网的一部分非线性激活函数，将光调制层1的出射光场E_N转换为图像传感器的光电流响应I_N上。处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出I_N至传输到计算机中，由计算机进行电信号的全连接处理或再次进行非线性激活处理，最后输出结果。

可以理解的是，对于精准农业控制，通过在计算机上对微纳调制结构进行光学仿真，可以得到调制结构对入射光不同波长成分的调制强度(透射率)，将其作为人工神经网络输入层到线性层的连接权重，并同时利用图像传感器的平方检波响应将与不同位置点经光调制层调制后对应的光场分布信号进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理，或所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号，事先对大量不同状态、位置的土壤样本、农作物样本进行采集并进行数据训练，可以设计出所需的微纳调制结构并进行制备，在芯片上实现人工神经网络的输入层、线性层以及非线性层中的第一次非线性激活函数。

从纵向上看，如图2所示，光调制层中的每个微纳调制结构是通过预先的人工神经网络训练设计得到的，可以通过在图像传感器上直接生长一层或多层介质或金属材料，再进行刻蚀来制备。光调制层中每个调制单元的整体尺寸通常为λ²～10⁵λ²，厚度通常为0.1λ～10λ，λ是目标波段的中心波长。光调制层中的每个调制单元结构对应图像传感器上的多个像素。光调制层直接在图像传感器上制备，图像传感器和处理器之间通过电接触进行连接。

在本实施例中，对于精准农业控制芯片分析样本的完整流程如图4b所示，由光谱、图像采集器采集农田土壤、农作物的光谱数据及图像，然后反射光由精准农业控制芯片采集，再经处理器的内部算法处理，即可得到识别结果。

可以理解的是，光调制层和CIS晶圆(CIS晶圆作为图像传感器)都可以由半导体CMOS集成工艺制造，从晶圆级别直接在图像传感器上单片集成光调制层，利用CMOS工艺一次流片即可完成该芯片的制备，从而可以在晶圆级别实现单片集成，有利于减小传感器与光调制层之间的距离，缩小器件的体积，降低封装成本。

由此可见，本实施例将光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，将图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数，进而将不同状态、位置的土壤样本、农作物样本的空间光谱信息投影到图像传感器的光电流响应中，并在处理器中实现电信号的全连接和第二次非线性激活，从而实现了低功耗低、检测范围大、可靠高的快速精准农业控制芯片。

本实施例提供的基于微纳调制结构和图像传感器的光人工神经网精准农业控制芯片有以下效果：A、将人工神经网络部分嵌入至包含各种光调制层的图像传感器中，实现安全可靠、快速准确的精准农业控制。B、可对土壤、农作物等引入人工神经网络训练识别，便于后续集成到无人机、智能机器人等工业智能控制系统实现大区域的精准农业控制，且识别准确性高、定性分析精准。C、可以通过CMOS工艺一次流片完成对该芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。D、在晶圆级别实现单片集成，可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。

基于上述实施例的内容，在本实施例中，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。

在本实施例中，所述光调制层中的光调制结构可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。

在本实施例中，这里光调制结构包括规则结构可以指：光调制结构包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。

在本实施例中，这里的光调制结构包括不规则结构可以指：光调制结构包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。

在本实施例中，所述光调制层中的光调制结构可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。

在本实施例中，这里光调制结构包括连续型结构可以指：光调制结构是由连续的调制图案构成的；这里光调制结构包括离散型结构可以指：光调制结构是由离散的调制图案构成的。

可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。

可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。

在本实施例中，需要说明的是，光调制结构对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。

基于上述实施例的内容，在本实施例中，所述光调制层为单层结构或多层结构。

在本实施例中，需要说明的是，所述光调制层可以为单层滤波器结构，也可以是多层滤波器结构，例如可以是两层、三层、四层等多层结构。

在本实施例中，如图1所示，所述光调制层1为单层结构，光调制层1的厚度与目标波长范围相关，对于波长400nm～10μm，光栅结构的厚度可以为50nm～5μm。

可以理解的是，由于光调制层1的作用是对入射光进行频谱调制，因此，优选折射率高、损耗小的材料制备，例如可以选择硅、锗、锗硅材料、硅的化合物、锗的化合物、III-V族材料等进行制备，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。

此外，需要说明的是，为在输入层和线性层之间形成更多或更复杂的连接权重，优选地，可以将所述光调制层1设置为多层结构，各层对应的光调制结构可以设置为不同的结构，从而增加光调制层对入射光的频谱调制能力，从而可以在输入层和线性层之间形成更多或更为复杂的连接权重，进而提高光人工神经网络智能农业精准控制芯片在处理智能任务时的准确度。

此外，需要说明的是，对于包含多层结构的滤波器层来说，每层结构的材料可以相同，也可以不同，举例来说，对于有二层的光调制层1，第一层可以为硅层，第二层可以为氮化硅层。

需要说明的是，光调制层1厚度与目标波长范围相关，对于波长400nm～10μm，多层结构总的厚度可以为50nm～5μm。

基于上述实施例的内容，在本实施例中，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。

在本实施例中，为能够获得呈阵列分布的连接权重(用于连接输入层与线性层之间的连接权重)以便于处理器进行后续的全连接与非线性激活处理，优选地，在本实施例中，光调制结构为阵列结构形式，具体地，光调制结构包括由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点。需要说明的是，各个微纳单元的结构可以相同，也可以不同。此外，需要说明的是，各个微纳单元的结构可以是周期的，也可以是非周期的。此外，需要说明的是，各个微纳单元还可以进一步包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同等。

下面结合图5～图9进行举例说明，在本实施例中，如图5所示，光调制层1包含多个重复连续或离散的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为非周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图6所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(与图5的区别在于图6中每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图7所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点，与图6的区别在于图7中的各微纳单元内周期阵列的单元形状具有四重旋转对称性；如图8所示，光调制层1包含多个微纳单元，如11、22、33、44、55、66，与图6的区别在于每个微纳单元结构互不相同，每个微纳单元对应图像传感器2上的一个或多个像素点，本实施例中光调制层1包含多个互不相同的微纳单元，也即光人工神经网络智能农业精准控制芯片上不同区域对入射光的调制作用不同，从而提高了设计的自由度，进而也可以提升识别的准确率。如图9所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同，与图5的区别在于各微纳单元是由分立的非周期阵列结构组成的，每个微纳单元对应图像传感器2上的一个或多个像素点。

在本实施例中，微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。

基于上述实施例的内容，在本实施例中，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。

在本实施例中，所述微纳单元可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。

在本实施例中，这里微纳单元包括规则结构可以指：微纳单元包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。

在本实施例中，这里的微纳单元包括不规则结构可以指：微纳单元包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。

在本实施例中，所述光调制层中的微纳单元可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。

在本实施例中，这里微纳单元包括连续型结构可以指：微纳单元是由连续的调制图案构成的；这里微纳单元包括离散型结构可以指：微纳单元是由离散的调制图案构成的。

可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。

可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。

在本实施例中，需要说明的是，不同微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳单元，使得光通过不同组的微纳单元后，对应的透射谱不同。

基于上述实施例的内容，在本实施例中，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。

在本实施例中，如图5所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个不同的微纳结构阵列110、111、112和113，滤波单元44包含4个不同的微纳结构阵列440、441、442和443。如图10所示，光调制层1包含多个微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个相同的微纳结构阵列110、111、112和113。

需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。

在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组滤波结构之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。

基于上述实施例的内容，在本实施例中，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。

在本实施例中，为了能够获取农业对象的入射光不同波长成分的调制强度作为神经网络输入层和线性层的连接权重，通过采用不同的微纳结构阵列实现宽带滤波和窄带滤波，因此本实施例中微纳结构阵列通过对农业对象的入射光进行宽带滤波或窄带滤波，获取农业对象的入射光不同波长成分的调制强度。如图11和图12所示，光调制层中各组微纳结构阵列具有宽带滤波或窄带滤波的作用。

可以理解的是，对于各组微纳结构阵列来说，可以都具备宽带滤波作用，也可以都具备窄带滤波作用，也可以部分具备宽带滤波作用，部分具备窄带滤波作用。此外，各组微纳结构阵列的宽带滤波范围和窄带滤波范围也可以相同或不同。举例来说，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有窄带滤波作用，即只有一个(或较少个)波长的光可以通过。又如，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有宽带滤波作用，即允许较多波长或所有波长的光可以通过。

可以理解的是，在具体使用时，可以根据应用场景进行宽带滤波、窄带滤波或其组合的方式确定各组微纳结构阵列的滤波状态。

基于上述实施例的内容，在本实施例中，各组微纳结构阵列为周期结构阵列或非周期结构阵列。

在本实施例中，各组微纳结构阵列可以均为周期结构阵列，也可以均为非周期结构阵列，也可以部分为周期结构阵列，部分为非周期结构阵列。其中，周期结构阵列易于进行光学仿真设计，非周期结构阵列可以实现更复杂的调制作用。

在本实施例中，如图5所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为非周期性结构。其中，非周期性结构指微纳结构阵列上的调制孔形状按照非周期排列方式进行排布。如图5所示，微纳单元11包含4个不同的非周期结构阵列110、111、112和113，微纳单元44包含4个不同的非周期结构阵列440、441、442和443，非周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图6所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，与图5所不同的是，微纳结构阵列为周期性结构。其中，周期性结构指微纳结构阵列上的调制孔形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图6所示，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的滤波器结构是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图7所示，光调制层1包含多个互不相同的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为周期性结构。其中，周期性结构指滤波器结构上的形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图7所示，微纳单元11与微纳单元12的微纳结构阵列互不相同，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。

需要说明的是，图5～图9每个微纳单元均包括四组微纳结构阵列，四组微纳结构阵列分别采用四种不同形状的调制孔形成，四组微纳结构阵列用于对入射光具有不同的调制作用。需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。在本实施例中，四种不同形状可以为圆形、十字形、正多边形和矩形(不限于此)。

在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组微纳结构阵列之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。

基于上述实施例的内容，在本实施例中，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。

下面结合图9所示例子进行举例说明，在本实施例中，如图9所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，对于任一微纳单元包含一组或多组空结构，所述空结构用于直通入射光。可以理解的是，当多组微纳结构阵列中包含有一组或多组空结构时，可以形成更为丰富的频谱调制效果，从而满足特定场景下的频谱调制需求(或满足特定场景下输入层与线性层之间的特定连接权重需求)。

如图9所示，每个微纳单元均包括一组微纳结构阵列和三组空结构，微纳单元11包含1个非周期结构阵列111，微纳单元22包含1个非周期结构阵列221，微纳单元33包含1个非周期结构阵列331，微纳单元44包含1个非周期结构阵列441，微纳单元55包含1个非周期结构阵列551，微纳单元66包含1个非周期结构阵列661，其中微纳结构阵列用于对入射光进行不同的调制。需要说明的是，这里只是以包括一组微纳结构阵列和三组空结构进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括一组微纳结构阵列和五组空结构或其他数量组微纳结构阵列的微纳单元。在本实施例中，微纳结构阵列可以采用圆形、十字形、正多边形和矩形的调制孔制成(不限于此)。

需要说明的是，微纳单元包含的多组微纳结构阵列中也可以均不包含空结构，即多组微纳结构阵列可以是非周期结构阵列，也可以是周期结构阵列。

基于上述实施例的内容，在本实施例中，所述微纳单元具有偏振无关特性。

在本实施例中，由于微纳单元具有偏振无关特性，因此使得光调制层对入射光的偏振不敏感，从而实现了对入射角、偏振均不敏感的光人工神经网络智能农业精准控制芯片。本发明实施例提供的光人工神经网络智能农业精准控制芯片对入射光的入射角以及偏振特性不敏感，即测量结果不会受到入射光的入射角度和偏振特性的影响，从而可以保证光谱测量性能的稳定性，进而可以保证智能处理的稳定性，如智能感知的稳定性、智能识别的稳定性、智能决策的稳定性等等。需要说明的是，微纳单元也可以具有偏振相关特性。

基于上述实施例的内容，在本实施例中，所述微纳单元具有四重旋转对称性。

在本实施例中，需要说明的是，四重旋转对称性属于偏振无关特性中的一种具体情况，通过将微纳单元设计为具有四重旋转对称性的结构，可以满足偏振无关特性的要求。

下面结合图7所示例子进行举例说明，在本实施例中，如图7所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，每组微纳结构阵列对应的结构可为圆、十字、正多边形、矩形等具有四重旋转对称性的结构，即结构旋转90°、180°、270°后，与原来的结构重合，从而使得结构具有偏振无关的特性，使得在不同偏振光入射都能取得相同的智能识别效果。

基于上述实施例的内容，在本实施例中，所述光调制层由一层或多层滤波器层构成；

所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP(Surface Plasmon Polaritons，SPP)微纳结构、可调法布里-珀罗谐振腔(Fabry-perot Cavity，FP腔)中的一种或多种制备的滤波器层。

所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。

其中，光子晶体，以及超表面与随机结构组合可采用CMOS工艺兼容，能够有较好的调制效果，微纳调制结构微孔中也可以填充其他材料做表面的平滑化处理；量子点与钙钛矿可以利用材料本身的谱调制特性使得单个调制结构的体积最小；SPP体积较小，可实现偏振相关的光调制；液晶可以用电压动态调控，提升空间分辨率；可调法布里-珀罗谐振腔可以动态调控，提升空间分辨率。

基于上述实施例的内容，在本实施例中，所述光调制层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。

在本实施例中，需要说明的是，若光调制层的厚度远小于入射光的中心波长，就不能起到有效的频谱调制作用；若光调制层的厚度远大于入射光的中心波长，工艺上难以制备，并且会引入较大的光学损耗。因此，本实施例中为了减少光学损耗易于制备，并且保证有效的频谱调制作用，光调制层1中每个微纳单元的整体尺寸(面积)通常为λ²～10⁵λ²，厚度通常为0.1λ～10λ(λ表示农业对象的入射光的中心波长)。如图5所示，每个微纳单元的整体尺寸为0.5μm²～40000μm²，光调制层1中的介质材料为多晶硅，厚度为50nm～2μm。

基于上述实施例的内容，在本实施例中，所述图像传感器为下述中的任意一项或多项：

CMOS图像传感器(Contact Image Sensor，CIS)、电荷耦合元件(Charge CoupledDevice，CCD)、单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)阵列和焦平面光电图像传感器阵列。

在本实施例中，需要说明的是，采用晶圆级别的CMOS图像传感器CIS，在晶圆级别实现单片集成，可以最大程度减小图像传感器与光调制层之间的距离，有利用于缩小单元的尺寸，降低器件体积和封装成本，SPAD可以用于弱光探测，CCD可以用于强光探测。

在本实施例中，光调制层和图像传感器可以由互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)集成工艺制造，有利于降低器件失效率，提高器件的成品率并降低成本。例如，可以通过在图像传感器上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到光调制层。

基于上述实施例的内容，在本实施例中，所述人工神经网络的类型包括：前馈神经网络。

在本实施例中，前馈神经网络(Feedforward Neural Network，FNN)，又称作深度前馈网络(Deep Feedforward Network，DFN)、多层感知机(Multi-Layer Perceptron，MLP)，是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。前馈神经网络结构简单，易于在硬件上实现，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数.而且可以精确实现任意有限训练样本集。前馈网络是一种静态非线性映射。通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。

基于上述实施例的内容，在本实施例中，所述光调制层与所述图像传感器之前设置有透光介质层。

在本实施例中，需要说明的是，在所述光调制层与所述图像传感器之间设置透光介质层，可以有效将光调制层与图像传感器层分开，避免两者相互干扰。

基于上述实施例的内容，在本实施例中，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光调制层集成在所述金属线层远离所述光探测层的一面；或，

所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光调制层集成在所述光探测层远离所述金属线层的一面。

在本实施例中，如图13所示为前照式的图像传感器，硅探测层21在金属线层22下方，光调制层1直接集成到金属线层22上。

在本实施例中，与图13不同的是，图14所示为背照式的图像传感器，硅探测层21在金属线层22上方，光调制层1直接集成到硅探测层21上。

需要说明的是，对于背照式的图像传感器，硅探测层21在金属线层22上方，可以减少金属线层对入射光的影响，从而可以提高器件的量子效率。

根据上面的内容可知，本实施例将光调制层作为人工神经网络的输入层和线性层，将图像传感器作为人工神经网络的非线性层的一部分(将图像传感器的平方检波响应作为人工神经网络的第一次非线性激活函数)，将光调制层对进入光调制层的入射光的滤波作用作为输入层到线性层的连接权重，本实施例提供的光人工神经网络智能农业精准控制芯片中的光调制层和图像传感器通过硬件的方式实现了人工神经网络中输入层、线性层以及部分非线性激活函数的相关功能，从而使得后续在使用该光人工神经网络智能农业精准控制芯片进行智能处理时不需要再进行与输入层、线性层以及部分非线性激活函数对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，本实施例由于同时利用了农业对象空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，从而可以更加准确地实现对农业对象的智能处理。

由此可见，在本发明实施例中，将光调制层作为人工神经网络的输入层和线性层，图像传感器作为人工神经网络的非线性层的一部分，将物体的空间光谱信息投影到图像传感器的光电流响应中，并在处理器中实现电信号的全连接和二次非线性激活，实现了低功耗、低延时和高准确率的智能感知、识别和/或决策等功能。本发明实施例中基于光滤波器和图像传感器的光人工神经网光人工神经网络智能农业精准控制芯片有以下效果：将人工神经网络部分嵌入包含各种光调制层的图像传感器中，实现快速准确的智能感知、识别和/或决策功能。此外，本发明实施例还可以在晶圆级别实现单片集成，从而可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。

基于相同的发明构思，本发明另一实施例提供了一种智能农业控制设备，包括：如上面实施例所述的光人工神经网络智能农业精准控制芯片。所述智能农业控制设备可以包括施肥机设备、撒药机设备、抗药性分析设备、无人机设备、农业智能机器人设备、农作物健康分析设备、农作物生长状监测设备等。

由于本实施例提供的智能农业控制设备包括上述实施例所述的光人工神经网络智能农业精准控制芯片，因此，本实施例提供的智能农业控制设备具备上述实施例所述的光人工神经网络智能农业精准控制芯片的全部有益效果，由于上述实施例已经对此进行了较为详尽的描述，因此本实施例不再赘述。

基于相同的发明构思，本发明另一实施例提供了一种如上面所述实施例的光人工神经网络智能农业精准控制芯片的制备方法，如图15所示，具体包括如下步骤：

步骤1510、在所述图像传感器的表面制备包含有光调制结构的光调制层；

步骤1520、生成具备对信号进行全连接处理功能的处理器或生成具备对信号进行全连接处理以及第二次非线性激活处理功能的处理器；

步骤1530、连接所述图像传感器和所述处理器；

其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息；

所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；

所述处理器将与不同位置点对应的电信号进行全连接处理，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到人工神经网络的输出信号。

在本实施例中，还包括对所述光人工神经光人工神经网络智能农业精准控制芯片的训练过程，具体包括：

利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器；

或，利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。

可以理解的是，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经光人工神经网络智能农业精准控制芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。

可以理解的是，可以预先对大量不同状态、位置的土壤样本、农作物样本进行采集并进行数据训练，进而设计出所需的光调制结构(也即光调制层中的微纳调制结构)并进行制备，从而在芯片上以硬件方式实现人工神经网络的输入层、线性层以及非线性层中的第一次非线性激活函数。

在本实施例中，在所述图像传感器的感光区域的表面制备包含有光调制结构的光调制层，包括：

在所述图像传感器的表面生长一层或多层预设材料；

对所述一层或多层预设材料进行光调制结构图案的干法刻蚀，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；

或通过对所述一层或多层预设材料进行外加动态调控，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。

当所述光人工神经网络智能农业精准控制芯片用于农业对象的智能处理任务时，利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器；或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。

在本实施例中，需要说明的是，如图1所示，光调制层1可以通过在图像传感器2上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到。通过设计光调制结构的尺寸参数，各个单元能够对目标范围内不同波长的光有不同的调制作用，并且该调制作用对入射角度、偏振均不敏感。光调制层1中的每个单元对应图像传感器2上一个或多个像素。1是直接在2上制备的。

在本实施例中，需要说明的是，如图14所示，假设图像传感器2为背照式结构，则光调制层1可以在背照式的图像传感器的硅图像传感器层21上直接刻蚀，然后再沉积金属进行制备得到。

此外，需要说明的是，所述光调制层上的光调制结构可以通过对一层或多层预设材料进行光调制结构图案的干法刻蚀，干法刻蚀就是直接将图像传感器感光区域表面的一层或多层预设材料中不需要的部分去除，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行压印转移，压印转移是在其它衬底上通过刻蚀制备所需的结构，再通过PDMS等材料将结构转移到图像传感器的感光区域，得到包含有光调制结构的光调制层；或通过对一层或多层预设材料进行外加动态调控，外加动态调控是采用有源材料，然后外加电极通过改变电压来调控相应区域的光调制特性，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行分区打印，分区打印是分区采用打印的技术，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。

此外，需要说明的是，由于本实施例提供的制备方法是上述实施例中的光人工神经网络智能农业精准控制芯片的制备方法，因此，关于一些原理和结构等方面的详细内容，可以参见上述实施例的介绍，本实施例对此不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种光人工神经网络智能农业精准控制芯片，其特征在于，用于农业精准控制智能处理任务，包括：光调制层、图像传感器和处理器；所述光调制层对应人工神经网络的输入层、线性层以及所述输入层到所述线性层的连接权重，所述图像传感器的平方检波响应对应人工神经网络的非线性层中的第一次非线性激活函数；所述处理器对应人工神经网络的全连接以及输出层，或，所述处理器对应人工神经网络的全连接、非线性层中的第二次非线性激活函数以及输出层；

所述光调制层设置于所述图像传感器表面，所述光调制层包含有光调制结构，所述光调制结构用于对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；所述入射光包括农业对象的反射光、透射光和/或辐射光；所述农业对象包括农作物和/或土壤；

所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；

所述处理器将与不同位置点对应的电信号进行全连接处理，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到农业精准控制处理结果；

其中，所述农业精准控制智能处理任务包括：土壤肥力检测、农药布撒检测、微量元素含量检测、抗药性检测以及农作物生长状况检测中的一种或多种；所述农业精准控制处理结果包括：土壤肥力检测结果、农药布撒检测结果、微量元素含量检测结果、抗药性检测结果以及农作物生长状况检测结果中的一种或多种。

2.根据权利要求1所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。

3.根据权利要求1所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述光人工神经网络智能农业精准控制芯片包括训练好的光调制结构、图像传感器和处理器；

所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；或，所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；

其中，所述输入训练样本包括由具备不同肥力的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的土壤肥力；

和/或，

所述输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农药布撒状况；

和/或，

所述输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的微量元素含量状况；

和/或，

所述输入训练样本包括由具备不同抗药性的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的抗药性；

和/或，

所述输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农作物生长状况。

4.根据权利要求3所述的光人工神经网络智能农业精准控制芯片，其特征在于，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练，或，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。

5.根据权利要求1～4任一项所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。

6.根据权利要求1～4任一项所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述光调制层为单层结构或多层结构。

7.根据权利要求1～4任一项所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。

8.根据权利要求7所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。

9.根据权利要求7所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。

10.根据权利要求9所述的光人工神经网络智能农业精准控制芯片，其特征在于，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。

11.根据权利要求9所述的光人工神经网络智能农业精准控制芯片，其特征在于，各组微纳结构阵列为周期结构阵列或非周期结构阵列。

12.根据权利要求9所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。

13.根据权利要求9所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述微纳单元具有四重旋转对称性。

14.根据权利要求1所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述光调制层由一层或多层滤波器层构成；

所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。

15.根据权利要求14所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。

16.根据权利要求1所述的光人工神经网络智能农业精准控制芯片，其特征在于，所述光调制层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。

17.一种智能农业控制设备，其特征在于，包括如权利要求1～16任一项所述的光人工神经网络智能农业精准控制芯片。

18.一种如权利要求1～16任一项所述的光人工神经网络智能农业精准控制芯片的制备方法，其特征在于，包括：

在所述图像传感器的表面制备包含有光调制结构的光调制层；

生成具备对信号进行全连接处理功能的处理器或生成具备对信号进行全连接处理以及第二次非线性激活处理功能的处理器；

连接所述图像传感器和所述处理器；

其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述图像传感器的表面得到与不同位置点对应的入射光携带信息；

所述图像传感器通过平方检波响应将与不同位置点经光调制层调制后对应的入射光携带信息进行第一次非线性激活处理后转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；

所述处理器将与不同位置点对应的电信号进行全连接处理，或，所述处理器将与不同位置点对应的电信号进行全连接处理以及第二次非线性激活处理，得到农业精准控制处理结果。

19.根据权利要求18所述的光人工神经网络智能农业精准控制芯片的制备方法，其特征在于，还包括：对所述光人工神经网络智能农业精准控制芯片的训练过程，具体包括：

利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器；

或，利用与所述农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的第二次非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。

20.根据权利要求18所述的光人工神经网络智能农业精准控制芯片的制备方法，其特征在于，在所述图像传感器的表面制备包含有光调制结构的光调制层，包括：

在所述图像传感器的表面生长一层或多层预设材料；

对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；

或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光调制层；

或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。

Images