发明内容
鉴于以上技术问题,本发明提供了一种基于人工智能的肥料肥力的分析方法及系统,以解决现有技术中对肥料的效果进行分析遇到的问题。
本公开的其他特征和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本发明的一方面,公开一种基于人工智能的肥料肥力的分析方法,所述方法包括:
获取多组叶片图像序列,每一所述叶片图像序列包括不同的肥料含量下植物生长在不同时期的叶片的图像,且至少一组所述叶片图像序列中的植物存活在没有添加肥料的土壤中;
获取多组所述叶片图像序列中对应的每一叶片的氮浓度数据集;
获取多组所述叶片图像序列中的每一图像的特征参数,所述特征参数包括多项颜色参数、多项轮廓参数、多项纹理参数;
获取与多组所述叶片图像序列中的每一图像对应的多组传感器数据集,所述传感器数据集包括拍摄叶片时所获取的土壤的温度、湿度、PH值和天气的累积热效率、累积光照辐射;
基于所述叶片图像序列和其对应的所述特征参数,训练得到深度CNN模型,基于所述传感器数据集及其对应的所述叶片图像序列中的图像ID、所述氮浓度数据集,训练得到基于监督神经网络的MLP模型,基于深度学习框架,将所述深度CNN模型和所述MLP模型进行多模态融合,得到融合模型;
将采集得到叶片图像、采集时得到的所述传感器数据集输入到所述融合模型中,得到叶片图像对应的氮浓度,并将获得的氮浓度与对应的肥料用量结合,判断是否肥料用量的肥力是否达标。
进一步的,所述获取多组所述叶片图像序列中的每一图像的特征参数,包括:
获取原始图像
将所述原始图像的颜色空间从RGB转换为色调饱和度值并提取饱和度通道以获得饱和度阈值水平,并采用中值滤波算法去除图像噪声;
将所述原始图像的颜色空间从RGB转换为LAB并提取蓝色通道,得到蓝色图像阈值;
根据饱和度和蓝色图像的阈值将原始图像分割为目标区域和目标区域的感兴趣对象;
基于目标区域和目标区域的感兴趣对象,进行形态学特征分析,得到所述轮廓参数;
基于所述原始图像的颜色直方图和伪彩色图像得到所述颜色参数;
基于灰度共生矩阵计算得到所述纹理参数。
进一步的,所述轮廓参数至少包括面积、周长、高度、宽度、最长轴、质心、顶点、椭圆中心、椭圆长轴、椭圆短轴、椭圆角、椭圆偏心率中的一种。
进一步的,所述颜色参数包括红绿蓝平均值、亮度和绿的平均值、洋红和蓝的平均值、蓝和黄的平均值,以及包括色相、饱和度和明度的平均值。
进一步的,所述纹理参数包括对比度、不相似度、一致性、角二阶矩、灰度级别分布的均匀性和强度、相关性。
进一步的,在获取所述特征参数后,还包括:
基于单向方差分析,获取所述特征参数中与所述氮浓度数据集的关系,删除相关性低于阈值的所述特征参数。
进一步的,对删除相关性低于阈值的所述特征参数后,还包括:
基于主成分分析,将筛选出的所述特征参数进行分为三个主成分。
进一步的,在获取所述深度CNN模型和所述MLP模型中,包括:
将所述传感器数据集中的每个叶片对应的土壤的温度、湿度、PH值和天气的累积热效率、累积光照辐射作为样本,将图像ID、所述氮浓度数据集中与图像ID对应的氮浓度作为标签,训练得到所述MLP模型;
将所述叶片图像序列中的每一叶片的图像作为样本,在样本上进行与所述特征参数对应的标注,训练得到所述深度CNN模型。
根据本公开的另一方面,提供一种基于人工智能的肥料肥力的分析系统,包括:拍摄模块,用于获取多组叶片图像序列,每一所述叶片图像序列包括不同的肥料含量下植物生长在不同时期的叶片的图像,且至少一组所述叶片图像序列中的植物存活在没有添加肥料的土壤中;测量模块,用于获取多组所述叶片图像序列中对应的每一叶片的氮浓度数据集,计算模块,用于获取多组所述叶片图像序列中的每一图像的特征参数,所述特征参数包括多项颜色参数、多项轮廓参数、多项纹理参数;传感器模块,用于获取与多组所述叶片图像序列中的每一图像对应的多组传感器数据集,所述传感器数据集包括拍摄叶片时所获取的土壤的温度、湿度、PH值和天气的累积热效率、累积光照辐射;模型生成模块,用于基于所述叶片图像序列和其对应的所述特征参数,训练得到深度CNN模型,基于所述传感器数据集及其对应的所述叶片图像序列中的图像ID、所述氮浓度数据集,训练得到基于监督神经网络的MLP模型,基于深度学习框架,将所述深度CNN模型和所述MLP模型进行多模态融合,得到融合模型;分析模块,用于将采集得到叶片图像、采集时得到的所述传感器数据集输入到所述融合模型中,得到叶片图像对应的氮浓度,并将获得的氮浓度与对应的肥料用量结合,判断是否肥料用量的肥力是否达标。
本公开的技术方案具有以下有益效果:
基于训练出的融合模型,分别利用了MPL网络处理上下文信息和深度CNN架构处理图像特征的优势,将氮浓度相关的叶片图像的特征和天气、土壤的环境参数结合,使得在获取植物叶片的图像后便可以预测其氮浓度,进而可以对肥料的肥力进行分析,从而提高分析效率,且可以远程操作,大大降低了售后成本。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特征可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、系统、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
如图1所示,本说明书实施例提供一种基于人工智能的肥料肥力的分析方法,该方法的执行主体可以为计算机。该方法具体可以包括以下步骤S101~S105:
在步骤S101中,获取多组叶片图像序列,每一所述叶片图像序列包括不同的肥料含量下植物生长在不同时期的叶片的图像,且至少一组所述叶片图像序列中的植物存活在没有添加肥料的土壤中。
其中,植物具体可以是叶片呈绿色的西瓜植株、西红柿植株等,其每组植株的肥料用量有区别,使得每组植株有一定差异。叶片图像序列指的是植物在其叶片完全展开的各个生长阶段的图片,形成了以时间为序列的图像集。设置一组没有添加肥料的图像集为对照组,使得数据更加精准。
在步骤S102中,获取多组所述叶片图像序列中对应的每一叶片的氮浓度数据集。
其中,可以采用元素分析同位素质谱仪对每个叶片进行氮浓度分析,首先将植物叶片在105℃下进行30min灭酶处理,然后在80℃下干燥至恒重,最后研磨成100目筛的碎片,最后采用元素分析同位素质谱仪进行测定。
在步骤S103中,获取多组所述叶片图像序列中的每一图像的特征参数,所述特征参数包括多项颜色参数、多项轮廓参数、多项纹理参数。
具体地,所述轮廓参数至少包括面积、周长、高度、宽度、最长轴、质心、顶点、椭圆中心、椭圆长轴、椭圆短轴、椭圆角、椭圆偏心率中。所述颜色参数包括红绿蓝平均值、亮度和绿的平均值、洋红和蓝的平均值、蓝和黄的平均值,以及包括色相、饱和度和明度的平均值。所述纹理参数包括对比度、不相似度、一致性、角二阶矩、灰度级别分布的均匀性和强度、相关性。其中,需要解释的是关于纹理参数,对比度是衡量图像中不同灰度级别之间的对比度,较高的对比度表示图像中明暗变化较为显著,不相似度衡量图像中不同灰度级别之间的差异,较高的不相似度表示图像中灰度差异较大,一致性描述图像中灰度级别相邻区域的一致性,较高的一致性表示图像中灰度变化较为平滑,角二阶矩衡量图像中灰度级别的分布均匀性,较高的角二阶矩表示图像中灰度级别分布较为均匀,能量是角二阶矩的平方根,表示图像中灰度级别分布的均匀性和强度,相关性衡量图像中灰度级别之间的线性相关性,较高的相关性表示图像中灰度级别呈线性关系。而轮廓参数是对叶片进行形状分析得到,颜色参数是对叶片进行颜色分析得到。
在步骤S104中,获取与多组所述叶片图像序列中的每一图像对应的多组传感器数据集,所述传感器数据集包括拍摄叶片时所获取的土壤的温度、湿度、PH值和天气的累积热效率、累积光照辐射。
其中,在植物生长的环境因素中,土壤的温度、湿度、PH值会明显影响植物对营养的吸收,植物的生长速度主要由温度的相对热效率和光合有效辐射决定,进而影响植物叶片的形状、颜色、纹理。举例地,随着热效率和光照辐射的累积,植物总产量逐渐增加,叶片的颜色会有变化,对于RGB颜色空间,蓝色值变化平滑,红色和绿色值均先增大后减小再增大,表现为绿色>红色>蓝色,同时,对于LAB色彩空间,绿、洋红值变化较小,但蓝、黄和明度值均呈现小幅增加,然后下降,然后再次增加,但蓝、黄值变化小,明度值变化小。对于饱和度颜色空间,色调值几乎没有变化,但饱和度和明度值均呈现先增大后减小再增大的趋势,表现为饱和度>明度>色调。
因此,获取传感器数据集,将环境因素作为变量,可以辅助判断叶片的特征变化与氮浓度的关系,使得最后得到的氮浓度更加精准。传感器可以采用温度传感器、湿度传感器、光照传感器、PH传感器等等。
在步骤S105中,基于所述叶片图像序列和其对应的所述特征参数,训练得到深度CNN模型,基于所述传感器数据集及其对应的所述叶片图像序列中的图像ID、所述氮浓度数据集,训练得到基于监督神经网络的MLP模型,基于深度学习框架,将所述深度CNN模型和所述MLP模型进行多模态融合,得到融合模型。
具体地,在获取所述深度CNN模型和所述MLP模型中,将所述传感器数据集中的每个叶片对应的土壤的温度、湿度、PH值和天气的累积热效率、累积光照辐射作为样本,将图像ID、所述氮浓度数据集中与图像ID对应的氮浓度作为标签,训练得到所述MLP模型;将所述叶片图像序列中的每一叶片的图像作为样本,在样本上进行与所述特征参数对应的标注,训练得到所述深度CNN模型。如此,深度CNN模型可以将输入的图像进行叶片的特征参数分析,输出特征参数,MLP模型对传感器数据集、图像ID、氮浓度数据集进行上下文分类,使得输入了对应的传感器数据,可以输出其对氮浓度的影响因素。
其中,深度CNN模型是基于图像识别的模型,具体可以采用DenseNet-121,DenseNet-121是为利用密集层的分类任务而开发的深度CNN模型之一。在DenseNet-121中,每一层将其构建的特征图连同每层的输入一起传输到后续层,每一层都执行串联,这使得下一层能够获得所有先前层的累积知识,前一层的这些特征映射被转移到后面的层,进一步导致网络狭窄且受限,从而导致密集块中的通道更少,准确率更加高。MLP模型是一种监督神经网络,用于关注连续数据的决策支持,对三层或多层的非线性数据进行分类。
在步骤S106中,将采集得到叶片图像、采集时得到的所述传感器数据集输入到所述融合模型中,得到叶片图像对应的氮浓度,并将获得的氮浓度与对应的肥料用量结合,判断是否肥料用量的肥力是否达标。
具体地,在根据图像和传感器数据得到当前植物的叶片的氮浓度后,便可以进行肥力分析,例如,当肥料添加的份量适当时,即其氮元素含量适当,则植物的氮浓度也应该在预设值范围内,但如果经过多次取样进行图像分析,植物的氮浓度偏低,则说明肥料肥力不达标,在后续的种植中需要增加肥料,同时,说明肥料的溶解度地指标不合格。
在一实施方式中,获取多组所述叶片图像序列中的每一图像的特征参数,具体包括:获取原始图像将所述原始图像的颜色空间从RGB转换为色调饱和度值并提取饱和度通道以获得饱和度阈值水平,并采用中值滤波算法去除图像噪声;将所述原始图像的颜色空间从RGB转换为LAB并提取蓝色通道,得到蓝色图像阈值;根据饱和度和蓝色图像、黄色图像的阈值将原始图像分割为目标区域和目标区域的感兴趣对象;基于目标区域和目标区域的感兴趣对象,进行形态学特征分析,得到所述轮廓参数;基于所述原始图像的颜色直方图和伪彩色图像得到所述颜色参数;基于灰度共生矩阵计算得到所述纹理参数。
其中,上述流程可以理解为:将原始图像从RGB转换为HSV并提取饱和度通道;对饱和度图像进行阈值处理;中值滤波;将RGB转换为LAB并提取蓝色通道;对蓝色图像进行阈值处理加入阈值饱和度和蓝、黄色图像;将RGB转换为LAB并提取绿色、洋红色通道;得到蓝黄通道;对绿、洋红图像进行阈值处理;对蓝色图像进行阈值处理;加入阈值饱和度;加入蓝黄色图像;保留需要的部分;确定目标区域中的感兴趣区域;求形状属性并输出形状;进行颜色分析;进行纹理分析。
在一实施方式中,在获取所述特征参数后,还包括:
基于单向方差分析,获取所述特征参数中与所述氮浓度数据集的关系,删除相关性低于阈值的所述特征参数。
进一步的,对删除相关性低于阈值的所述特征参数后,还包括:
基于主成分分析,将筛选出的所述特征参数进行分为三个主成分。
具体地,单向方差分析是一种用于比较多个组(或水平)之间平均值是否显著不同的统计方法,即单向方差分析,可以确定不同的特征参数与氮浓度的相关性,将显著不随着氮浓度变化而变化的特征参数删除。
由上述的方法实施例得知,基于训练出的融合模型,分别利用了MPL网络处理上下文信息和深度CNN架构处理图像特征的优势,将氮浓度相关的叶片图像的特征和天气、土壤的环境参数结合,使得在获取植物叶片的图像后便可以预测其氮浓度,进而可以对肥料的肥力进行分析,从而提高分析效率,且可以远程操作,大大降低了售后成本。
基于同样的思路,如图2所示,本公开的示例性实施方式还提供了根据本公开的另一方面,提供一种基于人工智能的肥料肥力的分析系统,包括:拍摄模块201,用于获取多组叶片图像序列,每一所述叶片图像序列包括不同的肥料含量下植物生长在不同时期的叶片的图像,且至少一组所述叶片图像序列中的植物存活在没有添加肥料的土壤中;测量模块202,用于获取多组所述叶片图像序列中对应的每一叶片的氮浓度数据集,计算模块203,用于获取多组所述叶片图像序列中的每一图像的特征参数,所述特征参数包括多项颜色参数、多项轮廓参数、多项纹理参数;传感器模块204,用于获取与多组所述叶片图像序列中的每一图像对应的多组传感器数据集,所述传感器数据集包括拍摄叶片时所获取的土壤的温度、湿度、PH值和天气的累积热效率、累积光照辐射;模型生成模块205,用于基于所述叶片图像序列和其对应的所述特征参数,训练得到深度CNN模型,基于所述传感器数据集及其对应的所述叶片图像序列中的图像ID、所述氮浓度数据集,训练得到基于监督神经网络的MLP模型,基于深度学习框架,将所述深度CNN模型和所述MLP模型进行多模态融合,得到融合模型;分析模块206,用于将采集得到叶片图像、采集时得到的所述传感器数据集输入到所述融合模型中,得到叶片图像对应的氮浓度,并将获得的氮浓度与对应的肥料用量结合,判断是否肥料用量的肥力是否达标。
上述系统中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
基于同样的思路,本说明书实施例还提供一种基于人工智能的肥料肥力的分析设备,如图3所示。
基于人工智能的肥料肥力的分析设备可以为上述实施例提供的终端设备或服务器。
基于人工智能的肥料肥力的分析设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器301和存储器302,存储器302中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)和/或高速缓存存储单元,还可以进一步包括只读存储单元。存储在存储器302的应用程序可以包括一个或一个以上程序模块(图示未示出),这样的程序模块包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地,处理器301可以设置为与存储器302通信,在视频隐私保护设备上执行存储器302中的一系列计算机可执行指令。视频隐私保护设备还可以包括一个或一个以上电源303,一个或一个以上有线或无线网络接口304,一个或一个以上I/O接口(输入输出接口)305,一个或多个外部设备306(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或一个以上使得用户能与该设备交互的设备通信,和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过I/O接口305进行。并且,设备还可以通过有线或无线接口304与一个或一个以上网络(例如局域网(LAN)通讯。
具体在本实施例中,视频隐私保护设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对视频隐私保护设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取多组叶片图像序列,每一所述叶片图像序列包括不同的肥料含量下植物生长在不同时期的叶片的图像,且至少一组所述叶片图像序列中的植物存活在没有添加肥料的土壤中;
获取多组所述叶片图像序列中对应的每一叶片的氮浓度数据集;
获取多组所述叶片图像序列中的每一图像的特征参数,所述特征参数包括多项颜色参数、多项轮廓参数、多项纹理参数;
获取与多组所述叶片图像序列中的每一图像对应的多组传感器数据集,所述传感器数据集包括拍摄叶片时所获取的土壤的温度、湿度、PH值和天气的累积热效率、累积光照辐射;
基于所述叶片图像序列和其对应的所述特征参数,训练得到深度CNN模型,基于所述传感器数据集及其对应的所述叶片图像序列中的图像ID、所述氮浓度数据集,训练得到基于监督神经网络的MLP模型,基于深度学习框架,将所述深度CNN模型和所述MLP模型进行多模态融合,得到融合模型;
将采集得到叶片图像、采集时得到的所述传感器数据集输入到所述融合模型中,得到叶片图像对应的氮浓度,并将获得的氮浓度与对应的肥料用量结合,判断是否肥料用量的肥力是否达标。
基于同样的思路,本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图4所示,描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言一诸如Java、C++等,还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端系统、或者网络设备等)执行根据本公开示例性实施方式的方法。
此外,上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。