CN114331979A - 一种烟叶烘烤的智能决策方法和系统 - Google Patents

Abstract

本发明公开了一种烟叶烘烤的智能决策系统和方法，包括烟叶图像采集设备、决策模型及其决策终端、云端服务器；所述烟叶图像采集设备，包括摄像头和全光谱灯，用于获取烘烤过程中的烟叶彩色图像；所述决策终端用于接收烟叶图片和烘烤数据，根据储存的决策模型判断烟叶烘烤状态并返回烘烤策略的调整建议；所述云端服务器用于接收决策终端上传的烟叶图片数据以及烘烤策略，将数据与决策模型内数据进行比较判断和增量式学习，并将新学习的决策模型返回给决策终端进行更新升级。本发明采用知识图谱和增量式学习的决策模型，具有持续学习的能力，可以不断添加各种现实中出现的状况，提升在面对新烟叶数据时的决策能力，保证了烟叶的烘烤质量。

Description

一种烟叶烘烤的智能决策方法和系统

技术领域

本发明属于烤烟调制技术领域，具体涉及一种烟叶烘烤的智能决策方法和系统。

背景技术

烟叶烘烤是一个严密的工艺规程，由于每次采摘的烟叶质量都不相同，烟叶烘烤无法完全遵照现有预设温度曲线进行烘烤。烟叶烘烤对人为经验要求较高，存在不确定因素较多，常常对烘烤过程不能准确控制，技术人员在烘烤中容易判断失误，导致降低烟叶整体质量。传统提取不同颜色空间特征进行分类的决策方法泛化性较差；同时基于深度学习的技术方案在模型更新时需要重新训练，操作复杂。因此，如何提高烟叶烘烤的决策能力，保证烘烤质量，是迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种烟叶烘烤的智能决策方法和系统，提出基于知识图谱和增量式学习的决策模型，具有持续学习的能力，提升在面对新烟叶数据时的决策能力，保证了烟叶的烘烤质量，提高经济效益。

本发明的目的通过下述技术方案实现：

一种烟叶烘烤的智能决策系统，包括烟叶图像采集设备、决策模型及其决策终端、云端服务器。

所述烟叶图像采集设备，包括摄像头和全光谱灯，用于获取烘烤过程中的烟叶彩色图像。

所述烟叶图像采集设备内置于隔热箱体中，摄像头安装在隔热箱体的中间，全光谱灯安装于摄像头的两侧，由双层隔热玻璃将摄像头和全光谱灯与烤房高温高湿的环境阻隔开。

所述决策终端用于接收烟叶图片和烘烤数据，根据储存的决策模型判断烟叶烘烤状态并返回烘烤策略的调整建议。整批烟叶烘烤结束后，将烟叶图片以及烘烤策略通过互联网上传至云端服务器中。

所述云端服务器用于接收决策终端上传的烟叶图片数据以及烘烤策略，将数据与决策模型内数据进行比较判断和增量式学习，并将新学习的决策模型返回给决策终端进行更新升级。

所述决策模型通过构建知识图谱进行建模，首先通过烟叶图像采集设备采集训练图像，请专家进行数据标注，包括标注烟叶图片的烘烤状态和实际烘烤策略；然后将标注信息和烟叶图片记录到知识图谱中，建立实体语义库。所述决策模型的运行原理是相同烘烤阶段的烟叶图片是相似的，可以通过将烟叶图像数据输入烟叶烘烤知识图谱中，知识图谱使用语义搜索推理出相似的烘烤策略。

一种烟叶烘烤的智能决策方法，是采用知识图谱和增量式学习的决策模型。通过烟叶图像采集设备来采集烘烤过程中烟叶图像信息并传输给决策终端设备；决策终端设备将图像信息输入决策模型进行知识推理得出烟叶的烘烤策略；当一批烟叶烘烤结束之后将烘烤数据以及人工评价上传至云端服务器进行模型调整升级，并更新决策终端的决策模型。如图1所示，具体包括以下步骤：

(1)基于烟叶烘烤生产的需求，确定需要的数据；

(2)获取所需数据后，确定知识图谱的实体关系实体三元组；

(3)确定好各数据在知识图谱中的所属类别后，将数据存储到Neo4j图数据库中，构建知识图谱；

(4)烟叶烘烤知识图谱循证推理，给出推荐烘烤策略；

(5)烘烤结束后上传当期烟叶数据，包括烟叶图片、烘烤策略(包括烘烤温度、烤房湿度、烘烤时间)、人工评价；并根据人工评价进行增量式学习，将新的烘烤数据添加到知识图谱，不断丰富烟叶烘烤知识图谱，为后续的相似情况提供推理依据。

步骤(1)中，所述需要的数据包括：烟叶图像数据，烤房的温度和湿度，烘烤时间，烘烤结束后的烟叶烘烤程度的人工评价；优选的，还包括烟叶位于烤房的位置，具体为烤房上部、中部、下部。

步骤(2)中，三元组包含实体、关系、实体，由于实际操作中与烟叶烘烤相关的数据较少，无需使用计算机进行提取，故采用人工归纳的方法更容易获得实体和关系；如图2所示，所述知识图谱的实体关系实体三元组包括：

(2-1)构建实体，包括：烟叶、图像数据、烘烤程度、温度、湿度、时间、烘烤位置、烟叶烘烤评价，将上述字段信息作为关系图中的实体；

(2-2)构建关系：据实体之间的关系构建知识图谱所需要的三元组关系；包括但不限于：

实体:烟叶，关系:人工评价，实体:烟叶烘烤评价；

实体:烟叶，关系:烘烤策略，实体:温度；

实体:烟叶，关系:烘烤策略，实体:湿度；

实体:烟叶，关系:烘烤策略，实体:时间；

实体:烟叶，关系:烟叶数据，实体:烘烤位置；

实体:烟叶，关系:烟叶数据，实体:图像数据；

实体:烟叶，关系:烟叶数据，实体:烘烤程度。

步骤(3)中，图片数据需要经过编码器转换成特征向量Vi，Vi表示第i个图像特征向量。编码器采用ViT模型中图像分块的方式，并进行轻量化调整，将其中的16*16普通卷积替换为深度可分离卷积。

步骤(4)中，所述烟叶烘烤知识图谱循证推理，包括下述步骤：

(4-1)决策终端将烟叶图像采集设备采集的烟叶图片通过编码器转换成特征向量v；

(4-2)将特征向量v输入烟叶烘烤知识图谱，与知识图谱内现有的图像特征向量Vi进行对比计算余弦相似度；

(4-3)匹配相似度最高的图像特征向量Vi并推荐所对应的烘烤策略。

步骤(4-2)中，所述余弦相似度用于计算两个向量间的相似度，采用1200*768的两个向量组进行对比，对每两个向量计算余弦相似度之后再要求平均值。

步骤(5)中，所述增量式学习是指在训练出原始模型后，不断继续收集实际烟叶烘烤过程中的数据，传输给云端服务器判断是否出现新数据，如果云端服务器出现新数据，就在知识图谱中建立新的实体语义关系，调整升级决策模型并更新本地的服务器继续服务实际烟叶烘烤生产。以上过程循环往复，不断增强模型的泛化能力和鲁棒性。

步骤(5)中，当烤烟结束后，工作人员将对烤制好的烟叶进行人工评价，烤制好的烟叶品质符合标准则人工评价为正，若烤制的烟叶有烤糊、烤黑等不符合标准的情况时人工评价为负。

当人工评价为正的时候，烟叶烘烤数据将不作改变并添加人工评价上传至云端服务器；云端服务器将接收到的烘烤数据与知识图谱内的数据进行对比；数据对比采用余弦相似度计算，余弦相似度计算的值介于-1和1之间，其中-1完全不同，1完全相似；对输入的向量组以及知识图谱中的向量组中相同位置的行向量进行计算，获得两个向量的余弦相似度，相加并计算出平均值，设置一个人工阈值(比如0.8)用以判断新的烘烤数据与知识图谱内的数据的相似程度；当相似度低于人工阈值时，说明该数据在现有知识图谱内并没有相似数据，该烘烤数据将添加进知识图谱，反之当相似度高于人工阈值时，说明该数据在现有知识图谱内有十分相似的数据，需要被舍弃。

当人工评价为负面的时候，需要进行人工添加修改烘烤策略，然后再上传至云端服务器；云端服务器接收到负面的人工评价时，会把该数据添加到知识图谱内，并删除原有对应的烘烤策略；当更新完知识图谱后，服务器会发送升级包返回决策终端，更新升级决策终端的知识图谱决策模型，提高知识图谱对烤烟生产决策支持的扩展性和有效性。

本发明与现有技术相比具有如下优点和效果：

(1)本发明的决策方法具有持续学习的能力，可以不断添加各种现实中出现的状况，提升在面对新烟叶数据时的决策能力，保证了烟叶的烘烤质量，提高经济效益。

(2)本发明使用编码器将图片转换为特征信息更丰富的特征向量组，在编码器转换过程中做出了轻量化调整，使用了深度可分离卷积核，减少了计算量和参数量。

(3)本发明与基于神经网络的现有决策方案相比，在进行升级更新的时候只需把新数据加入烟叶烘烤知识图谱，操作简单，以前已经处理过的数据不需要重复处理，在学习新知识的情况下不会遗忘旧知识。

附图说明

图1为烟叶烘烤知识图谱的构建步骤。

图2为烟叶烘烤知识图谱的结构图。

图3为烟叶烘烤的决策流程图。

图4为烟叶烘烤知识图谱更新模块。

具体实施方式

为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

本实施例的烟叶烘烤的智能决策系统，包括烟叶图像采集设备、决策模型及其决策终端、云端服务器。所述烟叶图像采集设备包括广角摄像头、隔热设计和可调节全光谱灯，用于获取烘烤过程中的烟叶彩色图像。烟叶图像采集设备内置于隔热箱体中，广角摄像头安装在隔热箱体的中间，可调节全光谱灯安装在摄像头的两侧，由双层隔热玻璃(为隔热箱体的一部分)将摄像头和全光谱灯与烤房高温高湿的环境阻隔开，并在与烤房接触的玻璃上涂上防雾涂料防止水雾凝结。决策终端用于接收烟叶图像以及烘烤数据，根据储存的决策模型判断烟叶烘烤状态并返回烘烤策略的调整建议。整批烟叶烘烤结束后，将烟叶图片以及烘烤策略通过互联网上传至云端服务器中；上传后决策终端无需对烟叶数据信息进行储存，以减少决策终端的储存成本。云端服务器用于接收决策终端上传的烟叶图片数据以及烘烤策略，将数据与决策模型内数据进行比较判断，进行增量式学习，并将新学习的决策模型返回给决策终端进行更新升级。

如图3所示，烘烤时，烟叶图像采集设备来采集烟叶图像，并随烤房数据一起发送到决策终端，本实施例的数据格式为{烤房ID：0001，烘烤批次:0001，图片ID:0056，图片数据，拍摄时间:21-6-25-13:15，拍摄位置:上部，温度：42℃，湿度：38％},决策终端接收后将会对图片数据进行余弦相似度计算，匹配烟叶烘烤知识图谱里面相似度最高的图片数据，并给出关联的烘烤程度和烘烤策略：{烘烤程度：40％，推荐温度：42℃，推荐湿度：38％，继续烘烤时长：6小时}。随后决策终端会把烘烤程度和烘烤策略添加进原数据里面{烤房ID：0001，烘烤批次:0001，图片ID:0056，图片数据，拍摄时间:21-6-25-13:15，拍摄位置:上部，温度：42℃，湿度：38％，烘烤程度：40％，推荐温度：42℃，推荐湿度：38％，继续烘烤时长：6小时}。

实施例2

其他步骤同实施例1，本实施例的数据格式为{烤房ID：0002，烘烤批次:0002，图片ID:0065，图片数据，拍摄时间:21-6-30-13:15，拍摄位置:上部，温度：42℃，湿度：38％},决策终端接收后将会对图片数据进行余弦相似度计算，匹配烟叶烘烤知识图谱里面相似度最高的图片数据，并给出关联的烘烤程度和烘烤策略：{烘烤程度：50％，推荐温度：46℃，推荐湿度：38％，继续烘烤时长：6小时}。随后决策终端会把烘烤程度和烘烤策略添加进原数据里面{烤房ID：0001，烘烤批次:0001，图片ID:0056，图片数据，拍摄时间:21-6-25-13:15，拍摄位置:上部，温度：42℃，湿度：38％，烘烤程度：50％，推荐温度：46℃，推荐湿度：38％，继续烘烤时长：6小时}。推荐温度与现在温度不一致，决策终端发送信息给烘烤师傅请求提升烤房温度，烘烤师傅收到信息并同意请求后，决策终端将提升烤房温度到推荐温度。

实施例3

烘烤结束后，烘烤师傅对烟叶质量进行评价，烤制好的烟叶品质符合标准人工评价为正，烤制完的烟叶有烤糊，烤黑等不符合标准的情况时为负。数据格为{烤房ID：0002，烘烤批次:0002，[图片ID:0001，图片数据，拍摄时间:21-6-30-13:15，拍摄位置:上部，温度：36℃，湿度：36％，烘烤程度：0％，推荐温度：36℃，推荐湿度：36％，继续烘烤时长：2小时；，……；图片ID:2850，图片数据，拍摄时间:21-7-5-13:15，拍摄位置:上部，温度：60℃，湿度：40％，烘烤程度：80％，推荐温度：60℃，推荐湿度：40％，继续烘烤时长：4小时]，人工评价：烤青烟}，人工评价烤青烟是负面评价，请烘烤师傅分析原因并修改相应的推荐策略。烤青烟可能是烟叶在变黄阶段变黄不够，转火过早。修改推荐策略，延长变黄阶段的烘烤时间，如将数据[图片ID:0040，图片数据，拍摄时间:21-6-30-13:15，拍摄位置:上部，温度：38℃，湿度：37％，烘烤程度：3％，推荐温度：38℃，推荐湿度：37％，继续烘烤时长：2小时]中的继续烘烤时长修改为4小时。修改完成后，将该批次的烟叶数据打包并附上人工评价发送给云服务器进行升级更新。如图4所示。

其中，图片数据需要经过编码器转换成特征向量Vi，Vi表示第i个图像特征向量。编码器采用ViT模型中图像分块的方式，并做出了轻量化调整，将其中的16*16普通卷积替换为深度可分离卷积。深度可分离卷积的参数采用知识蒸馏的方式，以ViT预训练模型中图像分块部分作为teacher模型，蒸馏温度T设置为1，让深度可分离卷积核学习到ViT预训练模型中普通卷积核的知识。本实施例中图片是大小统一为640*480的RGB彩色图像，每张图像包含3个大小为640*480的矩阵数据，通过编码器后将形成大小为40*30*768的特征向量组，随后进行展平形成1200*768的特征向量组。

云端服务器将接收到的烘烤数据与知识图谱内的数据进行对比。数据对比同样使用余弦相似度计算，余弦相似度计算的值介于-1和1之间，其中-1完全不同，1完全相似。本实施例的图像数据经过编码器后变成了1200*768的特征向量组。对两个向量组中相同位置的行向量进行计算，获得两个向量的余弦相似度，相加并计算出平均值。设置一个人工阈值(本实施例采用0.8)用以判断新的烘烤数据与知识图谱内的数据的相似程度；当相似度低于人工阈值时，说明该数据在现有知识图谱内并没有相似数据，该烘烤数据将添加到知识图谱内，反之当相似度高于人工阈值时，说明该数据在现有知识图谱内有十分相似的数据，需要被舍弃。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种烟叶烘烤的智能决策系统，其特征在于：包括烟叶图像采集设备、决策模型及其决策终端、云端服务器；所述烟叶图像采集设备，包括摄像头和全光谱灯，用于获取烘烤过程中的烟叶彩色图像；所述决策终端用于接收烟叶图片和烘烤数据，根据储存的决策模型判断烟叶烘烤状态并返回烘烤策略的调整建议；所述云端服务器用于接收决策终端上传的烟叶图片数据以及烘烤策略，将数据与决策模型内数据进行比较判断和增量式学习，并将新学习的决策模型返回给决策终端进行更新升级。

2.根据权利要求1所述的烟叶烘烤的智能决策系统，其特征在于：所述烟叶图像采集设备内置于隔热箱体中，摄像头安装在隔热箱体的中间，全光谱灯安装于摄像头的两侧，由双层隔热玻璃将摄像头和全光谱灯与烤房高温高湿的环境阻隔开。

3.一种烟叶烘烤的智能决策方法，其特征在于：是采用知识图谱和增量式学习的决策模型，通过烟叶图像采集设备来采集烘烤过程中烟叶图像信息并传输给决策终端设备；决策终端设备将图像信息输入决策模型进行知识推理得出烟叶的烘烤策略；当一批烟叶烘烤结束之后将烘烤数据以及人工评价上传至云端服务器进行模型调整升级，并更新决策终端的决策模型。

4.根据权利要求3所述的烟叶烘烤的智能决策方法，其特征在于包括下述步骤：

(1)基于烟叶烘烤生产的需求，确定需要的数据；

(2)获取所需数据后，确定知识图谱的实体关系实体三元组；

(3)确定好各数据在知识图谱中的所属类别后，将数据存储到Neo4j图数据库中，构建知识图谱；

(4)烟叶烘烤知识图谱循证推理，给出推荐烘烤策略；

(5)烘烤结束后上传当期烟叶数据，包括烟叶图片、烘烤策略、人工评价；并根据人工评价进行增量式学习，将新的烘烤数据添加到知识图谱，不断丰富烟叶烘烤知识图谱，为后续的相似情况提供推理依据。

5.根据权利要求4所述的烟叶烘烤的智能决策方法，其特征在于：步骤(2)中，所述知识图谱的实体关系实体三元组包括：

(2-1)构建实体，包括：烟叶、图像数据、烘烤程度、温度、湿度、时间、烘烤位置、烟叶烘烤评价，将上述字段信息作为关系图中的实体；

(2-2)构建关系：据实体之间的关系构建知识图谱所需要的三元组关系。

6.根据权利要求5所述的烟叶烘烤的智能决策方法，其特征在于：所述三元组关系包括：

实体:烟叶，关系:人工评价，实体:烟叶烘烤评价；

实体:烟叶，关系:烘烤策略，实体:温度；

实体:烟叶，关系:烘烤策略，实体:湿度；

实体:烟叶，关系:烘烤策略，实体:时间；

实体:烟叶，关系:烟叶数据，实体:烘烤位置；

实体:烟叶，关系:烟叶数据，实体:图像数据；

实体:烟叶，关系:烟叶数据，实体:烘烤程度。

7.根据权利要求4所述的烟叶烘烤的智能决策方法，其特征在于：步骤(3)中，图片数据需要经过编码器转换成特征向量Vi，Vi表示第i个图像特征向量；编码器采用ViT模型中图像分块的方式，并进行轻量化调整，将其中的16*16普通卷积替换为深度可分离卷积。

8.根据权利要求4所述的烟叶烘烤的智能决策方法，其特征在于：步骤(4)中，所述烟叶烘烤知识图谱循证推理，包括下述步骤：

(4-1)决策终端将烟叶图像采集设备采集的烟叶图片通过编码器转换成特征向量v；

(4-2)将特征向量v输入烟叶烘烤知识图谱，与知识图谱内现有的图像特征向量Vi进行对比计算余弦相似度；

(4-3)匹配相似度最高的图像特征向量Vi并推荐所对应的烘烤策略。

9.根据权利要求4所述的烟叶烘烤的智能决策方法，其特征在于：步骤(5)中，所述增量式学习是指在训练出原始模型后，不断继续收集实际烟叶烘烤过程中的数据，传输给云端服务器判断是否出现新数据，如果是就在知识图谱中建立新的实体语义关系，调整升级决策模型并更新本地的服务器继续服务实际烟叶烘烤生产。

10.根据权利要求9所述的烟叶烘烤的智能决策方法，其特征在于：当烤烟结束后，工作人员将对烤制好的烟叶进行人工评价，烤制好的烟叶品质符合标准则人工评价为正，若烤制的烟叶有烤糊、烤黑等不符合标准的情况时人工评价为负；(1)当人工评价为正的时候，烟叶烘烤数据将不作改变并添加人工评价上传至云端服务器；云端服务器将接收到的烘烤数据与知识图谱内的数据进行对比；数据对比采用余弦相似度计算，余弦相似度计算的值介于-1和1之间，其中-1完全不同，1完全相似；对输入的向量组以及知识图谱中的向量组中相同位置的行向量进行计算，获得两个向量的余弦相似度，相加并计算出平均值，设置一个人工阈值用以判断新的烘烤数据与知识图谱内的数据的相似程度；当相似度低于人工阈值时，说明该数据在现有知识图谱内并没有相似数据，该烘烤数据将添加进知识图谱内，反之当相似度高于人工阈值时，说明该数据在现有知识图谱内有十分相似的数据，需要被舍弃；(2)当人工评价为负面的时候，需要进行人工添加修改烘烤策略，然后再上传至云端服务器；云端服务器接收到负面的人工评价时，会把该数据添加到知识图谱内，并删除原有对应的烘烤策略；当更新完知识图谱后，服务器会发送升级包返回决策终端，更新升级决策终端的知识图谱决策模型。

Images