CN115661024A - 雪茄茄衣颜色判别方法、装置、存储介质及服务器 - Google Patents

Abstract

本发明公开了雪茄茄衣颜色判别方法，涉及雪茄茄衣技术领域。其中，该雪茄茄衣颜色判别方法及装置，包括：接收调试后相机的CCM参数；通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别。本发明，解决生产流程中如何智能识别雪茄茄衣原料烟叶的颜色以降低人工分选的主观偏差、效率低下以及劳动力短缺的问题。

Description

雪茄茄衣颜色判别方法、装置、存储介质及服务器

技术领域

本发明涉及雪茄茄衣技术领域，尤其是一种雪茄茄衣颜色判别方法、装置、存储介质及服务器。

背景技术

雪茄烟原料叶按照不同的用途，可分为茄衣、茄套和茄芯，茄衣是雪茄的精华部分，也是雪茄品质和档次的外在标示，茄衣颜色有很多种，经典雪茄的设计和工艺制造将雪茄的茄衣由浅至深分为7种颜色，并表征雪茄的风味质量，一般而言，茄衣颜色越深，表示风味越浓郁，茄衣的颜色主要是取决于茄衣烟叶的生长环境、烟叶在植株上的不同部位及烟叶的不同晾制和发酵方式等。

目前对雪茄茄衣原料烟叶的颜色分选主要依赖人工，是手工雪茄生产过程中高耗工环节。近年，随着大数据、人工智能算法的进步，图像采集和算法识别能力有了极大提升。如何通过图像识别解决雪茄茄衣原料烟叶的颜色识别问题，是解决雪茄茄衣原料烟叶颜色分选用工问题的重要突破口。

从手工雪茄的制作流程来看，重点问题之一就是原料品控和分选，当前主要依赖人工进行雪茄茄衣原料烟叶的颜色分选，培养分选员工的资金和时间成本都很高，且分选员工的技术水平参差不齐。分颜色是肉眼对雪茄茄衣原料烟叶的视觉直观分类，受操作人员的肉眼辨别能力、情绪、个人健康状态、个人经验水平和主观判断等“人为因素”的影响较大，难以达到统一客观公正的分选要求，导致茄衣分色不均等现象。在后期手工卷制过程中，茄衣外观颜色出现参差不齐，导致雪茄产品难以形成标准化。因此在保留雪茄烟手工制作传统的前提下，采用先进的大数据技术手段，智能化雪茄茄衣原料烟叶颜色分选环节，以避免在雪茄茄衣原料分选中的主观性。从而提升雪茄烟产品的标准化。

雪茄茄衣的颜色包括7种(青褐色、浅褐色、浅红棕色、棕褐色、浅马杜罗、马杜罗、黑色)，雪茄作为纯天然的农产品，雪茄茄衣必定存在色差，哪怕来自同一株烟叶也无法挑选出两片一模一样的烟叶，并且由于晾晒、发酵等工艺过程的影响，雪茄茄衣的外观颜色存在细微的差异。如何调整相机和光源的参数，使得采集到的茄衣图像能够真实的反映茄衣本身颜色成为算法模型有效的重要前提。而基于标准比色卡校正技术可以指导优化雪茄茄衣图像采集系统中相机和光源参数的调整，达到避免色差、还原色彩的效果。

针对雪茄茄衣原料烟叶的颜色智能分选问题，目前相关研究主要集中在优化茄衣调制的生产技术，可参考文献([1]邹宇航等."雪茄茄衣烟调制技术初探."中国农业信息1(2015):2.)，包括在发酵与调制过程中监测烟叶颜色和化学性质之间的相关关系，可参考文献([2]高娅北等."雪茄茄衣晾制过程中烟叶颜色和含水量变化及其相关分析."中国烟草科学40.2(2019):8.)和文献([3]向东等."不同成熟度雪茄烟叶晾制过程中颜色表征及主要化学成分变化特征."山东农业科学54.2(2022):9.)，以及不同品种茄衣烟叶质量的理化性质差异分析，可参考文献([4]李爱军等."海南与印尼茄衣烟叶质量差异分析."中国烟草学报19.4(2013):4.)。

但当前研究主要集中在雪茄茄衣原料烟叶在调制过程中的技术和理论分析，调制完成后的茄衣原料烟叶呈现出不同的颜色，然后进入雪茄卷制生成流水线中，但尚未有研究专注于生产流程中如何智能识别雪茄茄衣原料烟叶的颜色以降低人工分选的主观偏差、效率低下以及劳动力短缺的问题。针对上述出现的问题，目前尚未提出有效的解决方案。

发明内容

发明目的：提供一种雪茄茄衣颜色判别方法、装置、存储介质及服务器，以解决现有技术存在的上述问题。

技术方案：一种雪茄茄衣颜色判别方法及装置及装置，包括：接收调试后相机的CCM参数；通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别。

作为优选，所述接收调试后相机的CCM参数包括：采集比色卡图片；识别图片中检测到的比色卡中24个颜色色块的sRGB实际数值；基于Python编程调用Opencv的CCM类，对标准比色卡中24个颜色色块的sRGB理论数值和实际数值进行比对，计算出CCM转换矩阵。

作为优选，通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像包括：采集大量被标注的雪茄茄衣原料烟叶的图像数据。

作为优选，采集大量被标注的雪茄茄衣原料烟叶的图像数据包括：采集雪茄茄衣烟叶的图像信息；调取数据库中已完成标注的雪茄茄衣原料烟叶的参数值；根据不同的品种、产区和颜色类别和质量等级进行选择性采集，标注分布。

作为优选，所述采集大量被标注的雪茄茄衣原料烟叶的图像数据之后包括：雪茄茄衣原料烟叶图像数据的预处理。

作为优选，雪茄茄衣原料烟叶图像数据的预处理包括：对采集的雪茄茄衣原料烟叶图像数据进行预处理；采用图像增强技术扩充数据集，以减小干扰而造成的过拟合；茄衣原料烟叶图像进行归一化和标准化，以加速模型的收敛。

作为优选，利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型包括：将预处理的数据进行打乱并进行重新划分；网格设计采用Invertedresiduals逆残差结构；训练模型，通过迁移学习手段采用模型在大型ImageNet数据集上预训练得到的参数作为模型训练的初始值，后续迭代到一定的epoch之后解冻卷积层参数再全局训练；将交叉验证的准确率和交叉熵损失值写入tensorboard中，最终可以在本地端口获得模型评价指标的可视化图表展示。

为了实现上述目的，根据本申请的另一方面，提供了雪茄茄衣颜色判别模型构建装置。

根据本申请的雪茄茄衣颜色判别模型构建装置包括：接收模块，用于接收调试后相机的CCM参数；采集模块，用于通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；训练模块，用于利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；判断模块，用于将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别。

为了实现上述目的，根据本申请的另一方面，提供了一种存储介质。

根据本申请的存储介质包括：所述的雪茄茄衣颜色判别方法。

为了实现上述目的，根据本申请的另一方面，提供了一种服务器。

根据本申请的服务器包括：所述的雪茄茄衣颜色判别方法。

有益效果：在本申请实施例中，采用训练模型判断茄衣颜色的方式，通过接收调试后相机的CCM参数；通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别，达到了自动判断茄衣颜色并进行分类的目的，从而实现了茄叶颜色自动分类的技术效果，进而解决了生产流程中如何智能识别雪茄茄衣原料烟叶的颜色以降低人工分选的主观偏差、效率低下以及劳动力短缺的技术问题。

附图说明

图1是根据本申请实施例的雪茄茄衣颜色判别方法流程示意图；

图2是根据本申请实施例的雪茄茄衣颜色判别装置结构示意图；

图3是根据本申请实施例的经相机校准后采集的茄衣原料烟叶图像；

图4是根据本申请实施例的采集的茄衣原料烟叶图像颜色样例；

图5是根据本申请实施例的Tensorboard显示茄衣原料烟叶颜色类别判别模型的测试集准确率。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种的雪茄茄衣颜色判别方法及装置及装置，如图1所示，该方法包括如下的步骤S100至步骤S106：

步骤100、接收调试后相机的CCM参数；

采购Spydercolor24标准24色比色卡，从官方渠道获得标准比色卡中24个颜色色块的sRGB理论数值。结合相机ISP数字图像处理流程中的色彩校准模块，使用标准比色卡调试相机参数，大幅提高图像数据采集的质量和效率。在保证色彩还原度的前提下，使用深度学习算法判别雪茄茄衣原料烟叶的颜色类别，模型准确率和可靠性大幅提高。

根据本发明实施例，优选的，接收调试后相机的CCM参数包括：

采集比色卡图片；

识别图片中检测到的比色卡中24个颜色色块的sRGB实际数值；

基于Python编程调用Opencv的CCM类，对标准比色卡中24个颜色色块的sRGB理论数值和实际数值进行比对，计算出CCM转换矩阵。

使用比色卡调整相机参数。首先，关闭相机调试软件MVS中的CCM使能，在Bayer模式下将实物比色卡放入传送带采集一张图片，对采集的比色卡图片，识别图片中检测到的比色卡中24个颜色色块的sRGB实际数值。基于Python编程调用Opencv的ColorCorrectionModel类，对标准比色卡中24个颜色色块的sRGB理论数值和实际数值进行比对，计算出CCM(Color Correction Matrix)转换矩阵。然后，打开相机调试软件MVS中的CCM使能，将算出的CCM矩阵数值一一填入。保持相机调试软件MVS中的CCM使能按钮处于打开状态，由此已经完成基于24色标准比色卡接收调试后相机的CCM参数。

步骤102、通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像。

能够实现良好的茄叶图像采集效果，从而为后续的颜色分类提供基础，进而实现精准分类的效果。

根据本发明实施例，优选的，通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像包括：

采集大量被标注的雪茄茄衣原料烟叶的图像数据。

能够实现大量采集被标注的烟叶，从而获得大量的图像数据，进而为后续的机器训练提供数据基础。

根据本发明实施例，优选的，采集大量被标注的雪茄茄衣原料烟叶的图像数据包括：

在相机调试软件MVS可以自动采集传送带上的雪茄茄衣烟叶的图像，将单片的雪茄茄衣原料烟叶展平开来，放在传送带上，即可在经过相机镜头时自动采集图像，输出的图像已经自动完成了色彩校准，达到了消除色差，还原真实色彩的水平。如图4所示。

获得雪茄工厂原料仓库中已经完成人工标注的雪茄茄衣原料烟叶，根据不同的品种、产区和颜色类别进行选择性采集，由于库存实际有6种颜色类别的茄衣原料烟叶，同时为了消除产区和品种因素带来的样本偏差，实际采集的雪茄茄衣原料烟叶覆盖了不同的品种和产区，在6种颜色类别上以基本均衡的数量来进行采集，标注分布如表1所示：

表1：

序号

品种名称

品种产地

品种名称

分类标准

颜色等级

类别等级

数量

1

印尼B007W-M-D-4

印尼

B007W

M

D

4

1000

2

印尼W033-M-CD-3

印尼

W033

M

CD

3

500

3

多米尼加-M-DE-4

多米尼加

M

DE

4

1100

4

海南二号3级-M-CD-4

海南

二号3级

M

CD

4

1000

5

海南三号3级-M-CD-4

海南

三号3级

M

CD

4

575

6

印尼bes-M-B-4-左

印尼

bes

M

8

4

1100

7

印尼bes-M-CD-4-左

印尼

bes

M

CD

4

1100

8

印尼W016-M-B-4-右

印尼

W016

M

B

4

100

9

印尼W020-M-B-3

印尼

W020

M

8

3

500

10

印尼W022-M-C-4-右

印尼

W022

M

C

4

1000

11

印尼W011-M-A-4

印尼

W011

M

A

4

2400

12

印尼W050-M-DE-3

印尼

W050

M

DE

3

500

13

印尼W035-M-C-2

印尼

W035

M

C

2

500

14

印尼W016-M-B-3

印尼

W016

M

B

3

500

15

印尼W022-M-C-2

印尼

W022

M

C

2

500

17

印尼W009w-M-B-2

印尼

W009w

M

B

2

500

雪茄茄衣原料烟叶的颜色类别依次标注为[A，B，C，CD，D，DE]，实际采集数量依次为2400张、2700张、2000张、3175张、1000张、1600张。其中A颜色最浅，从A到DE颜色逐渐加深。A与B为相邻色，B与C为相邻色，依次类推。CD为介于C和D的细分中间色，DE为介于D和E的细分中间色。因此判定CD和DE也为相邻色。颜色样例如图3所示。由于原料供应紧缺，仓库可获得的样本中没有E样本。

步骤104、利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型。

基于深度学习算法的图像分类任务，通常为了提升模型训练收敛的效率，采用迁移学习的方法，将待分类数据集直接送入在Imagenet数据集上预训练好的分类模型中，改变最后的全连接层或者对整个网络参数进行finetune，得到特定分类任务模型。

设计基于深度学习算法的茄衣原料烟叶颜色判别模型，以茄衣原料烟叶图像为输入，颜色类别信息为输出，采用卷积神经网络进行烟叶特征的提取，建立特征、颜色类别之间的映射关系，设计一款端到端的茄衣原料烟叶颜色判别模型。以MobilenetV2作为基础结构，用于茄衣原料烟叶颜色判别任务。具体思想和步骤如下：

将MVS采集的茄衣原料烟叶图像按照步骤S3中进行预处理，将数据顺序打乱。然后将顺序打乱后的图像数据划分为10等份。以十折交叉验证的方式来训练模型参数以及评估模型性能。将9等份作为训练集，余下的1等份作为验证集。进行10次组合。每一等份都充当过一次验证集。

网络结构设计，由于实际应用场景为移动端设备且初始训练样本量较少，考虑到模型收敛以及过拟合问题后，最终选择了MobileNets算法主体架构，此算法是Google针对手机等嵌入式设备提出的一种轻量级的深层卷积神经网络，其核心是采用了可分解的depthwise separable convolution，将一个标准的卷积操作分为深度卷积和点卷积，有效减少网络参数(约1/8～1/9)，不仅可以降低模型计算复杂度，而且可以大大降低模型参数量。

MobileNetV2是在V1基础之上的改进。V1主要思想就是深度可分离卷积的堆叠，在V2的网络设计中，除了继续使用深度可分离结构之外，还使用了Expansion layer和Projection layer。这个projection layer也是使用1*1的网络结构，目的是希望把高维特征映射到低维空间去。将高维空间映射到低维空间的设计称之为Bottleneck layer。Expansion layer的功能正相反，使用1*1的网络结构，目的是将低维空间映射到高维空间。这里Expansion有一个超参数是维度扩展几倍。可以根据实际情况来做调整的，默认值是6，也就是扩展6倍。整个模块的结构中输入和最后输出保持维度不变，但这个过程中扩展了6倍，然后是在6倍的维度下应用深度可分离卷积进行处理。整个网络先通过Expansionlayer来扩展维度，之后在用深度可分离卷积来提取特征，之后使用Projection layer来压缩数据，让网络重新变小。是中间胖，两头窄，像一个纺锤形。bottleneckresidualblock是中间窄两头胖，所以在MobileNetV2中这种网络结构为Inverted residuals逆残差结构。残差连接是在输入和输出的部分进行连接。另外LinearBottleneck因为从高维向低维转换，使用ReLU激活函数可能会造成信息丢失或破坏。所以在projection convolution这一部分，不再使用ReLU激活函数而是使用线性激活函数。

模型训练。通过迁移学习手段采用模型在大型ImageNet数据集上预训练得到的参数作为模型训练的初始值，后续迭代到一定的epoch之后解冻卷积层参数再全局训练，可以显著提高模型收敛速度和训练效果。具体的，模型训练过程中在epoch迭代达到30时，解冻特征层参数。训练中选取Adam优化器，能够自适应学习率，提高训练速度，采用ReduceLROnPlateau基于验证集误差测量实现动态学习率缩减，当发现loss不再降低或者accuracy不再提高之后，降低学习率。

模型训练过程的可视化，在模型训练过程中将交叉验证的准确率和交叉熵损失值写入tensorboard中，最终可以在本地端口获得模型评价指标的可视化图表展示，如图5所示。

步骤106、将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别。

能够实现准确判定茄衣颜色的效果，从而实现降低判定的难度同时，还能实现提高工作效率的效果。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用训练模型判断茄衣颜色的方式，通过接收调试后相机的CCM参数；通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别，达到了自动判断茄衣颜色并进行分类的目的，从而实现了茄叶颜色自动分类的技术效果，进而解决了生产流程中如何智能识别雪茄茄衣原料烟叶的颜色以降低人工分选的主观偏差、效率低下以及劳动力短缺的技术问题。

根据本发明实施例，优选的，采集大量被标注的雪茄茄衣原料烟叶的图像数据之后包括：

雪茄茄衣原料烟叶图像数据的预处理。

能够实现良好的图像数据预处理效果，从而实现减小干扰和噪音的效果，进而实现提高图像处理的精度。

根据本发明实施例，优选的，雪茄茄衣原料烟叶图像数据的预处理包括：

对采集的雪茄茄衣原料烟叶图像数据进行预处理；

采用图像增强技术扩充数据集，以减小干扰而造成的过拟合；

茄衣原料烟叶图像进行归一化和标准化，以加速模型的收敛。

具体的，对采集的雪茄茄衣原料烟叶图像数据进行预处理。由于白色传送带在运动过程中与轴承金属元件的摩擦久而久之逐渐会产生一些摩擦痕迹，导致采集的雪茄茄衣原料烟叶图像背景区域有污痕干扰，因此首先需要通过Opencv的边缘检测技术完成自动识别茄衣烟叶并裁剪出对应区域，实现图像前景与背景的分割，去除无关背景的干扰。同时将图像缩放至224*224。

采用图像增强技术扩充数据集，减小因雪茄茄衣原料烟叶在传送带上的摆放角度和碎片杂质的干扰而造成的过拟合的现象。考虑雪茄茄衣原料烟叶外观特征，选取以下方式扩充数据集：

(1)旋转：将预处理后的茄衣原料烟叶图像左右旋转各15度，数据集扩充2倍；

(2)镜像翻转：将预处理后的茄衣原料烟叶图像进行垂直和水平反转，数据集扩充2倍；

(3)高斯噪声：在预处理后的茄衣原料烟叶图像中加入随机高斯噪声，数据集扩充2倍；

(4)平移：将预处理后的茄衣原料烟叶图像进行随机裁剪，随机裁剪一个面积为原始面积30％到90％的区域，该区域的宽高比从0.5到2之间随机取值。然后区域的宽度和高度都被缩放到224*224像素。数据集扩充2倍。

采用上述数据增强方法，将数据集大小扩充为原来的8倍。数据增强只在模型训练阶段使用，在模型实际使用过程中跳过数据增强预处理部分。

茄衣原料烟叶图像进行归一化和标准化，有利于加速模型的收敛。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述雪茄茄衣颜色判别模型构建装置，如图2所示，该装置包括：

接收模块10，用于接收调试后相机的CCM参数；

采购Spydercolor24标准24色比色卡，从官方渠道获得标准比色卡中24个颜色色块的sRGB理论数值。结合相机ISP数字图像处理流程中的色彩校准模块，使用标准比色卡调试相机参数，大幅提高图像数据采集的质量和效率。在保证色彩还原度的前提下，使用深度学习算法判别雪茄茄衣原料烟叶的颜色类别，模型准确率和可靠性大幅提高。

采集模块20，用于通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；

在相机调试软件MVS可以自动采集传送带上的雪茄茄衣烟叶的图像，将单片的雪茄茄衣原料烟叶展平开来，放在传送带上，即可在经过相机镜头时自动采集图像，输出的图像已经自动完成了色彩校准，达到了消除色差，还原真实色彩的水平。如图1所示。

获得雪茄工厂原料仓库中已经完成人工标注的雪茄茄衣原料烟叶，根据不同的品种、产区和颜色类别进行选择性采集，由于库存实际有6种颜色类别的茄衣原料烟叶，同时为了消除产区和品种因素带来的样本偏差，实际采集的雪茄茄衣原料烟叶覆盖了不同的品种和产区，在6种颜色类别上以基本均衡的数量来进行采集，标注分布如图2所示。

雪茄茄衣原料烟叶的颜色类别依次标注为[A,B,C,CD,D,DE]，实际采集数量依次为2400张、2700张、2000张、3175张、1000张、1600张。其中A颜色最浅，从A到DE颜色逐渐加深。A与B为相邻色，B与C为相邻色，依次类推。CD为介于C和D的细分中间色，DE为介于D和E的细分中间色。因此判定CD和DE也为相邻色。颜色样例如图3所示。由于原料供应紧缺，仓库可获得的样本中没有E样本。

训练模块30，用于利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；

基于深度学习算法的图像分类任务，通常为了提升模型训练收敛的效率，采用迁移学习的方法，将待分类数据集直接送入在Imagenet数据集上预训练好的分类模型中，改变最后的全连接层或者对整个网络参数进行finetune，得到特定分类任务模型。

设计基于深度学习算法的茄衣原料烟叶颜色判别模型，以茄衣原料烟叶图像为输入，颜色类别信息为输出，采用卷积神经网络进行烟叶特征的提取，建立特征、颜色类别之间的映射关系，设计一款端到端的茄衣原料烟叶颜色判别模型。

判断模块40，用于将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别。

能够实现准确判定茄衣颜色的效果，从而实现降低判定的难度同时，还能实现提高工作效率的效果。

根据本发明实施例，还提供了一种用于实施上述智能分营方法的装置，该存储介质包括：所述的雪茄茄衣颜色判别方法。

根据本发明实施例，还提供了一种用于实施上述智能分营方法的装置，该服务器包括：所述的雪茄茄衣颜色判别方法。

本发明还具有如下有益效果：

在针对雪茄茄衣原料烟叶进行图像采集时，我们发现图片颜色与实际情况相差甚远，存在较大的色差，经过本发明方法后，基于ISP数字图像处理流程，利用标准比色卡计算得到CCM矩阵数值嵌入MVS相机调参软件中，实现ISP流程中ColorCorrection功能(在AWB白平衡和Gamma校准之间)，可以在输出图像之前自动完成色彩校准，还原茄衣的真实颜色，是应用算法模型判别颜色类别的前提条件。

在针对雪茄卷制工业生产流程中如何智能识别雪茄茄衣原料烟叶的颜色以降低人工分选的主观偏差、效率低下以及劳动力短缺的实际需求，使用基于MobilenetV2的深度卷积神经网络算法，进行迁移学习训练模型，得到雪茄茄衣原料烟叶的颜色类别，十折交叉验证获得平均约85％的测试集准确率。如下表1所示：

表1：

颜色类别

A

B

C

CD

D

DE

A

2242(red)

126(green)

2

4

0

4

B

123(green)

2065(red)

172(green)

68

10

11

C

5

166(green)

1581(red)

257(green)

1

9

CD

7

87

242(green)

1871(red)

175(green)

218(green)

D

1

8

7

163(green)

730(red)

100(green)

DE

5

14

12

271(green)

95(green)

1058(red)

茄衣颜色判别模型的混淆矩阵所示，行标注为真实颜色类别，列标注为预测类别。红色(red)代表预测准确，绿色(green)代表相邻色。基于每折数据最后一个epoch预测结果估算的混淆矩阵表可得出，相邻色预测准确率高达97.84％，该模型在雪茄茄衣原料烟叶的颜色判别任务上表现良好。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (10)

1.雪茄茄衣颜色判别方法，其特征在于，包括：

接收调试后相机的CCM参数；

通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；

利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；

将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别。

2.根据权利要求1所述的雪茄茄衣颜色判别方法，其特征在于，接收调试后相机的CCM参数包括：

采集比色卡图片；

识别图片中检测到的比色卡中24个颜色色块的sRGB实际数值；

基于Python编程调用Opencv的CCM类，对标准比色卡中24个颜色色块的sRGB理论数值和实际数值进行比对，计算出CCM转换矩阵。

3.根据权利要求1所述的雪茄茄衣颜色判别方法，其特征在于，通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像包括：

采集大量被标注的雪茄茄衣原料烟叶的图像数据。

4.根据权利要求3所述的雪茄茄衣颜色判别方法，其特征在于，采集大量被标注的雪茄茄衣原料烟叶的图像数据包括：

采集雪茄茄衣烟叶的图像信息；

调取数据库中已完成标注的雪茄茄衣原料烟叶的参数值；

根据不同的品种、产区和颜色类别和质量等级进行选择性采集，标注分布。

5.根据权利要求3所述的雪茄茄衣颜色判别方法，其特征在于，采集大量被标注的雪茄茄衣原料烟叶的图像数据之后包括：

雪茄茄衣原料烟叶图像数据的预处理。

6.根据权利要求5所述的雪茄茄衣颜色判别方法，其特征在于，雪茄茄衣原料烟叶图像数据的预处理包括：

对采集的雪茄茄衣原料烟叶图像数据进行预处理；

采用图像增强技术扩充数据集，以减小干扰而造成的过拟合；

茄衣原料烟叶图像进行归一化和标准化，以加速模型的收敛。

7.根据权利要求1所述的雪茄茄衣颜色判别方法，其特征在于，利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型包括：

将预处理的数据进行打乱并进行重新划分；

网格设计采用Inverted residuals逆残差结构；

训练模型，通过迁移学习手段采用模型在大型ImageNet数据集上预训练得到的参数作为模型训练的初始值，后续迭代到一定的epoch之后解冻卷积层参数再全局训练；

将交叉验证的准确率和交叉熵损失值写入tensorboard中，最终可以在本地端口获得模型评价指标的可视化图表展示。

8.雪茄茄衣颜色判别模型构建装置，其特征在于，包括：

接收模块，用于接收调试后相机的CCM参数；

采集模块，用于通过所述相机采集第一参考图片；其中，所述第一参考图片中至少包含标注的雪茄茄衣原料烟叶图像；

训练模块，用于利用深度卷积神经网络算法对所述第一参考图片进行多次采样，训练出颜色判别模型；

判断模块，用于将待判别的烟叶图像输入所述颜色判别模型，判别出雪茄茄衣原料烟叶的颜色类别。

9.一种存储介质，其特征在于，包括：权利要求1至7中任一项所述的雪茄茄衣颜色判别方法。

10.一种服务器，其特征在于，权利要求1至7中任一项所述的雪茄茄衣颜色判别方法。

Images