一种烟叶在线辅助定级方法及系统
技术领域
本发明涉及烟叶智能定级技术领域,具体来说,涉及一种烟叶在线辅助定级方法及系统。
背景技术
烟叶分级基本上都停留于人工分级,依靠定级员经验,根据烟叶外观质量来判定烟叶的等级质量。判定方法通常是眼观、手摸、耳听和鼻闻。判定主要因素有部位、颜色、成熟度、叶片结构、身份、油份、色度、宽度、长度、残伤和破损。上述人工判定方法存在人情烟、面子烟问题,同时定级人员高强度工作也带来了等级判定偏差,工业企业和商业企业存在定级眼光不一致的问题。
目前的烟叶智能定级包括以下几种方法:1) 传统计算机视觉方法,基于颜色,形状,纹理等;2) 基于近红外光谱;3) 部分研究引入了BP神经网络。传统计算机视觉方法,基于颜色,形状,纹理的识别方法是基于单片烟叶进行识别,而实际烟叶收购场景都是整筐烟叶进行收购,改成一片一片识别收购效率太低,在实际场景中不适用。部分研究引入了BP神经网络,一般用于对单一特征进行分类研究,无法在实际烟叶收购场景中使用。基于近红外光谱的研究虽然识别效率有提升,但是近红外设备价格昂贵,不具备推广价值。
发明内容
本发明的目的在于提出一种烟叶在线辅助定级方法及系统,以克服现有技术中存在的上述不足。
为实现上述技术目的,本发明的技术方案是这样实现的:
一种烟叶在线辅助定级方法,所述方法包括以下步骤:
1)采集已定级烟叶堆RGB彩色图像;
2)将采集的烟叶堆RGB彩色图像传输到服务器端,并根据已定级别进行命名;
3)采用Region-CNN算法检测烟叶堆目标,抠出烟叶堆图像,并将抠出图像缩放成1024*1024的RGB图像;
4)将预处理后的烟叶堆图像转换为256级灰度图像,并按照烟叶的部位进行分类标注,采用Resnet-34进行训练得到部位模型;
5)将已知部位的预处理后的烟叶堆图像采用Resnet-50进行训练得到质量模型;
6)将部位模型和质量模型部署到智能设备中;
7)利用部署有部位模型和质量模型的智能设备智能识别烟叶的级别。
进一步的,步骤1)中在采集已定级烟叶堆RGB彩色图像的同时采用D50标准光源对烟叶堆正向补光。
进一步的,步骤7)包括:
7.1)在生产线末端上方设置高清网络摄像机,实时采集已定级烟叶堆RGB彩色图像;
7.2)采用Region-CNN算法检测烟叶堆目标,并抠出烟叶堆图像,并将抠出图像缩放成1024*1024的RGB图像;
7.3)调用得到按烟叶部位分类的部位模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶部位信息;
7.4基于部位分类结果调用对应部位的质量模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶的完整分级信息。
进一步的,还包括:
8)记录烟叶在线辅助定级过程的数据,所述数据包括烟叶在进行智能识别之前的定级数据、烟叶通过智能设备智能识别得到的定级数据、对应的定级员和收购站。
一种烟叶在线辅助定级系统,所述系统包括:
在线图像采样模块,用于采集已定级烟叶堆RGB彩色图像;
图像标注模块,用于将采集的烟叶堆RGB彩色图像传输到服务器端,并根据已定级别进行命名;
图像预处理模块,用于采用Region-CNN算法检测烟叶堆目标,抠出烟叶堆图像,并将抠出图像缩放成1024*1024的RGB图像;
部位模型训练模块,用于将预处理后的烟叶堆图像转换为256级灰度图像,并按照烟叶的部位进行分类标注,采用Resnet-34进行训练得到部位模型;
质量模型训练模块,用于将已知部位的预处理后的烟叶堆图像采用Resnet-50进行训练得到质量模型;
模型部署模块,用于将部位模型和质量模型部署到智能设备中;
识别模块,用于利用部署有部位模型和质量模型的智能设备智能识别烟叶的级别。
进一步的,还包括D50标准光源模块,用于在在线图像采样模块采集已定级烟叶堆RGB彩色图像的同时采用D50标准光源对烟叶堆正向补光。
进一步的,所述识别模块包括:
图像采集模块,用于在生产线末端上方设置高清网络摄像机,实时采集已定级烟叶堆RGB彩色图像;
图像处理模块,用于采用Region-CNN算法检测烟叶堆目标,并抠出烟叶堆图像,并将抠出图像缩放成1024*1024的RGB图像;
烟叶部位识别模块,用于调用得到按烟叶部位分类的部位模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶部位信息;
烟叶质量识别模块,用于基于部位分类结果调用对应部位的质量模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶的完整分级信息。
进一步的,还包括记录模块,用于记录烟叶在线辅助定级过程的数据,所述数据包括烟叶在进行智能识别之前的定级数据、烟叶通过智能设备智能识别得到的定级数据、对应的定级员和收购站。
本发明的有益效果:本发明能够智能识别烟叶的等级,从而统一烟叶烤烟等级标准,辅助精准定级,作为烟站定级员的定级参考,同时后台结合烟叶收购数据通过大数据分析汇总统计哪些收购站、哪些定级员定级结果与智能定级差别较大,做为专卖内管人员监督检查的一个依据,赋能阳光收购、辅助收购监督。
附图说明
图1是本发明所述方法的流程图;
图2是本发明所述方法的总体架构图;
图3是本发明所述方法一个具体应用示例的烟叶图像数据的组织样例图;
图4是本发明所述部位模型的训练流程图;
图5是本发明所述质量模型的训练流程图;
图6是本发明所述系统的结构框图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
目前烟叶分级基本上都采用人工分级,依靠专家经验,根据烟叶外观质量,来判定烟叶的等级质量。判定的方法通常是眼观、手摸、耳听、鼻闻。判定烟叶质量的主要因素有部位、颜色、成熟度、叶片结构、身份、油份、色度、宽度、长度、残伤和破损。深度神经网络方法出现后,改变了计算机视觉技术的图像特征提取方法,原来是由人工专家确定需要提取的特征,由计算机视觉检测方法来提取特定的视觉特征,这时候对于叶片纹理结构,叶脉粗细,油分等特征的提取就非常困难。而深度神经网络通过数据驱动的方式自动获取叶片分类特征,建立并优化端到端的烟叶分级模型。神经网络通过学习不仅可以识别原有人工专家确定的特征,还能够自主确定不易被人识别的特征,包括叶片纹理解构,叶脉粗细,油分含比对叶片总体特征的影响都可以很好的识别。
基于上述原理,如图1所示,本发明公开了一种烟叶在线辅助定级方法,所述方法包括以下步骤:
步骤S1:采集已定级烟叶堆RGB彩色图像;
步骤S2:将采集的烟叶堆RGB彩色图像传输到服务器端,并根据已定级别进行命名;
步骤S3:采用Region-CNN算法检测烟叶堆目标,抠出烟叶堆图像,并将抠出图像缩放成1024*1024的RGB图像;
步骤S4:将预处理后的烟叶堆图像转换为256级灰度图像,并按照烟叶的部位进行分类标注,采用Resnet-34进行训练得到部位模型;
步骤S5:将已知部位的预处理后的烟叶堆图像采用Resnet-50进行训练得到质量模型;
步骤S6:将部位模型和质量模型部署到智能设备中;
步骤S7:利用部署有部位模型和质量模型的智能设备智能识别烟叶的级别;
步骤S8:记录烟叶在线辅助定级过程的数据,所述数据包括烟叶在进行智能识别之前的定级数据、烟叶通过智能设备智能识别得到的定级数据、对应的定级员和收购站。
为了方便理解本发明的上述技术方案,以下通过一个应用示例对本发明的上述技术方案进行详细说明。
如图2所示,本发明所述方法针对国内烟叶收购点生产线工作流程,在流水线末端设置烟叶图像样本采集装置,使用预先采集的批量标注图像数据,基于深度神经网络算法训练按烟叶部位的分类模型(部位模型)和相同部位烟叶质量的分类模型(质量模型),并将训练好的部位模型和质量模型级联起来,形成烟叶收购点流水线末端智能辅助定级装置。
烟叶收购流水线智能等级辅助定级系统总体架构分为两部分,分别为智能定级装置和烟叶AI模型训练平台。智能定级装置将在线图像采集的图像通过识别引擎将识别请求发送给等级智能识别模型,由智能识别模型识别出可能的等级及其置信度。烟叶AI模型训练平台负责将训练数据通过AI算法不断优化迭代训练模型,最后将模型部署到边缘智能设备中。随着有效的训练数据越多,模型的准确率会越高。
具体的,所述方法包括:1、模型训练;2、烟叶在线定级;3、定级员定级。
模型训练包括:
1.1、在线图像采样,在生产线末端上方设置高清网络摄像机,实时采集已定级烟叶堆RGB彩色图像。采用D50标准光源对烟叶堆正向补光,以保证图像色彩还原度;
1.2、在线采集图像标注,采集到的已定级烟叶堆彩色图像实时传输到服务器端,并根据已定级别命名,实现已定级烟叶堆实时采集图像的标注;
1.3、图像预处理,采用Region-CNN算法检测烟叶堆目标,并抠出烟叶堆图像,并将抠出图像缩放(Resize)成1024*1024的RGB图像;
1.4、如图3所示,将预处理后的烟叶堆图像转换为256级灰度图像,并重新标注为上部烟(标注为B),中部烟(标注为C),下部烟(标注为X);
1.5、按烟叶部位分类的深度神经网络建模与模型训练,采用Resnet-34训练分类模型。训练过程中要保证单一分类样本数量(一般不低于6000个样本),同时要保证各类样本数量的均衡(样本数量偏差不大于20%)。训练完成后,我们得到按烟叶部位分类的深度神经网络分级模型(部位模型);
1.6、已知部位的烟叶彩色图像深度神经网络建模与模型训练,将已知部位的预处理后的烟叶堆图像采用Resnet-50训练分类模型。训练过程中要保证单一分类样本数量(一般不低于2000个样本),同时要保证各类样本数量的均衡(样本数量偏差不大于20%)。训练完成后,我们分别得到上部烟叶,中部烟叶和下部烟叶三个基于彩色图像的深度神经网络分级模型(质量模型)。
烟叶在线定级包括:
2.1、在线图像采样,在生产线末端上方设置高清网络摄像机,实时采集已定级烟叶堆RGB彩色图像。采用D50标准光源对烟叶堆正向补光,以保证图像色彩还原度;
2.2、图像预处理,采用Region-CNN算法检测烟叶堆目标,并抠出烟叶堆图像,并将抠出图像缩放(Resize)成1024*1024的RGB图像;
2.3、如图4所示,按烟叶部位深度神经网络在线分类,调用得到按烟叶部位分类的深度神经网络分级模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶部位信息;
2.4、如图5所示,已知部位的烟叶堆彩色图像的深度神经网络分级,基于部位分类结果调用对应部位的烟叶堆彩色图像的深度神经网络分级模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶的完整分级信息。
定级员定级包括:
3.1、如图2所示,烟叶智能等级判定人机交互终端,采用触摸屏终端显示智能辅助定级系统结果,并提示置信度最高的三个完整分级信息的置信度;
3.2、定级员确定分级,由定级员根据主观判断在辅助定级系统提示的三个完整等级中选择一个等级作为该堆烟叶的定级,定级数据和操作日志计入数据库。
与上述烟叶在线辅助定级方法相对应,本发明还公开了一种烟叶在线辅助定级系统。如图6所示,所述系统包括:
在线图像采样模块1,用于采集已定级烟叶堆RGB彩色图像;
图像标注模块2,用于将采集的烟叶堆RGB彩色图像传输到服务器端,并根据已定级别进行命名;
图像预处理模块3,用于采用Region-CNN算法检测烟叶堆目标,抠出烟叶堆图像,并将抠出图像缩放成1024*1024的RGB图像;
部位模型训练模块4,用于将预处理后的烟叶堆图像转换为256级灰度图像,并按照烟叶的部位进行分类标注,采用Resnet-34进行训练得到部位模型;
质量模型训练模块5,用于将已知部位的预处理后的烟叶堆图像采用Resnet-50进行训练得到质量模型;
模型部署模块6,用于将部位模型和质量模型部署到智能设备中;
识别模块7,用于利用部署有部位模型和质量模型的智能设备智能识别烟叶的级别。
在本发明的一个优选实施方式中,还包括D50标准光源模块,用于在在线图像采样模块采集已定级烟叶堆RGB彩色图像的同时采用D50标准光源对烟叶堆正向补光。
在本发明的一个优选实施方式中,所述识别模块包括:
图像采集模块8,用于在生产线末端上方设置高清网络摄像机,实时采集已定级烟叶堆RGB彩色图像;
图像处理模块9,用于采用Region-CNN算法检测烟叶堆目标,并抠出烟叶堆图像,并将抠出图像缩放成1024*1024的RGB图像;
烟叶部位识别模块10,用于调用得到按烟叶部位分类的部位模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶部位信息;
烟叶质量识别模块11,用于基于部位分类结果调用对应部位的质量模型,对流水线末端采集的烟叶堆预处理后图像执行分类操作,得到该堆烟叶的完整分级信息。
在本发明的一个优选实施方式中,还包括记录模块12,用于记录烟叶在线辅助定级过程的数据,所述数据包括烟叶在进行智能识别之前的定级数据、烟叶通过智能设备智能识别得到的定级数据、对应的定级员和收购站。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器( RAM ),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。