CN109711319B

CN109711319B - 一种粮食不完善粒图像识别样本库建立的方法及系统

Info

Publication number: CN109711319B
Application number: CN201811583250.7A
Authority: CN
Inventors: 武勇; 朱逞春; 周金旺
Original assignee: Anhui Gaozhe Information Technology Co ltd
Current assignee: Anhui Gaozhe Information Technology Co ltd
Priority date: 2018-12-24
Filing date: 2018-12-24
Publication date: 2023-04-07
Anticipated expiration: 2038-12-24
Also published as: CN109711319A

Abstract

本发明公开了识别样本库建立技术领域的一种粮食不完善粒图像识别样本库建立的方法及系统，通过收集各种粮食不完善粒和正常粒的籽粒样本，然后对样本进行拍照和图像采集，采集完成后，需要上传到云端标注系统中，标注完成后，云端系统会根据设定的深度学习网路模型和参数进行自主学习，后续如果有新的样本进来，经过训练好的网络模型首先进行检测、分割和识别，将识别结果展示给标注人员，标注人员对检测、分割和识别错误的籽粒图像中的实例进行人工修正，修正后的结果作为困难样本添加到样本库，并且云端系统相应的修正权重和重新训练，经过多次的人工修正，整个样本库会得到极大的丰富。

Description

一种粮食不完善粒图像识别样本库建立的方法及系统

技术领域

本发明涉及识别样本库建立技术领域，具体为一种粮食不完善粒图像识别样本库建立的方法及系统。

背景技术

我国是产粮大国，同时也是粮食消费大国。粮食质量安全对于国家安全和民生健康显得尤为重要，影响粮食品质的因素多种多样，而粮食不完善粒率是粮食品质的重要检测标准。国家也出台了相应的标准GB/T5494-2008《粮油检验粮食、油料的杂质、不完善粒检验》、GB1351-2008《小麦》、GB1351-2009《玉米》、GB1350-2009《稻谷》、GB1352-2009《大豆》，以及规定了GB/T 22505《粮油检验感官检验环境照明》的标准光照环境。由此可见国家对于粮食品质及安全非常重视。粮食不完善粒检验是粮食入库前必须做的检验工作，因为粮食不完善粒率不仅仅会影响粮食购销过程中的定等定价，还直接会影响粮食入库质量和储存。

目前大部分粮食不完善粒检验主要是人工检验。也有部分研究机构正在尝试高光谱的技术手段，但是该技术方案价格昂贵，难以实施推广；同时也有大量的其他技术方案，例如采用计算机视觉技术、自动化技术和人工智能技术来对粮食籽粒进行检测和分析。

众所周知，计算机视觉技术和人工智能技术正在改变着各行各业的发展，如采用该技术应用到粮食不完善粒图像识别中，需要收集海量样本，并且需要投入大量的人力来进行样本标注、样本收集和标注目前没有一个统一的技术方案，并且传统的样本标记也需要投入大量的高技术质检人员。基于此，本发明设计了一种粮食不完善粒图像识别样本库建立的方法及系统，以解决上述问题。

发明内容

本发明的目的在于提供一种粮食不完善粒图像识别样本库建立的方法及系统，以解决上述背景技术中提出的实际生产中亟需设计一种方便粮食样本标记和检测方法的问题。

为实现上述目的，本发明提供如下技术方案：一种粮食不完善粒图像识别样本库建立方法，包括以下步骤：

S1、各类粮食不完善粒和正常籽粒的样本收集；

S2、粮食籽粒的图像拍照和收集；

S3、粮食籽粒图像上传和标注；

S4、云端算法训练和自学习；

S5、算法自识别与人工干预纠正。

优选的，步骤S1，还包括：

首先，从各个省市粮食储备单位获得各类粮食籽粒样本；

然后，进行分类装袋，贴上各类标签。

所述标签包含收集时间、地点，收集人、粮食种类、重量、不完善粒率。

优选的，所述步骤S3，还包括：云端标注系统和人工上传与图像标注，所述云端标注系统包括后端样本信息存储和前端样本信息标注工具，所述后端样本信息存储包括样本标注信息格式设置、前后端通信协议设置和数据库存储设置；

所述前端样本信息标注工具包括：粮食类别设置、不完善粒类别和颜色设置、标注类型设置，所述标注类型包括点、矩形、圆和多边形。

所述人工上传与图像标注：包括管理员上传采集到的不完善粒和正常粒图像、高级质检员对图像中的粮食类别和不完善粒类别进行矩形框和多边形标注。

优选的，所述步骤S4，还包括：

首先，基于深度学习的图像目标检测、分割和识别的网络模型设置；

然后，深度网络的训练求解参数的设置；

最后，自学习的频率和权重调整参数设置。

优选的，所述步骤S5，还包括持续的学习和人工干预，利用基于深度学习的半监督模型训练和调整。

一种粮食不完善粒图像识别样本库建立系统，包括样本采集拍照系统、样本云端标注系统、样本检测识别学习系统与人工筛选和纠正系统，且逐次信号传输。

优选的，所述样本采集拍照系统包括采集控制盒存储设备、相机支架、高清相机、粮食籽粒载物平台和辅助光源，所述高清相机固定在相机支架顶端，所述粮食籽粒载物平台位于高清相机下方，所述辅助光源位于粮食籽粒载物平台下方，所述采集控制盒存储设备与高清相机信号连接。

优选的，所述样本云端标注系统标注信息的存储结构如下：

优选的，所述样本检测识别学习系统包括输入的RGB三通道图像、相应的卷积层和池化层以及激活层、RPN、反卷积层、ROIAlign从原图到特征图直接的ROI映射直接使用双线性插值、特征降维、使用卷积提取相关的特征、分类误差、定位误差、分割误差和整体误差。

与现有技术相比，本发明的有益效果是：本发明通过收集各种粮食不完善粒和正常粒的籽粒样本，然后对样本进行拍照和图像采集，采集完成后，需要上传到云端标注系统中，标注完成后，云端系统会根据设定的深度学习网路模型和参数进行自主学习，后续如果有新的样本进来，经过训练好的网络模型首先进行检测、分割和识别，将识别结果展示给标注人员，标注人员对检测、分割和识别错误的籽粒图像中的实例进行人工修正，修正后的结果作为困难样本添加到样本库，并且云端系统相应的修正权重和重新训练，经过多次的人工修正，整个样本库会得到极大的丰富，并且网络模型会越来越简便，该样本库可以作为其他研究机构的标准测试库。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图；

图2为本发明系统原理图；

图3为本发明结构原理图；

图4为本发明系统标注页面UI图；

图5为本发明学习系统网络结构图；

图6为本发明纠正系统流程图。

附图中，各标号所代表的部件列表如下：

1-样本采集拍照系统，2-样本云端标注系统，3-样本检测识别学习系统，4-人工筛选和纠正系统，100-采集控制盒存储设备，101-相机支架，102-高清相机，103-粮食籽粒载物平台，104-辅助光源。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供一种技术方案：一种粮食不完善粒图像识别样本库建立方法，包括以下步骤：

S1、各类粮食不完善粒和正常籽粒的样本收集；

S2、粮食籽粒的图像拍照和收集；

S3、粮食籽粒图像上传和标注；

S4、云端算法训练和自学习；

S5、算法自识别与人工干预纠正。

步骤S1，还包括：

首先，从各个省市粮食储备单位获得各类粮食籽粒样本；

然后，进行分类装袋，贴上各类标签。

标签包含收集时间、地点，收集人、粮食种类、重量、不完善粒率。

步骤S3，还包括：云端标注系统和人工上传与图像标注，云端标注系统包括后端样本信息存储和前端样本信息标注工具，后端样本信息存储包括样本标注信息格式设置、前后端通信协议设置和数据库存储设置；

前端样本信息标注工具包括：粮食类别设置、不完善粒类别和颜色设置、标注类型设置，标注类型包括点、矩形、圆和多边形。

人工上传与图像标注：包括管理员上传采集到的不完善粒和正常粒图像、高级质检员对图像中的粮食类别和不完善粒类别进行矩形框和多边形标注。

步骤S4，还包括：

然后，深度网络的训练求解参数的设置；

最后，自学习的频率和权重调整参数设置。

步骤S5，还包括持续的学习和人工干预，利用基于深度学习的半监督模型训练和调整。

一种粮食不完善粒图像识别样本库建立系统，包括样本采集拍照系统1、样本云端标注系统2、样本检测识别学习系统3与人工筛选和纠正系统4，且逐次信号传输。

样本采集拍照系统1包括采集控制盒存储设备100、相机支架101、高清相机102、粮食籽粒载物平台103和辅助光源104，高清相机102固定在相机支架101顶端，粮食籽粒载物平台103位于高清相机102下方，辅助光源104位于粮食籽粒载物平台103下方，采集控制盒存储设备100与高清相机102信号连接，高清相机102为图像拍照采集设备，辅助光源104主要是指有利于图像采集、控制图像色彩饱和度、光照亮度的LED光源、采集控制盒存储设备100主要是指连接和控制高清相机102和辅助光源104、并存储拍照图像的设备。

样本云端标注系统2标注信息的存储结构如下：

样本检测识别学习系统3包括输入的RGB三通道图像300、相应的卷积层和池化层以及激活层301、RPN302、反卷积层303、ROIAlign从原图到特征图直接的ROI映射直接使用双线性插值304、特征降维305、使用卷积提取相关的特征306、分类误差307、定位误差308、分割误差309和整体误差310。

粮食不完善籽粒和正常籽粒需要收集来自于不同地域，不同品种的籽粒，至少在一个地域收集每一种品种的籽粒不低于50g。这样各地域和各品种的样本较为均衡，不会因为样本不均衡导致后续的训练识别结果不准确，从而使得后续的识别模型泛化能力大大增强。在收集粮食籽粒的过程中，需要严格标记粮食籽粒的生产年限，品种，地域等信息，为样本库用于其他数据挖掘提供基础信息。

采集到的每张图片保持200～500颗粮食籽粒，并且需要保证粮食籽粒不会堆叠在一起，尽量平铺摊开。每颗粮食颗粒像素长边不低于128个像素，确保每颗粮食籽粒能够得到高清图像，质检员能够清晰通过籽粒表面的细节分辨出粮食籽粒不完善粒类型。

搭建基于云端的标注系统，可以在web前端通过界面按钮或选项设定粮食种类，不完善粒类别，标注类型。粮食种类可以是小麦、稻谷、大豆、玉米等。不完善粒类别根据不同的粮食种类会有少许不同，例如小麦不完善粒主要包括：虫蚀粒、病斑粒、破损粒、生芽粒、生霉粒，而稻谷的不完善粒主要包括：病斑粒，生霉粒、虫蚀粒、生芽粒、未熟粒等。标注类型包括粮食籽粒中心点标注，最小外接矩形框标注，以及多边形标注。前端页面标注包括粮食籽粒位置、区域、类别，有了这些信息，可以用于后续粮食籽粒检测、分割和识别。标注系统的功能和UI见图4。

“Tag_info”:中包括了“info”和“annotation”；“info”表示图像的相关信息和描述，其中“id”表示图像的序号，“image_name”表示图像名，“year”表示图像采集的粮食籽粒的年份，“produce_area”表示粮食产地，“width”表示图像宽，“height”表示图像高，“description”记录和存储图像的描述信息，“contributor”表示图像的贡献人。

“annotation”表示图像的标注信息，其中“tag_id”表示标注的实例序号，“image_id”表示图像的序号，“unsound_type”表示不完善粒类型，“grain_type”表示粮食种类，“bbox”存储的是左上角顶点坐标和标注框的宽高，“segmentation”表示存储的是分割信息，可以存储“point”点集，“point”里的x和y分别表示点的横坐标和纵坐标。

样本上传与标注：拥有数据库和系统权限的人将收集到的样本上传至服务器，并且分配任务和标注人员，该处标注人员主要是指经过长时间培训的粮食不完善粒高级质检员。高级质检员按照标注系统要求对粮食籽粒进行种类和不完善粒类别进行标记。

云端图像识别训练和自学习系统，包括深度学习网络模型的设置，见图5，网络模型不仅可以做粮食籽粒目标检测与计数，还可以做粮食籽粒分割与识别，302表示RPN，用于提取候选区域；303表示反卷积层，主要目的是为了得到更为精细的分割；304表示ROIAlign从原图到特征图直接的ROI映射直接使用双线性插值，精确性更好；305主要是用于特征降维，从而可以减少网络参数，使得训练和推理会更快；

人工筛选和纠正系统主要用于对于后续上传的粮食籽粒样本进行检测和分类识别的自动标记，同时将标记信息展现给标注人员，标注人员通过经验对标注信息进行错误纠正，通过纠正后的标注信息，会将这些纠正的信息补充到图像识别训练和学习系统中继续进行训练和学习，从而可以大量的减轻标注人员的工作量。该部分结合训练和自学习系统不停的往复进行，使得整体的识别率接近或达到高级质检员的水平，至此整个系统的学习工作才算结束，并且该样本库已经有足够的泛化能力，从而可以为后续的粮食籽粒不完善粒识别提供基础标准。学习纠正如图6所示，图6中整理识别率阈值可以设定为95％。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种粮食不完善粒图像识别样本库建立方法，其特征在于：该方法包括以下步骤：

S1、各类粮食不完善粒和正常籽粒的样本收集；

S2、粮食籽粒的图像拍照和收集；

S3、粮食籽粒图像上传和标注，还包括：云端标注系统和人工上传与图像标注，所述云端标注系统包括后端样本信息存储和前端样本信息标注工具，所述后端样本信息存储包括样本标注信息格式设置、前后端通信协议设置和数据库存储设置；

所述前端样本信息标注工具包括：粮食类别设置、不完善粒类别和颜色设置、标注类型设置，所述标注类型包括点、矩形、圆和多边形；

所述人工上传与图像标注：包括管理员上传采集到的不完善粒和正常粒图像、高级质检员对图像中的粮食类别和不完善粒类别进行矩形框和多边形标注；

S4、云端算法训练和自学习；包括深度学习网络模型，网络模型可以做粮食籽粒目标检测与计数，还可以做粮食籽粒分割与识别;

S5、算法自识别与人工干预纠正；对于后续上传的粮食籽粒样本进行检测和分类识别的自动标记，同时将标记信息展现给标注人员，标注人员通过经验对标注信息进行错误纠正，通过纠正后的标注信息，会将这些纠正的信息补充到图像识别训练和学习系统中继续进行训练和学习，从而可以大量的减轻标注人员的工作量;

该方法基于粮食不完善粒图像识别样本库建立系统实现，所述粮食不完善粒图像识别样本库建立系统包括样本采集拍照系统、样本云端标注系统、样本检测识别学习系统与人工筛选和纠正系统，且逐次信号传输；

所述样本采集拍照系统包括采集控制盒存储设备、相机支架、高清相机、粮食籽粒载物平台和辅助光源，所述高清相机固定在相机支架顶端，所述粮食籽粒载物平台位于高清相机下方，所述辅助光源位于粮食籽粒载物平台下方，所述采集控制盒存储设备与高清相机信号连接。

2.根据权利要求1所述的一种粮食不完善粒图像识别样本库建立方法，其特征在于：所述步骤S1，还包括：

首先，从各个省市粮食储备单位获得各类粮食籽粒样本；

然后，进行分类装袋，贴上各类标签；

3.根据权利要求1所述的一种粮食不完善粒图像识别样本库建立方法，其特征在于：所述步骤S4，还包括：

然后，深度网络的训练求解参数的设置；

最后，自学习的频率和权重调整参数设置。

4.根据权利要求1所述的一种粮食不完善粒图像识别样本库建立方法，其特征在于：所述样本检测识别学习系统包括输入的RGB三通道图像、相应的卷积层和池化层以及激活层、RPN、反卷积层、ROIAlign从原图到特征图直接的ROI映射直接使用双线性插值、特征降维、使用卷积提取相关的特征、分类误差、定位误差、分割误差和整体误差。