CN114612450A - 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 - Google Patents
基于数据增广机器视觉的图像检测分割方法、系统、电子设备 Download PDFInfo
- Publication number
- CN114612450A CN114612450A CN202210267565.0A CN202210267565A CN114612450A CN 114612450 A CN114612450 A CN 114612450A CN 202210267565 A CN202210267565 A CN 202210267565A CN 114612450 A CN114612450 A CN 114612450A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- model
- data set
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000013434 data augmentation Methods 0.000 title claims abstract description 19
- 239000002245 particle Substances 0.000 claims abstract description 42
- 239000004576 sand Substances 0.000 claims abstract description 42
- 239000000463 material Substances 0.000 claims abstract description 41
- 239000004575 stone Substances 0.000 claims abstract description 28
- 238000009826 distribution Methods 0.000 claims abstract description 15
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 51
- 239000000203 mixture Substances 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000005315 distribution function Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 10
- 230000001788 irregular Effects 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种基于数据增广机器视觉的图像检测方法、系统、电子设备，涉及人工智能与机器视觉领域。本发明首先获取砂石料堆图像，制作出砂石料图像原始数据集，然后建立数据集，基于数据增广机器视觉算法适配缺失数据以实现模型泛化，实现对数据集砂石料图像的检测与分割，通过建立高相关二维特征参数，表征出砂石料颗粒的三维粒度公式，实现二维特征参数表征砂石料颗粒三维特征，计算得到砂石料图像的三维粒度分布。本发明采用基于领域泛化元学习的全局卷积网络机器视觉方法，实现了针对砂石料特征的自主学习，提高了图像分割的精度及语义分割中分类和定位的准确度，解决了不规则砂石颗粒图像分割中存在的过分割和欠分割问题。
Description
技术领域
本发明涉及一种智慧工厂机器视觉的图像检测分割方法，涉及人工智能与机器视觉领域。
背景技术
各类建筑行业对混凝土有大量需求，其中主要成分砂石的需求量同样巨大。然而，在不同的建筑应用场景中，混凝土对砂石颗粒大小的要求各不相同。所以针对高楼建筑、桥梁、公路建造等不同应用场景，需要实时检测砂石粒径大小，检测工作量巨大，人工抽样检测效率低、不准确、主观偏差大、准确率无法保证。
现有采用领域泛化机器视觉的方法，利用图像分割技术实现智能化的砂石料图像检测。以混凝土数字化生产流程为研究对象，其中间原材料砂石的颗粒度检测对后续生产品控至关重要，为此，已经有多种基于机器视觉的智能化检测方法，砂石颗粒图像边缘检测与图像分割的难点在于其颗粒形状不规则，并且颗粒之间互相堆叠，有时由于成像原因导致颗粒边界模糊，所有这些都给图像检测带来很大挑战，相比具有规则几何形状的目标检测难度要增大很多。
与此相关的图像分割与检测方法有基于图像纹理、灰度等将其进行语义分割；或者根据灰度值结合阈值来进行分割；有采用边缘分割的方法；有采用形态学分水岭分割图像，包括结合标记的方法提升性能；有采用深度学习全卷积分离分割模型的方法。所有这些方法容易产生过分割和欠分割问题。
发明内容
本发明所要解决的技术问题是：针对背景技术中指出的不规则砂石颗粒图像分割中其他方法存在的过分割和欠分割问题，提出一种基于数据增广机器视觉的图像检测方法，解决不规则砂石颗粒图像边缘检测与图像分割问题。
本发明为解决技术问题而提出的技术方案如下：
本发明提出一种基于数据增广机器视觉的图像检测分割方法，本发明所涉及的数据增广采用领域泛化方法，领域泛化是领域自适应方法的进阶，都属于人工智能领域的迁移学习方法类，应用于不规则砂石颗粒图像边缘检测与图像分割，把源任务模型的训练结果作为初始权重，实现源模型迁移学习，拟合能力和泛化性能显著提升，具体包括如下步骤：
S1、获取砂石料堆图像，制作出砂石料图像原始数据集；
S2、对原始数据集进行预处理，构建训练集、验证集和测试集；
S3、基于数据增广机器视觉算法适配缺失数据以实现模型泛化；
S4、根据步骤S3的泛化模型，基于训练集采用GCN算法进行迁移学习，实现对数据集砂石料图像的检测与分割，在模型训练的过程中，结合数据集规模、图像扫描迭代周期次数、损失函数收敛曲线因素，进行模型超参数的初步适配；
S5、把初步训练完成的语义分割模型在验证集上进行验证，根据推理精度，进一步调适网络模型超参数；
S6、重复步骤S4-S5，得到优化全局卷积网络语义分割模型，在测试集上推理得到测试集精度；
S7、如果优化全局卷积网络语义分割模型在测试集精度没有达到预设阈值，那么重复步骤S4至步骤S6，直至符合预设阈值条件，进入步骤S8；
S8、从训练集中随机抽取n组图像，采用全局卷积网络语义分割模型抽取图像特征，然后基于近邻成分分析特征选择算法对这n组砂石料图像二维形态特征参数进行关联性计算，找出与混合料三维粒度相关性最高的二维特征参数；
S9、基于步骤S8得到的二维特征参数，表征出混合料的三维粒度公式，通过公式计算得到砂石料图像的三维粒度分布。
进一步的，本发明所提出的图像检测分割方法，步骤S3所述基于数据增广机器视觉算法适配缺失数据以实现模型泛化，具体过程如下：
S301、构建砂石料图像增强广数据集：设砂石图像数据集由N位数据工程师标注，每一位工程师标注的数据集称为一个相对独立的集，这N个数据集对应N个不同源集，复合数据集由N个源集组成，分别表示为
每个人的标注风格对应不同的标签集；
S302、在复合数据集
上，随机抽样样本数据，构建分组数据集
S303、在数据集
上，根据狄利克雷分布函数计算,并据此构造数据集
其中Dir(α)(n)是根据狄利克雷分布函数计算得到的权重，yn表示数据(y1,y2,…,yN)
S304、构建代价函数：
其中
表示表示全局卷积网络特征分类器,在数据集
和
上，根据代价函数
进行经典全局卷积网络模型训练；
S305、根据模型训练是否收敛到预设阈值，重复实行步骤S302到步骤S304，直至模型训练收敛达到预期，存储训练模型结果。
S306、输出训练参数到后续模组输入接口。
进一步的，本发明所提出的图像检测分割方法，步骤S1是通过单目工业相机拍摄获取砂石料堆图像，制作出砂石料图像原始数据集。
进一步的，本发明所提出的图像检测分割方法，步骤S2的数据预处理过程包括：数据标注、裁剪、增广、数据清洗、数据集结构化。
进一步的，本发明所提出的图像检测分割方法，砂石料图像原始数据集获取具体步骤如下：
(1)、首先通过单目工业相机拍摄获取混合料堆图像，采集混合料图像初始数据，图像数据量需大于等于1000幅；
(2)、对混合料图像初始数据进行清洗、降噪，剔除曝光过度、曝光不足、以及模糊之类成像不合要求的图片，整理得到规整图像数据；
(3)、如果经过规整后的图像数量少于1000幅，那么需要重新采集混合料图像，如果剔除的图像数量大于300幅，那么还需要调整工业相机拍摄角度，调整辅助光照，调节混合料传送速度；
(4)、上述1～3步骤多次迭代直至得到符合要求的规整图像数据，最终图像数量需保证大于等于1000幅。
进一步的，本发明所提出的图像检测分割方法，从预处理后的数据中随机选取若干幅图像并对应标注，设为标准数据集，对标准数据集按照比例5：3：2划分为训练集、验证集、测试集三部分。
进一步的，本发明所提出的图像检测分割方法，所述模型超参数包括卷积网络层数，卷积核长宽值、填零值。
本发明还提出一种基于数据增广机器视觉的图像检测分割系统，包括：
数据采集处理模块，用于获取砂石料堆图像，制作出砂石料图像原始数据集；并对数据集进行预处理，构建训练集、验证集和测试集；
数据增广适配模块，基于数据增广机器视觉算法适配缺失数据以实现模型泛化；
模型训练模块，根据泛化模型，基于训练集采用GCN算法进行迁移学习，实现对数据集砂石料图像的检测与分割，在模型训练的过程中，结合数据集规模、图像扫描迭代周期次数、损失函数收敛曲线因素，进行模型超参数的初步适配；并且把初步训练完成的语义分割模型在验证集上进行验证，根据推理精度，进一步调适网络模型超参数；
模型优化模块，重复执行模型训练模块的动作，得到优化全局卷积网络语义分割模型，在测试集上推理得到测试集精度；如果优化全局卷积网络语义分割模型在测试集精度没有达到预设阈值，那么重复执行训练和优化动作，直至符合预设阈值条件；
计算模块，从训练集中随机抽取n组图像，然后基于近邻成分分析特征选择算法对这n组砂石料图像二维形态特征参数进行关联性计算，找出与混合料三维粒度相关性最高的二维特征参数；基于得到的二维特征参数，表征出混合料的三维粒度公式，通过公式计算得到砂石料图像的三维粒度分布。
最后，本发明还提出一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，其特征在于，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明前述图像检测分割方法的步骤流程。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明采用基于领域泛化元学习的全局卷积网络机器视觉方法，实现了算法针对砂石料特征的自主学习，提高了图像分割的精度，同时提高了语义分割中分类和定位的准确度。
(2)本发明针对不规则砂石颗粒图像边缘检测与图像分割问题，可以把源任务模型的训练结果作为初始权重，实现源模型迁移学习。本发明建立高相关二维特征参数，表征出砂石料颗粒的三维粒度公式，解决了二维特征参数表征砂石料颗粒三维特征的问题。
(3)本发明有效解决不规则砂石颗粒图像分割中其他方法存在的过分割和欠分割问题，本申请的技术方案中的算法拟合能力和泛化性能显著提升。解决了图像数据集规模小，模型训练出现过拟合的问题。
附图说明
图1是本发明基于领域泛化机器视觉的图像检测分割的流程图。
图2是数据增广机器视觉算法流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明所涉及的数据增广采用领域泛化方法，领域泛化是领域自适应方法的进阶，都属于人工智能领域的迁移学习方法类，应用于不规则砂石颗粒图像边缘检测与图像分割，可以把源任务模型的训练结果作为初始权重，实现源模型迁移学习，拟合能力和泛化性能显著提升。
本发明提出一种基于数据增广机器视觉的图像检测分割方法，整体流程如下：
步骤一：首先通过普通单目工业相机拍摄获取砂石料堆图像，制作出砂石料图像原始数据集。
步骤二：建立数据集，数据标注、裁剪、增广、数据清洗、数据集结构化，构建训练集、验证集和测试集。
步骤三：基于数据增广机器视觉算法适配缺失数据以实现模型泛化。领域泛化是指将在现有数据上学习的模型推广到不可见域，是从若干个具有不同砂石图像颗粒度数据分布的数据集中迁移学习一个泛化能力强的模型，以便在未知的砂石图像数据集上取得良好的效果。
步骤四：根据步骤三的泛化模型，结合GCN(Global Convolutional Network，全局卷积网络)算法进行迁移学习，实现对数据集砂石料图像的检测与分割，结合验证集评估模型性能，回到步骤三继续迭代直至性能达到设计阈值，进入步骤五。
GCN算法具体过程是结合图像语义分割任务的确定需求，构建全卷积模块，基于语义分割任务密集连接的构建较大尺寸核函数形式，针对二分类特点的语义问题，设计内核尺寸扩大到与特征图精准匹配，使得模型具有语义分割任务中密集连接的优点。
步骤五：从训练集中随机抽取的100组图像，然后基于NCA(NeighborhoodComponent Analysis，近邻成分分析)特征选择算法对100组砂石料图像二维形态特征参数进行关联性计算，找出与混合料三维粒度相关性最高的二维特征参数。
基于近邻成分分析特征选择算法，是指选择有限个特定(比如d个)最接近的成分数据，其中d是超参数，结合本发明的研究对象特点：我们要实现砂石料图像语义分割算法优化，该问题场景本质上属于二分类问题，基于砂石料图像二维形态特征参数分布特点，我们选择d＝4。每个二维形态特征参数样本都可以用它最接近的d个邻居来代表。近邻距离采用加权欧氏距离。如果一个二维形态特征参数样本在特征空间中的d个最邻近的样本中的极大部分归于属于特征类，那么此参数归入该类。所选择的近邻成分全部是完全正确归类的。基于近邻成分分析特征选择算法在确定判别类问题上仅依据最近邻成分的数个样本类别用于决定待分二维形态特征参数样本所属类别。
步骤六：基于上述高相关二维特征参数，表征出混合料的三维粒度公式。
在上一步骤中，已经实现了混合料三维粒度相关性最高的二维特征参数标定，本步骤实现混合料场景定义的特征子集挑选出关联性最高的特征参数，完成三维粒度相关性数据集的选择与构建，得到50组混合料图像形态特征指标加权数据，得出特征指标与混合料颗粒度DM如下：
其中
代表混合料颗粒等效圆直径，σ代表混合料颗粒等效椭圆短轴，τ代表混合料颗粒最小柱状直径，φ代表混合料颗粒最大内接圆半径。
步骤七：计算砂石料图像的三维粒度分布。
砂石料图像的三维粒度值是指颗粒度DM：
得到的颗粒度DM数值有大有小，其数值会有有一个分布特征，分布特征描述步骤如下：
(1)以一副图像为例，经过语义分割之后得到颗粒与背景的分割图像，算法标记出图像中有N个颗粒，分别标记为颗粒1、颗粒2、…、颗粒N；
(2)根据颗粒度公式
得到每个颗粒的值分别为DM～1,DM～2,…,DM～N，一般情况下砂石料颗粒值范围在0～30mm；
(3)划分七个区间[0,5),[5,10),[10,15),[15,20),[20,25),[25,30),[30,+∞)，统计在每个区间的分别有多少个颗粒数目，即7个数值，把这7个数值分别除以总颗粒数N，得到每个区间颗粒数相对占比；
(4)以上述七个区间为横轴，对应7个颗粒数占比为纵轴，绘制图像块石的三维粒度，得到粒度分布曲线。
以下结合图1，对本发明的算法开发、适配、调参、模型训练，算法迭代调优具体过程介绍如下：
(1)、首先通过单目工业相机拍摄获取混合料堆图像，采集混合料图像初始数据，图像数据量需大于等于1000幅；
(2)、对混合料图像初始数据进行清洗、降噪，剔除曝光过度、曝光不足、以及模糊等等成像不合要求的图片，整理得到规整图像数据；
(3)、如果经过规整后的图像数量少于1000幅，那么需要重新采集混合料图像，如果剔除的图像数量大于300幅，那么还需要调整工业相机拍摄角度，调整辅助光照，调节混合料传送速度；
(4)、上述1～3步骤多次迭代直至得到符合要求的规整图像数据，最终图像数量需保证大于等于1000幅；
(5)、对上述规整图像数据进行裁剪、增广、数据标注包括二分类语义分割(颗粒与背景)、数据集结构化。从数据中随机选取1000幅图像以及其对应标注，设为标准数据集。
(6)、构建训练集、验证集和测试集，对标准数据集按照比例5：3：2划分为训练集、验证集、测试集三部分，即所占图像幅数分别为500幅、300幅和200幅。
(7)、基于500幅图像的训练集进行模型训练，模型采用全局卷积网络进行图像语义分割，在模型训练的过程中，结合数据集规模、图像扫描迭代周期次数、损失函数收敛曲线等因素，进行模型超参数的初步适配，包括卷积网络层数，卷积核长宽值、填零值等等。
(8)、把初步训练完成的语义分割模型在验证集上进行验证，根据推理精度，进一步调适网络模型超参数；
(9)、重复5次步骤7～8，得到优化全局卷积网络语义分割模型，在测试集上推理得到测试集精度；
(10)、如果优化全局卷积网络语义分割模型在测试集精度没有达到预设阈值，那么步骤7～9，直至符合预设阈值条件，如果重复运行6次步骤7～9仍未达预期，则终止模型优化，选择6次中最有精度的模型作为备用模型，用于部署生产在线推理运行。
本发明提出的基于领域泛化元学习方法的迁移学习算法，从不同的标注砂石图像数据集源域中迁移学习，可以在未知的砂石图像数据集目标域上实现高性能，其中每个单独的源图像域与目标图像域的砂石颗粒分布可以是不同的，并且标签集也可以是不同的，具体原理分析和理论说明如下：
砂石料图像数据集的构建过程中，需要对图像中的颗粒边缘进行标注，由于需要标注的数据集规模很大，原则上来说，数据集包含的图像数量越大越好，但是，考虑到算法最优化与实现成本等经济因素，往往取一个相对折中的数据集规模。而且，数据集的建设也是一个渐进的过程，随着算法迭代和项目推进，图像数据集是持续丰富增量的过程，所以，数据集的构建与标注过程中，会有许多数据标注人员的参与。虽然有统一的标注规范，但是，每个人对标注对象的主观理解是有差异的，这样就必然使得每个人标注的数据集存在风格差异，具体比如同样一副图像，不同的人标注的颗粒边缘界限是不一样的。而且随着时间的推移，同一个人标注的数据集风格也可能会产生迁移，这样的复合数据集对后续采用机器学习算法的图像检测和分割品质会产生很大的负面影响。本发明提出的方法可以基于现有已知标注数据集的众多标注特征共性，通过迁移学习的方法对未来未见数据实现有效泛化，提升图像检测与分割算法性能。
以下对本发明提出的数据增广机器视觉算法进行详细介绍，具体流程如图2所示，步骤如下：
S301、构建砂石料图像增强广数据集。设砂石图像数据集由N位数据工程师标注，每一位工程师标注的数据集称为一个相对独立的集，这N个数据集对应N个不同源集，复合数据集由N个源集组成，分别表示为
每个人的标注风格不相同，看作为对应不同的标签集；比如对于颗粒边缘边界的手工标注，有人标注的边界线宽一点，其他人标注的窄一点，这些都具有不同标签集特征。
S302、在复合数据集
上，随机抽样样本数据，构建分组数据集
S303、在数据集
上，根据狄利克雷分布函数计算,并据此构造数据集
其中Dir(α)(n)是根据狄利克雷分布函数计算得到的权重，
其中α是狄利克雷分布参数，x表示样本随机变量，
表示全局卷积网络特征提取器，用于对图像数据提取检测分割特征。
S304、构建代价函数：
其中
表示表示全局卷积网络特征分类器,在数据集
和
上，根据代价函数
进行经典全局卷积网络模型训练。
S305、根据模型训练是否收敛到预设阈值，重复实行步骤S302到步骤S304，直至模型训练收敛达到预期，存储训练模型结果。
S306、输出训练参数到后续模组输入接口。
采用本发明提出的基于领域泛化元学习方法的迁移学习算法，可以有效和高效地解决上述数据集的多样性问题，可以有效提升采用机器学习算法的图像检测和分割品质的算法泛化能力。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于数据增广机器视觉的图像检测分割方法，其特征在于，包括如下步骤：
S1、获取砂石料堆图像，制作出砂石料图像原始数据集；
S2、对原始数据集进行预处理，构建训练集、验证集和测试集；
S3、基于数据增广机器视觉算法适配缺失数据以实现模型泛化；
S4、根据步骤S3的泛化模型，基于训练集采用GCN算法进行迁移学习，实现对数据集砂石料图像的检测与分割，在模型训练的过程中，结合数据集规模、图像扫描迭代周期次数、损失函数收敛曲线因素，进行模型超参数的初步适配；
S5、把初步训练完成的语义分割模型在验证集上进行验证，根据推理精度，进一步调适网络模型超参数；
S6、重复步骤S4-S5，得到优化全局卷积网络语义分割模型，在测试集上推理得到测试集精度；
S7、如果优化全局卷积网络语义分割模型在测试集精度没有达到预设阈值，那么重复步骤S4至步骤S6，直至符合预设阈值条件，进入步骤S8；
S8、从训练集中随机抽取n组图像，采用全局卷积网络语义分割模型抽取图像特征，然后基于近邻成分分析特征选择算法对这n组砂石料图像二维形态特征参数进行关联性计算，找出与混合料三维粒度相关性最高的二维特征参数；
S9、基于步骤S8得到的二维特征参数，表征出混合料的三维粒度公式，通过公式计算得到砂石料图像的三维粒度分布。
2.根据权利要求1所述的图像检测分割方法，其特征在于：步骤S3所述基于数据增广机器视觉算法适配缺失数据以实现模型泛化，具体过程如下：
S301、构建砂石料图像增强广数据集：设砂石图像数据集由N位数据工程师标注，每一位工程师标注的数据集称为一个相对独立的集，这N个数据集对应N个不同源集，复合数据集由N个源集组成，分别表示为
每个人的标注风格对应不同的标签集；
S302、在复合数据集
上，随机抽样样本数据，构建分组数据集
S303、在数据集
上，根据狄利克雷分布函数计算,并据此构造数据集
其中Dir(α)(n)是根据狄利克雷分布函数计算得到的权重，yn表示数据(y1,y2,…,yN)
S304、构建代价函数：
其中
表示表示全局卷积网络特征分类器,在数据集
和
上，根据代价函数
进行经典全局卷积网络模型训练；
S305、根据模型训练是否收敛到预设阈值，重复实行步骤S302到步骤S304，直至模型训练收敛达到预期，存储训练模型结果。
S306、输出训练参数到后续模组输入接口。
3.根据权利要求1所述的图像检测分割方法，其特征在于，步骤S1是通过单目工业相机拍摄获取砂石料堆图像，制作出砂石料图像原始数据集。
4.根据权利要求1所述的图像检测分割方法，其特征在于，步骤S2的数据预处理过程包括：数据标注、裁剪、增广、数据清洗、数据集结构化。
5.根据权利要求3所述的图像检测分割方法，其特征在于，砂石料图像原始数据集获取具体步骤如下：
(1)、首先通过单目工业相机拍摄获取混合料堆图像，采集混合料图像初始数据，图像数据量需大于等于1000幅；
(2)、对混合料图像初始数据进行清洗、降噪，剔除曝光过度、曝光不足、以及模糊之类成像不合要求的图片，整理得到规整图像数据；
(3)、如果经过规整后的图像数量少于1000幅，那么需要重新采集混合料图像，如果剔除的图像数量大于300幅，那么还需要调整工业相机拍摄角度，调整辅助光照，调节混合料传送速度；
(4)、上述1～3步骤多次迭代直至得到符合要求的规整图像数据，最终图像数量需保证大于等于1000幅。
6.根据权利要求1所述的图像检测分割方法，其特征在于：从预处理后的数据中随机选取若干幅图像并对应标注，设为标准数据集，对标准数据集按照比例5：3：2划分为训练集、验证集、测试集三部分。
7.根据权利要求1所述的图像检测分割方法，其特征在于：所述模型超参数包括卷积网络层数，卷积核长宽值、填零值。
8.一种基于数据增广机器视觉的图像检测分割系统，其特征在于，包括：
数据采集处理模块，用于获取砂石料堆图像，制作出砂石料图像原始数据集；并对数据集进行预处理，构建训练集、验证集和测试集；
数据增广适配模块，基于数据增广机器视觉算法适配缺失数据以实现模型泛化；
模型训练模块，根据泛化模型，基于训练集采用GCN算法进行迁移学习，实现对数据集砂石料图像的检测与分割，在模型训练的过程中，结合数据集规模、图像扫描迭代周期次数、损失函数收敛曲线因素，进行模型超参数的初步适配；并且把初步训练完成的语义分割模型在验证集上进行验证，根据推理精度，进一步调适网络模型超参数；
模型优化模块，重复执行模型训练模块的动作，得到优化全局卷积网络语义分割模型，在测试集上推理得到测试集精度；如果优化全局卷积网络语义分割模型在测试集精度没有达到预设阈值，那么重复执行训练和优化动作，直至符合预设阈值条件；
计算模块，从训练集中随机抽取n组图像，然后基于近邻成分分析特征选择算法对这n组砂石料图像二维形态特征参数进行关联性计算，找出与混合料三维粒度相关性最高的二维特征参数；基于得到的二维特征参数，表征出混合料的三维粒度公式，通过公式计算得到砂石料图像的三维粒度分布。
9.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，其特征在于，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210267565.0A CN114612450B (zh) | 2022-03-17 | 2022-03-17 | 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210267565.0A CN114612450B (zh) | 2022-03-17 | 2022-03-17 | 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114612450A true CN114612450A (zh) | 2022-06-10 |
| CN114612450B CN114612450B (zh) | 2023-09-05 |
Family
ID=81864890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210267565.0A Active CN114612450B (zh) | 2022-03-17 | 2022-03-17 | 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612450B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546501A (zh) * | 2022-11-28 | 2022-12-30 | 科丰兴泰(杭州)生物科技有限公司 | 具有机器视觉的用于增效剂内核的智能涂覆系统及其方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047072A (zh) * | 2019-04-30 | 2019-07-23 | 福建南方路面机械有限公司 | 一种基于移动互联的砂石粒径识别处理系统及处理方法 |
| CN110852395A (zh) * | 2019-11-15 | 2020-02-28 | 鞍钢集团矿业有限公司 | 一种基于自主学习和深度学习的矿石粒度检测方法和系统 |
| CN111681249A (zh) * | 2020-05-14 | 2020-09-18 | 中山艾尚智同信息科技有限公司 | 基于Grabcut的砂石颗粒的改进分割算法研究 |
| CN112017164A (zh) * | 2020-08-18 | 2020-12-01 | 中国水利水电科学研究院 | 基于深度阈值卷积模型的土石料级配检测方法 |
| CN113470058A (zh) * | 2021-07-12 | 2021-10-01 | 绍兴文理学院 | 一种砾石的粒度分布测量方法及装置 |
| WO2021240975A1 (ja) * | 2020-05-27 | 2021-12-02 | 株式会社日立製作所 | 粒度分布の測定方法、粒度分布の測定装置、及び演算装置 |
| CN114022474A (zh) * | 2021-11-23 | 2022-02-08 | 浙江宁海抽水蓄能有限公司 | 一种基于yolo-v4的颗粒级配快速检测方法 |
-
2022
- 2022-03-17 CN CN202210267565.0A patent/CN114612450B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047072A (zh) * | 2019-04-30 | 2019-07-23 | 福建南方路面机械有限公司 | 一种基于移动互联的砂石粒径识别处理系统及处理方法 |
| CN110852395A (zh) * | 2019-11-15 | 2020-02-28 | 鞍钢集团矿业有限公司 | 一种基于自主学习和深度学习的矿石粒度检测方法和系统 |
| CN111681249A (zh) * | 2020-05-14 | 2020-09-18 | 中山艾尚智同信息科技有限公司 | 基于Grabcut的砂石颗粒的改进分割算法研究 |
| WO2021240975A1 (ja) * | 2020-05-27 | 2021-12-02 | 株式会社日立製作所 | 粒度分布の測定方法、粒度分布の測定装置、及び演算装置 |
| CN112017164A (zh) * | 2020-08-18 | 2020-12-01 | 中国水利水电科学研究院 | 基于深度阈值卷积模型的土石料级配检测方法 |
| CN113470058A (zh) * | 2021-07-12 | 2021-10-01 | 绍兴文理学院 | 一种砾石的粒度分布测量方法及装置 |
| CN114022474A (zh) * | 2021-11-23 | 2022-02-08 | 浙江宁海抽水蓄能有限公司 | 一种基于yolo-v4的颗粒级配快速检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| ZHENGYU LIANG等: "A particle shape extraction and evaluation method using a deep convolutional neural network and digital image processing", POWDER TECHNOLOGY, vol. 353 * |
| 朱大庆: "基于深度学习的砂石图像粒径检测", 中国硕士学位论文全文库 * |
| 朱大庆等: "基于全卷积网络的砂石图像粒径检测", 计算机与现代化, vol. 299, no. 07 * |
| 潘秉锁等: "基于空洞卷积神经网络的金刚石图像语义分割", 金刚石与磨料磨具工程, vol. 39, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546501A (zh) * | 2022-11-28 | 2022-12-30 | 科丰兴泰(杭州)生物科技有限公司 | 具有机器视觉的用于增效剂内核的智能涂覆系统及其方法 |
| CN115546501B (zh) * | 2022-11-28 | 2023-02-21 | 科丰兴泰(杭州)生物科技有限公司 | 具有机器视觉的用于增效剂内核的智能涂覆系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114612450B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN105528596B (zh) | 利用阴影的高分辨率遥感影像建筑物自动提取方法及系统 | |
| CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
| CN109978041B (zh) | 一种基于交替更新卷积神经网络的高光谱图像分类方法 | |
| Mathur et al. | Crosspooled FishNet: transfer learning based fish species classification model | |
| CN107862668A (zh) | 一种基于gnn的文物图像复原方法 | |
| CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN111611972B (zh) | 基于多视图多任务集成学习的作物叶片种类识别方法 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN107516103A (zh) | 一种影像分类方法和系统 | |
| CN111145145B (zh) | 一种基于MobileNets的图像表面缺陷检测方法 | |
| CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| Luan et al. | Sunflower seed sorting based on convolutional neural network | |
| CN114612450A (zh) | 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 | |
| Cheng et al. | Water quality monitoring method based on TLD 3D fish tracking and XGBoost | |
| CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
| CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN114926420A (zh) | 一种基于跨级特征增强的目标馕的识别及计数方法 | |
| CN114140485A (zh) | 一种三七主根切割轨迹生成方法及系统 | |
| CN112907503A (zh) | 基于自适应卷积神经网络的南美白对虾品质检测方法 | |
| CN111476129A (zh) | 一种基于深度学习的土壤杂质检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |