CN112183640A - 一种基于不规则物体的检测和分类方法 - Google Patents
一种基于不规则物体的检测和分类方法 Download PDFInfo
- Publication number
- CN112183640A CN112183640A CN202011054380.9A CN202011054380A CN112183640A CN 112183640 A CN112183640 A CN 112183640A CN 202011054380 A CN202011054380 A CN 202011054380A CN 112183640 A CN112183640 A CN 112183640A
- Authority
- CN
- China
- Prior art keywords
- classification
- branch
- model
- segmentation
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001788 irregular Effects 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 49
- 238000005070 sampling Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 238000013434 data augmentation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000009776 industrial production Methods 0.000 claims description 3
- 238000010998 test method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 235000014102 seafood Nutrition 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000005303 weighing Methods 0.000 description 4
- 238000005034 decoration Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000282898 Sus scrofa Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000005457 ice water Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009364 mariculture Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Abstract
本发明公开了一种基于不规则物体的检测和分类方法，涉及图像采集技术领域，海产品采集，并构建海产品数据集；30％作为测试集、70％作为训练集，并将该图像输入到海产品分类分割模型中进行训练，得分类输出和分割输出；设计海产品分类分割模型的损失函数，并对其进行优化训练，得优化后模型；设计模型的评价指标，进行检测性能评价得检测模型；对检测模型的输出进行区域连通性分析，获得目标的尺寸和最小外接矩形；将在所述训练集和所述测试集中评价指标都表现好的模型保存并部署到现场。本方法对海产品检测效果较好，检测速度快，检测精度高，能够实现海产品的实时尺寸检测。
Description
技术领域
本发明涉及图像采集技术领域，尤其是一种基于不规则物体的检测和分类方法。
背景技术
随着物质生活水平的不断提升，越来越多的海产品成为大众餐桌的主角。不同于猪牛羊等基于部位的报价方式，大多数海产品按照产品规格大小来计价，这种特殊的计价方式，决定了海产品分选在海产品加工产业链中的重要地位。
中国作为世界上最大的海产养殖国，每天有数以万计的海产品被捕捞出水，完成等级分选后，送往全球各地的市场。庞大的市场需求，要求海产品分选速度不断加快，精度不断提高。
传统的海产品分选主要依赖人工，仅靠工人肉眼看、手工称来对海产品规格进行分选，这种方式劳动强度大，分选速度慢，同时，分选结果的主观性影响大，即便是经验丰富的分选工人也无法确保每一次分选结果的一致性。
海产品称重分选机的出现在一定程度上弥补了人工分选的短板，但称重算法容易受到外因影响，导致分选失败。例如冷冻是海产品保鲜最常用的方式，但冷冻后海产品表面附着的冰水混合物会对称重算法产生影响，导致分选精度下降，此外，根据重量分选也无法精准的确定冷冻海产品的实际规格。
视觉分选机是在称重分选机的基础上，融合视觉分选功能的新一代分选机，除传统的重量分选外，还可同时检测产品的外观、尺寸等。但当前市场上主流的视觉分选机均使用传统视觉算法，无法对产品图像实现像素级别的识别，计算误差大，难以实现高精度分选。
鉴于上述情况，急需一种新的技术方案来解决上述问题。
发明内容
本发明针对现有技术的不足，提出一种基于不规则物体的检测和分类方法，通过将采集的海产品数据集输入到自建的海产品分类分割模型中实现图像分类和分割双输出，并通过引入损失函数和评价指标来对模型进行优化，再对优化后模型的输出进行区域连通性分析，获取目标的尺寸和最小外接矩形。本方法对海产品检测效果较好，检测速度快，检测精度高，能够实现海产品的实时尺寸检测。
为了实现上述发明目的，本发明提供以下技术方案：
一种基于不规则物体的检测和分类方法，包括如下步骤：
步骤(1)海产品采集，并构建海产品数据集；
步骤(2)通过分层抽样的方法选取步骤(1)中所述海产品数据集的30％作为测试集、70％作为训练集，对所述训练集的数据进行数据增广，得训练后图像，并将该图像输入到海产品分类分割模型中进行训练，得分类输出和分割输出；
步骤(3)根据步骤(2)中所述分类输出和所述分割输出设计海产品分类分割模型的损失函数，将所述损失函数作为目标函数，并对其进行优化训练，得优化后模型；
步骤(4)设计模型的评价指标，对步骤(3)中所述优化后模型的检测效果进行检测性能评价，得经过性能评价后的检测模型；
步骤(5)对步骤(5)中得经过性能评价后的检测模型的输出进行区域连通性分析，获得目标的尺寸和最小外接矩形；
步骤(6)将在所述训练集和所述测试集中评价指标都表现好的模型保存并部署到现场。
优选的，所述步骤(1)海产品采集，并构建海产品数据集；具体为：通过RGB面阵相机对工业生产线上的海产品采集多种位置、类型的图片，构建海产品数据集。
优选的，步骤(2)中所述数据增广，包括：颜色变换、随机翻转、随机裁剪和添加随机噪声。
优选的，步骤(2)中所述海产品分类分割模型，包括：特征提取网络层、分类网络层和分割解码网络层；
所述特征提取网络层包括用于提取目标不同尺寸特征的下采样模块、注意力模块、非瓶颈残差通道分离和洗牌模块；
所述分类网络层包括用于输出目标所属类别的池化模块和全连接层；
所述分割解码网络层包括用于输出目标像素所述类别的特征融合模块、上采样模块和所述注意力模块；
所述海产品分类分割模型的训练，具体为：
给出一个480*640*3的彩色图片，输入到所述特征提取网络层，输出高层信息60*80*128的特征图和低层信息120*160*64的特征图，将两个特征图输入到分割解码网络层：其中，低层信息120*160*64的特征图经过所述注意力模块作为分支一，高层信息60*80*128的特征图经过所述特征融合模块输出，再经过所述上采样模块作为分支二；将所述分之一和所述分支二进行像素点乘求和，经过所述上采样模块输出分割结果。同时，由所述特征提取网络层的低层信息120*160*64的特征图经过所述下采样模块，再经过所述全连接层输出分类结果。
优选的，所述注意力模块是一种轻量的注意力模块，包括可以在通道和空间维度进行注意的通道注意力模块和空间注意力模块。
优选的，所述特征融合模块的操作，包括分别对高层信息和低层信息进行处理后融合；
对所述高层信息的处理包括：
步骤a.将高层信息60*80*128的特征图输入到所述注意力模块，经过所述上采样模块得到分支一；
步骤b.将高层信息60*80*128的特征图和分支一进行点乘得到分支二；
步骤c.将高层信息60*80*128的特征图经过所述下采样模块得到分支三，该分支三经过下采样引出下采样分支四，分支三和分支四进行点乘求和，求和结果和分支二进行点乘求和得到分支五。
第二，对低层信息120*160*64的特征图经过所述注意力模块和所述分支五进行点乘求和，求和结果进行所述上采样模块得到分割结果。
优选的，所述步骤(3)具体为：
海产品分类分割网络模型构建两个输出分支，分别为分类输出和分割输出，其中，所述分类网络层计算的预测输出qi与样本标签pi，设计交叉熵损失函数做为分类分支的目标函数；同时，在所述分割解码网络层分支计算预测值，设计所述损失函数为分割分支的目标函数，优化两个目标函数，让模型预测结果不断逼近真实标签；
模型总体目标函数为：
Loss＝Lcls+Fseg
分类网络损失函数为的交叉熵损失函数，其公式为：
其中，pi为样本标签，qi为预测输出；
分割模型损失函数公式如下：
其中，y′为预测值，α和γ为超参数。
优选的，步骤(4)中所述设计模型的评价指标，具体为：
在分类输出中，首先对输出的预测结果和真实标签进行统计，建立混淆矩阵，然后对模型的分类预测结果和真实标签进行精准率和召回率计算，精准率计算公式如下：
召回率计算公式如下：
其中，TP为将正类预测为正类数；FP为将负类预测为正类数；FN为将正类预测为负类数；
模型分类分支的最终评价指标为F_score，该指标综合精准率和召回率的结果，当F越高说明试验方法比较有效，公式如下：
在分割输出中，评价指标采用平均交并比，对分割结果的每一类的掩码像素进行统计，公式如下：
其中，pij表示真实值为i、被预测为j的数量，pii表示真实值为i、预测值为i的数量，pji表示真实值为j、预测值为i的数量。k+1是类别个数(包含空类)；
当mIoU接近1时候，预测值越逼近真实值。
有益效果
本发明所提供的一种基于不规则物体的检测和分类方法，适用于外形不规则物品，如海产品等，通过将采集的海产品数据集输入到自建的海产品分类分割模型中实现图像分类和分割双输出，并通过引入损失函数和评价指标来对模型进行优化，再对优化后模型的输出进行区域连通性分析，获取目标的尺寸和最小外接矩形。本方法对海产品检测效果较好，检测速度快，检测精度高，能够实现海产品的实时尺寸检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明所述一种基于不规则物体的检测和分类方法的分类分割模型结构示意图；
图2为本发明所述一种基于不规则物体的检测和分类方法的轻量的注意力模块示意图；
图3为本发明所述一种基于不规则物体的检测和分类方法的混淆矩阵示意图；
图4为本发明所述一种基于不规则物体的检测和分类方法的平均交并比示意图；
图5为本发明所述一种基于不规则物体的检测和分类方法的掩码结果预测值示意图；
图6为本发明所述一种基于不规则物体的检测和分类方法的目标掩码的最小外接矩形示意图；
图7为本发明所述一种基于不规则物体的检测和分类方法的映射到实际工作的世界坐标系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于不规则物体的检测和分类方法，包括如下步骤：
步骤(1)海产品采集，并构建海产品数据集；
步骤(2)通过分层抽样的方法选取步骤(1)中所述海产品数据集的30％作为测试集、70％作为训练集，对所述训练集的数据进行数据增广，得训练后图像，并将该图像输入到海产品分类分割模型中进行训练，得分类输出和分割输出；
步骤(3)根据步骤(2)中所述分类输出和所述分割输出设计海产品分类分割模型的损失函数，将所述损失函数作为目标函数，并对其进行优化训练，得优化后模型；
步骤(4)设计模型的评价指标，对步骤(3)中所述优化后模型的检测效果进行检测性能评价，得经过性能评价后的检测模型；
步骤(5)对步骤(5)中得经过性能评价后的检测模型的输出进行区域连通性分析，获得目标的尺寸和最小外接矩形；
步骤(6)将在所述训练集和所述测试集中评价指标都表现好的模型保存并部署到现场。
具体的，所述步骤(1)海产品采集，并构建海产品数据集；具体为：通过RGB面阵相机对工业生产线上的海产品采集多种位置、类型的图片，构建海产品数据集。
步骤(2)中对采集到的数据集采用分层抽样的方法随机取每种海产品类型的70％作为训练集，30％作为测试集，并进行标准化处理。为增加训练样本数量及增强模型的泛化性能，对训练集数据进行数据增广，包括颜色变换、随机翻转、随机裁剪和添加随机噪声，将处理后的训练图像输入到海产品分类分割模型中进行模型的训练。测试集本身不进行训练，可以用于检验模型泛化性能，因此不需要手动改变其分布规律。
如图1所示，所述海产品分类分割模型，包括：特征提取网络层(Encoder)、分类网络层(Classification)和分割解码网络层(Segmentation Decoder)；
所述特征提取网络层(Encoder)包括用于提取目标不同尺寸特征的下采样模块(Down-sampling)、注意力模块(attention-block)、非瓶颈残差通道分离和洗牌模块；具体的：
所述下采样模块是特征的“筛选”过程，筛选不必要的特征信息，以保留最关键的特征信息，减少计算负担；
所述注意力模块是将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作，在空间维度上进行压缩时，通过池化过程聚合特征映射的空间信息，送到一个共享网络，压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图，对输入的图层而言，通道注意力，关注图层某些内容重要性，池化过程中的平均池化反馈每个像素点，最大池化响应图层最大梯度信息；本实施例中，如图2所示，所述注意力模块是一种轻量的注意力模块(Convolutional Block Attention Module，简称CBAM)，包括可以在通道和空间维度进行注意的通道注意力模块(Channel Attention Module(CAM))和空间注意力模块(Spartial Attention Module(SAM))。
所述非瓶颈残差通道分离和洗牌模块，残差中，通道的分离split与洗牌shuffle机制可以减小网络规模，提升特征表达能力。
所述分类网络层(Classification)包括用于输出目标所属类别的池化模块和全连接层；
所述分割解码网络层(Segmentation Decoder)包括用于输出目标像素所述类别的特征融合模块、上采样模块(Upsampling)和所述注意力模块(attention--block)；
所述海产品分类分割模型的训练，具体为：
给出一个480*640*3的彩色图片，输入到特征提取网络层(Encoder)，输出高层信息60*80*128的特征图和低层信息120*160*64的特征图，由特征提取网络层(Encoder)获得的两个特征图输入到所述分割解码网络层(Segmentation Decoder)；其中，
低层信息120*160*64的特征图经过注意力模块(attention-block)作为分支branch1，
高层信息60*80*128的特征图经过特征融合模块输出经过上采样模块作为分支branch2，
branch1和branch2进行像素点乘求和point-wise sum，经过上采样输出分割结果。同时，由特征提取网络层低层信息层60*80*128的特征图经过下采样，经过全连接层输出分类结果。
本实施例中，所述分类网络层(Classification)包括用于输出目标所属类别的池化模块和全连接层。具体的：
(1)池化模块，对高层信息60*80*128进行压缩，避免直接经过全连接层导致信息丢失，得到29*39*3池化结果；
(2)全连接层，使用softmax对池化结果进行类别回归，在输出类别上产生概率分布，对给定无标记输入图像，对其进行分类，得到所属类别的概率，通过该概率结果判断该输入的类别。
本实施例中，所述分割解码网络层(Segmentation Decoder)包括用于输出目标像素所述类别的特征融合模块、上采样模块(Upsampling)和所述注意力模块(attention-block)，用于输出目标的每个像素所属的类别(背景和前景)。
所述特征融合模块的操作，包括分别对高层信息和低层信息进行处理后融合；
对所述高层信息的处理包括：
步骤a.将高层信息60*80*128的特征图输入到所述注意力模块，经过所述上采样模块得到分支branch_1；
步骤b.将高层信息60*80*128的特征图和分支branch_1进行点乘得到分支branch_2；
步骤c.将高层信息60*80*128的特征图经过所述下采样模块得到分支Down_1，该分支Down_1经过下采样引出下采样分支Down_2，分支Down_1和分支Down_2进行点乘求和，求和结果和分支branch_2进行点乘求和得到分支branch_3。
第二，对低层信息120*160*64的特征图经过所述注意力模块和所述分支branch_3进行点乘求和，求和结果进行所述上采样模块得到分割结果。
本实施例中，模型学习的过程，实质是算法对目标函数的优化过程，特别是在分类或者回归任务中，便是使用损失函数(Loss Function)作为其目标函数，又称为代价函数(Cost Function)，通过优化目标函数，让预测值结果不断逼近真实值。
海产品分类分割网络模型构建两个输出分支，分别为分类输出和分割输出，其中，所述分类网络层计算的预测输出qi与样本标签pi，设计交叉熵损失函数做为分类分支的目标函数；同时，在所述分割解码网络层分支计算预测值，设计所述损失函数为分割分支的目标函数，优化两个目标函数，让模型预测结果不断逼近真实标签；
模型总体目标函数为：
Loss＝Lcls+Fseg
分类网络损失函数为的交叉熵损失函数，其公式为：
其中，pi为样本标签，qi为预测输出；
分割模型损失函数公式如下：
其中，y′为预测值，α和γ为超参数。
对目标函数优化训练后得到的模型，需要对该模型检测效果进行检测性能评价。只有达到规定下的检测性能，该模型才具备检测能力，因此，分别对两个输出分支设计模型的评价指标。
在分类输出中，首先对输出的预测结果和真实标签进行统计，建立混淆矩阵(如图3所示)，然后对模型的分类预测结果和真实标签进行精准率和召回率计算，精准率计算公式如下：
召回率计算公式如下：
其中，TP为将正类预测为正类数；FP为将负类预测为正类数；FN为将正类预测为负类数；
模型分类分支的最终评价指标为F_score，该指标综合精准率和召回率的结果，当F越高说明试验方法比较有效，公式如下：
在分割输出中，评价指标采用平均交并比，对分割结果的每一类的掩码像素进行统计，公式如下：
其中，pij表示真实值为i、被预测为j的数量，pii表示真实值为i、预测值为i的数量，pji表示真实值为j、预测值为i的数量。k+1是类别个数(包含空类)；
如图4所示，当mIoU接近1时候，预测值越逼近真实值。
经过性能评价后的检测模型，其图像分割分支经过解码器模块(SegmentationDecoder)得到的掩码结果预测值(如图5所示)，对该掩码结果进行连通性分析，过滤低于阈值的噪声掩码区域，获取目标掩码的最小外接矩形(如图6所示)。
由于掩码的外接矩形和像素数量是基于图像像素坐标系，因此，需要通过相机参数转换为空间世界坐标系，获得真实目标尺寸，模型分割结果以及矩形坐标通过相机的内外参R和映射T到实际工作的世界坐标系(如图7所示)。
图像像素坐标到世界坐标的转换公式如下：
其中，f为相机焦距，R和T为相机内外参，由张正友标定法获得，为图像像素原点；由实际工作台距离进行调节。
综上，保存一个在训练集和测试集中评价指标都表现较好的模型，将训练好的模型部署到现场，此时该模型f1 score和mIoU分别有99.95％和97.5％以上，且不存在过拟合现象。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于不规则物体的检测和分类方法，其特征在于：包括
步骤(1)海产品采集，并构建海产品数据集；
步骤(2)通过分层抽样的方法选取步骤(1)中所述海产品数据集的30％作为测试集、70％作为训练集，对所述训练集的数据进行数据增广，得训练后图像，并将该图像输入到海产品分类分割模型中进行训练，得分类输出和分割输出；
步骤(3)根据步骤(2)中所述分类输出和所述分割输出设计海产品分类分割模型的损失函数，将所述损失函数作为目标函数，并对其进行优化训练，得优化后模型；
步骤(4)设计模型的评价指标，对步骤(3)中所述优化后模型的检测效果进行检测性能评价，得经过性能评价后的检测模型；
步骤(5)对步骤(4)中得经过性能评价后的检测模型的输出进行区域连通性分析，获得目标的尺寸和最小外接矩形；
步骤(6)将在所述训练集和所述测试集中评价指标都表现好的模型保存并部署到现场。
2.根据权利要求1所述一种基于不规则物体的检测和分类方法，其特征在于：所述步骤(1)海产品采集，并构建海产品数据集；具体为：通过RGB面阵相机对工业生产线上的海产品采集多种位置、类型的图片，构建海产品数据集。
3.根据权利要求1所述一种基于不规则物体的检测和分类方法，其特征在于：步骤(2)中所述数据增广，包括：颜色变换、随机翻转、随机裁剪和添加随机噪声。
4.根据权利要求1所述一种基于不规则物体的检测和分类方法，其特征在于：步骤(2)中所述海产品分类分割模型，包括：特征提取网络层、分类网络层和分割解码网络层；
所述特征提取网络层包括用于提取目标不同尺寸特征的下采样模块、注意力模块、非瓶颈残差通道分离和洗牌模块；
所述分类网络层包括用于输出目标所属类别的池化模块和全连接层；
所述分割解码网络层包括用于输出目标像素所述类别的特征融合模块、上采样模块和所述注意力模块；
所述海产品分类分割模型的训练，具体为：
给出一个480*640*3的彩色图片，输入到所述特征提取网络层，输出高层信息60*80*128的特征图和低层信息120*160*64的特征图，将两个特征图输入到分割解码网络层：其中，低层信息120*160*64的特征图经过所述注意力模块作为分支一，高层信息60*80*128的特征图经过所述特征融合模块输出，再经过所述上采样模块作为分支二；将所述分之一和所述分支二进行像素点乘求和，经过所述上采样模块输出分割结果。同时，由所述特征提取网络层的低层信息120*160*64的特征图经过所述下采样模块，再经过所述全连接层输出分类结果。
5.根据权利要求4所述一种基于不规则物体的检测和分类方法，其特征在于：所述注意力模块是一种轻量的注意力模块，包括可以在通道和空间维度进行注意的通道注意力模块和空间注意力模块。
6.根据权利要求4所述一种基于不规则物体的检测和分类方法，其特征在于：所述特征融合模块的操作，包括分别对高层信息和低层信息进行处理后融合；
对所述高层信息的处理包括：
步骤a.将高层信息60*80*128的特征图输入到所述注意力模块，经过所述上采样模块得到分支一；
步骤b.将高层信息60*80*128的特征图和分支一进行点乘得到分支二；
步骤c.将高层信息60*80*128的特征图经过所述下采样模块得到分支三，该分支三经过下采样引出下采样分支四，分支三和分支四进行点乘求和，求和结果和分支二进行点乘求和得到分支五。
第二，对低层信息120*160*64的特征图经过所述注意力模块和所述分支五进行点乘求和，求和结果进行所述上采样模块得到分割结果。
7.根据权利要求1所述一种基于不规则物体的检测和分类方法，其特征在于：所述步骤(3)具体为：
海产品分类分割网络模型构建两个输出分支，分别为分类输出和分割输出，其中，所述分类网络层计算的预测输出qi与样本标签pi，设计交叉熵损失函数做为分类分支的目标函数；同时，在所述分割解码网络层分支计算预测值，设计所述损失函数为分割分支的目标函数，优化两个目标函数，让模型预测结果不断逼近真实标签；
模型总体目标函数为：
Loss＝Lcls+Fseg
分类网络损失函数为的交叉熵损失函数，其公式为：
其中，pi为样本标签，qi为预测输出；
分割模型损失函数公式如下：
其中，y′为预测值，α和γ为超参数。
8.根据权利要求1所述一种基于不规则物体的检测和分类方法，其特征在于：步骤(4)中所述设计模型的评价指标，具体为：
在分类输出中，首先对输出的预测结果和真实标签进行统计，建立混淆矩阵，然后对模型的分类预测结果和真实标签进行精准率和召回率计算，精准率计算公式如下：
召回率计算公式如下：
其中，TP为将正类预测为正类数；FP为将负类预测为正类数；FN为将正类预测为负类数；
模型分类分支的最终评价指标为F_score，该指标综合精准率和召回率的结果，当F越高说明试验方法比较有效，公式如下：
在分割输出中，评价指标采用平均交并比，对分割结果的每一类的掩码像素进行统计，公式如下：
其中，pij表示真实值为i、被预测为j的数量，pii表示真实值为i、预测值为i的数量，pji表示真实值为j、预测值为i的数量。k+1是类别个数(包含空类)；
当mIoU接近1时候，预测值越逼近真实值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011054380.9A CN112183640A (zh) | 2020-09-29 | 2020-09-29 | 一种基于不规则物体的检测和分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011054380.9A CN112183640A (zh) | 2020-09-29 | 2020-09-29 | 一种基于不规则物体的检测和分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183640A true CN112183640A (zh) | 2021-01-05 |
Family
ID=73945494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011054380.9A Pending CN112183640A (zh) | 2020-09-29 | 2020-09-29 | 一种基于不规则物体的检测和分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183640A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114066964A (zh) * | 2021-11-17 | 2022-02-18 | 江南大学 | 一种基于深度学习的水产实时尺寸检测方法 |
| CN114140688A (zh) * | 2021-11-23 | 2022-03-04 | 武汉理工大学 | 基于透射扫描图像的叶脉表型提取方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| GB201818237D0 (en) * | 2018-11-08 | 2018-12-26 | Polyal | A dialogue system, a dialogue method, a method of generating data for training a dialogue system, a system for generating data for training a dialogue system |
| CN109886555A (zh) * | 2019-01-24 | 2019-06-14 | 北京明略软件系统有限公司 | 食品安全的监测方法及装置 |
| CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
| CN111539937A (zh) * | 2020-04-24 | 2020-08-14 | 北京海益同展信息科技有限公司 | 一种物体指标的检测方法、家畜重量的检测方法及装置 |
-
2020
- 2020-09-29 CN CN202011054380.9A patent/CN112183640A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| GB201818237D0 (en) * | 2018-11-08 | 2018-12-26 | Polyal | A dialogue system, a dialogue method, a method of generating data for training a dialogue system, a system for generating data for training a dialogue system |
| CN109886555A (zh) * | 2019-01-24 | 2019-06-14 | 北京明略软件系统有限公司 | 食品安全的监测方法及装置 |
| CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
| CN111539937A (zh) * | 2020-04-24 | 2020-08-14 | 北京海益同展信息科技有限公司 | 一种物体指标的检测方法、家畜重量的检测方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114066964A (zh) * | 2021-11-17 | 2022-02-18 | 江南大学 | 一种基于深度学习的水产实时尺寸检测方法 |
| CN114066964B (zh) * | 2021-11-17 | 2024-04-05 | 江南大学 | 一种基于深度学习的水产实时尺寸检测方法 |
| CN114140688A (zh) * | 2021-11-23 | 2022-03-04 | 武汉理工大学 | 基于透射扫描图像的叶脉表型提取方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
| Ranjan et al. | Detection and classification of leaf disease using artificial neural network | |
| CN110276386A (zh) | 一种基于机器视觉的苹果分级方法及系统 | |
| CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN108334847A (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
| Wang et al. | Precision detection of dense plums in orchards using the improved YOLOv4 model | |
| Buayai et al. | End-to-end automatic berry counting for table grape thinning | |
| CN114359727A (zh) | 基于轻量级优化Yolo v4的茶叶病害识别方法及系统 | |
| CN112183640A (zh) | 一种基于不规则物体的检测和分类方法 | |
| CN110390673A (zh) | 一种监控场景下基于深度学习的香烟自动检测方法 | |
| CN110097537A (zh) | 一种基于三维纹理特征的肉质定量分析评价方法 | |
| Liu et al. | Deep learning based research on quality classification of shiitake mushrooms | |
| CN103149163A (zh) | 基于多光谱图像纹理特征的检测牛肉嫩度的装置及其方法 | |
| CN114005081A (zh) | 一种烟丝异物智能检测装置及方法 | |
| CN116434012A (zh) | 一种基于边缘感知的轻量型棉铃检测方法及系统 | |
| Chen et al. | A surface defect detection system for golden diamond pineapple based on CycleGAN and YOLOv4 | |
| Isa et al. | CNN transfer learning of shrimp detection for underwater vision system | |
| CN103185731A (zh) | 基于彩色图像纹理特征的检测牛肉嫩度的装置及其方法 | |
| CN115099297A (zh) | 一种基于改进型YOLO v5模型的大豆植株表型数据统计方法 | |
| Shen et al. | Identifying veraison process of colored wine grapes in field conditions combining deep learning and image analysis | |
| Liu et al. | Rice grains and grain impurity segmentation method based on a deep learning algorithm-NAM-EfficientNetv2 | |
| CN112966698A (zh) | 基于轻量化卷积网络的淡水鱼图像实时识别方法 | |
| CN112906510A (zh) | 一种渔业资源统计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |