CN112215809A - 对虾加工剥壳率检测方法、装置、电子设备及存储介质 - Google Patents
对虾加工剥壳率检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112215809A CN112215809A CN202011026764.XA CN202011026764A CN112215809A CN 112215809 A CN112215809 A CN 112215809A CN 202011026764 A CN202011026764 A CN 202011026764A CN 112215809 A CN112215809 A CN 112215809A
- Authority
- CN
- China
- Prior art keywords
- prawn
- shelling
- prawns
- information
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000238557 Decapoda Species 0.000 title claims abstract description 272
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000004088 simulation Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 24
- 230000003321 amplification Effects 0.000 claims description 18
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 11
- 235000013372 meat Nutrition 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000006002 Pepper Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供对虾加工剥壳率检测方法、装置、电子设备及存储介质，该方法包括：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。
Description
技术领域
本发明涉及智能信息处理技术领域，尤其涉及对虾加工剥壳率检测方法、装置、电子设备及存储介质。
背景技术
现在对于虾仁的需求越来越大，但虾仁加工机械化和自动化水平较低，距实现智能化加工还有明显的差距。在虾仁加工生产中，大部分生产线主要依赖人工进行处理，效率慢，且人工成本高。目前，已开始研发虾仁加工机械化装置，该类装置主要依赖机械加工代替人工处理去头、剥壳等工作，但对加工的质量和数量尚无统一评价标准。在对虾剥壳加工过程中，如何判别对虾是否完成剥壳，获得对虾剥壳率，是评价剥壳效率和质量的重要标准。
在快速运行的虾仁加工生产线中，由于虾仁个体形态多样、分布密集及传送带运输速度影响，人工无法实时的观察对虾剥壳成功与否。
因此如何更好的判断生产线中的虾仁剥壳是否成功已经成为业界亟待解决的问题。
发明内容
本发明实施例提供对虾加工剥壳率检测方法、装置、电子设备及存储介质，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。
第一方面，本发明实施例提供一种对虾加工剥壳率检测方法，包括：
将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；
其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
更具体的，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法包括：
获取剥壳对虾原始数据集信息，对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息；
将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息。
更具体的，所述对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息的步骤，具体包括：
将所述剥壳对虾原始数据集信息分别进行数据量扩增、环境模拟和噪声模拟，得到数据扩增数据集、环境模拟数据集和噪声模拟数据集；
将所述数据扩增数据集、环境模拟数据集和噪声模拟数据集进行混合变换，得到剥壳对虾增强数据集信息。
更具体的，在所述将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息的步骤之后，所述方法还包括：
对所述剥壳对虾训练集信息进行文本语义标注，得到带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片；
将所述带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片输入初始深度学习训练模型进行训练，直至训练模型的平均精度值超过预设值，停止训练，得到预设对虾剥壳率检测模型。
更具体的，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法还包括：
根据对虾传送带的速度，确定剥壳机加工成品对虾图片的图片采集频率信息；
根据所述图片采集频率信息获取对虾传送带上的剥壳机加工成品对虾图片。
更具体的，所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息的步骤，具体包括：
将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到多个图片对应的对虾加工剥壳率；
剔除多个图片对应的对虾加工剥壳率中的最大值和最小值后，取平均值，得到对虾加工剥壳率信息。
第二方面，本发明实施例提供一种对虾加工剥壳率检测装置，其特征在于，包括：
检测模块，用于将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；
其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述对虾加工剥壳率检测方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述对虾加工剥壳率检测方法的步骤。
本发明实施例提供的对虾加工剥壳率检测方法、装置、电子设备及存储介质，通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中所描述的对虾加工剥壳率检测方法流程示意图；
图2为本发明一实施例所描述的对虾剥壳机剥壳率检测方法的流程图
图3为本发明一实施例所描述的对虾加工剥壳率检测装置示意图；
图4为本发明一实施例所描述的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例中所描述的对虾加工剥壳率检测方法流程示意图，如图1所示，包括：
步骤S101，将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；
其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
具体的，本发明实施例中所描述的多个剥壳机加工成品对虾图片信息是指在对虾整个生产过程中，对虾加工生产线成品传送区根据预定时间获取的多个剥壳机加工成品对虾图片信息，获取剥壳机加工成品对虾图片信息的防潮高清摄像头架置于所述水平传送带正上方约60cm处，覆盖水平传送带运输区，以获得完整的剥壳加工成品的对虾图像，并确保图像中每个对虾的剥壳状态能够明确区分。
本发明实施例中所描述的预设对虾剥壳率检测模型根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片对初始化深度学习YOLO V4训练模型训练得到的。
本发明实施例检测得到的完全剥壳对虾数量done、未完全剥壳对虾数量raw及总对虾数量all为所述提取的帧图像中包含的完全剥壳对虾数量、未完全剥壳对虾数量及总对虾数量。其中，all＝done+raw。计算完全剥壳对虾数量与总对虾数量之比，以获得对虾剥壳机剥壳率。
对提取的每幅帧图像分别计算剥壳率，即完全剥壳对虾数量与总对虾数量之比；
具体地，每幅帧图片的剥壳率pi计算公式为
其中i表示帧图像编号，共提取n幅帧图像；
具体地，在所述的所有帧图像剥壳率中，剔除一个最大值及一个最小值之后取平均值，所得的剥壳率均值即为对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P；
具体地，所述对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P计算方式如下：
记pi中的最大值为pmax，最小值为pmin，
P即为所求的对虾加工剥壳率信息。
本发明实施例通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。
在上述实施例的基础上，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法包括：
获取剥壳对虾原始数据集信息，对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息；
将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息。
所述对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息的步骤，具体包括：
将所述剥壳对虾原始数据集信息分别进行数据量扩增、环境模拟和噪声模拟，得到数据扩增数据集、环境模拟数据集和噪声模拟数据集；
将所述数据扩增数据集、环境模拟数据集和噪声模拟数据集进行混合变换，得到剥壳对虾增强数据集信息。
具体的，本发明实施例中所描述的数据增强方法，包括基础数据量扩增、环境模拟、噪声模拟及混合变换；
具体地，将所述基础数据量扩增记为A包含5个函数，随机平移记为A1，随机旋转记为A2，随机裁剪记为A3，镜像翻转记为A4，随机缩放记为A5；所述的环境模拟记为B包含4个函数，亮度调整记为B1，饱和度调整记为B2，色调调整记为B3，增加光斑记为B4；所述的噪声模拟记为C包含5个函数，椒盐噪声记为C1，高斯噪声记为C2，模糊化记为C3，高斯滤波记为C4，腐蚀膨胀记为C5。所述混合变换步骤具体如下：
本发明实施例中所描述的混合变换具体为：
Step1：由计算机从列表[AB、AC、ABC]中随机选择一个元素，AB表示所述A与B类组合的混合变换，AC表示所述A与C类组合的混合变换，ABC表示所述A、B与C组合的混合变换；
Step2：在[B0，B1，B2，B3，B4]、[C0，C1，C2，C3，C4，C5]列表中，分别随机选择一个元素，其中B0、C0表示在该类函数中不选择任何函数，以此作为混合变换中的一部分Bm、Cn；
Step3：在二值列表[0，1]中随机选择一个元素，重复执行5次，生成形如“11001”的字符串；
Step4：自检所述生成的字符串，若字符串为“00000”，则重新执行Step3，直至满足条件；
Step5：将所述生成字符串中“1”的位置索引与所述A类中的索引对应并选择，并获得选择函数，如：
字符串“10101”表示，选择A1、A3、A5函数，即随机平移、随机裁剪、随机缩放；
Step6：对列表[A1、A2、A3、A4、A5、B、C]种的元素随机排序，并结合所述的选择函数，获得混合变换的顺序，如：
随机排序A3、A2、A4、B、C、A1、A5，结合Step2与Step5中的Bm、Cn、“10101”，获得混合变换的顺序，随机裁剪、环境模拟Bm、噪声模拟Cn、随机平移、随机缩放；
Step7：生成混合变换结果图像。
具体地，所述的随机平移、随机旋转、随机裁剪、随机缩放、亮度调整、饱和度调整、色调调整、增加光斑变换可根据需要使用多次。
设原图像函数表达式为：
其中P表示原图像,图像像素宽为w，高为h,pxy，亦p(x,y)表示图像中坐标为(x,y)处的像素值，1≤x≤w,1≤y≤h,p(x,y)可由r，g，b三通道值线性表示，即
p(x,y)＝f(r,g,b),0≤r,g,b≤255
变换理论基础为：
随机平移：p′(x,y)＝F1(p(x,y),m,n)，m、n为平移量；
随机旋转：p′(x,y)＝F2(p(x,y),a,b,θ),(a,b)为旋转中心坐标，θ为旋转角度；
随机裁剪：p′(x,y)＝F3(p(x,y),a,b,m,n)，(a,b)为裁剪起点坐标，m、n为裁剪宽、高；
镜像翻转：p′(x,y)＝F4(p(x,y),f)，f为翻转方向参数；
随机缩放：p′(x,y)＝F5(p(x,y),p,q),p、q为宽、高缩放比例；
亮度调整：p′(x,y)＝λp(x,y)+b,λ为亮度系数，b为亮度偏置；
饱和度调整：p′(x,y)＝λf(r,g,b),λ为饱和度系数；
色调调整：p′(x,y)＝p(x,y)+b，b为色调偏置；
增加光斑：
为亮斑中心点，r为亮斑半径；
椒盐噪声：p′(x,y)＝f(0,0,0)或p′(x,y)＝f(255,255,255)，根据图像分辨率增加适量椒盐噪声；
高斯噪声：p′(x,y)＝f(r,g,b)+gauss(μ,σ,k),gauss(μ,σ,k)为高斯噪声函数，μ为均值，σ为方差，k为高斯噪声系数；
模糊化：p′(x,y)＝blur[p(x,y),(p,q)],(p,q)为模糊卷积核；
高斯滤波：p′(x,y)＝GaussianBlur[p(x,y),(p,q)]，(p,q)为高斯内核；
腐蚀膨胀：p′(x,y)＝ErodeDilate[p(x,y),(p,q),n],(p,q)为腐蚀膨胀内核，n为执行次数。
以上变换中，删除超出原图像区域的像素值，无像素值的像素点置为(255，255，255)(或(0，0，0))，最终得到剥壳对虾增强数据集信息。
本发明实施例在特殊领域，训练数据严重不足的情况下，通过独有的数据增强方式，有效扩充了训练数据，从而实现后续的有效训练。
在上述实施例的基础上，在所述将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息的步骤之后，所述方法还包括：
对所述剥壳对虾训练集信息进行文本语义标注，得到带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片；
将所述带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片输入初始深度学习训练模型进行训练，直至训练模型的平均精度值超过预设值，停止训练，得到预设对虾剥壳率检测模型。
具体的，本发明实施例中所描述的语义标注可以是，采用LabelImg对图像做真实标注，所述真实标注的标注原则包括：明确区分对虾剥壳状态的完整对虾，以实际状态做真实标注；存在遮挡、粘连等异常现象对虾或图像边缘处的对虾，若可以明确为未完全剥壳对虾的，做未完全剥壳对虾标注，其余情况不做标注。
初始化深度学习YOLO V4训练模型，调整训练超参数，将所述数据增强后的训练集以及所述输入标注文本输入YOLO V4网络中进行模型训练，以获得检测模型及其mAP值，完全剥壳对虾和未完全剥壳对虾的AP值；
具体地，调整anchors尺寸以更加适应剥壳机加工成品对虾的尺寸，调整学习率及衰减系数以调节模型收敛趋势，调整输入网络图像尺寸以调节模型精度等。
根据所述的AP和mAP值，调整训练参数，重新训练模型，根据对AP及mAP的要求，重新调整训练超参数，直至训练模型的AP及mAP的要求符合要求，停止训练，得到预设对虾剥壳率检测模型。
本发明实施例通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。
在上述实施例的基础上，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法还包括：
根据对虾传送带的速度，确定剥壳机加工成品对虾图片的图片采集频率信息；
根据所述图片采集频率信息获取对虾传送带上的剥壳机加工成品对虾图片。
具体的，根据所述水平传送带速度，在所述的实时采集剥壳机加工成品对虾图像中每3秒即90帧提取帧图像，防止图像提取时间间隔短而引起多幅图像变化不大，导致操作冗余的过采样和帧图像提取时间间隔长而引起多幅图像差异过大，帧图像之间连续性差，导致缺漏关键帧图像的漏采样。
在上述实施例的基础上，所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息的步骤，具体包括：
将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到多个图片对应的对虾加工剥壳率；
剔除多个图片对应的对虾加工剥壳率中的最大值和最小值后，取平均值，得到对虾加工剥壳率信息。
具体的，具体地，每幅帧图片的剥壳率pi计算公式为
其中i表示帧图像编号，共提取n幅帧图像；
具体地，在所述的所有帧图像剥壳率中，剔除一个最大值及一个最小值之后取平均值，所得的剥壳率均值即为对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P；
具体地，所述对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P计算方式如下：
记pi中的最大值为pmax，最小值为pmin，
P即为所求的对虾加工剥壳率信息。
图2为本发明一实施例所描述的对虾剥壳机剥壳率检测方法的流程图，如图2所示，包括：
步骤S1：采集对虾加工生产线剥壳机加工成品的对虾图像，以建立原始数据集；
步骤S2：对所述原始数据集划分为训练集、测试集，分别对所述训练集、测试集进行数据增强，扩增数据集，构建检测数据集；
在步骤S2和步骤S3之间还包括：选择变换方式、分别进行环境模拟、基础数据量扩增、噪声模拟，然后进行混合变换，接着确定变换函数，然后随机生成变换参数，并保存，生成映射函数，对原图做映射变换，生成、保存变换图像，判断是否满足循环需求，若满足循环需求，则重新回到随机生成变换参数，并保存，若不满足循环需求，则进入步骤S3.
步骤S3：在所述数据增强后的训练集中，对完全剥壳对虾及未完全剥壳对虾做真实标注，以获得真实标注文本；
步骤S4：对所述真实标注文本进行归一化处理，以获得输入标注文本；
步骤S5：初始化深度学习YOLO V4训练模型，调整训练超参数，将所述数据增强后的训练集以及所述输入标注文本输入YOLO V4网络中进行模型训练，以获得检测模型及其mAP值，完全剥壳对虾和未完全剥壳对虾的AP值；
步骤S6：根据所述的AP和mAP值，调整所述训练参数，重新训练模型，以获得最优检测模型；
具体地，根据对AP及mAP的要求，重新调整训练超参数，重复执行步骤S5。
步骤S7：根据所述最优检测模型，在线实时采集剥壳机加工成品对虾视频图像，分别统计检测得到的完全剥壳对虾数量、未完全剥壳对虾数量及总对虾数量；
步骤S8：计算所述完全剥壳对虾数量与总对虾数量之比，以获得对虾剥壳机剥壳率。
图3为本发明一实施例所描述的对虾加工剥壳率检测装置示意图，如图3所示，包括：检测模块310，用于将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
本发明实施例通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。
图4为本发明一实施例所描述的电子设备结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种对虾加工剥壳率检测方法，其特征在于，包括：
将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；
其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
2.根据权利要求1所述对虾加工剥壳率检测方法，其特征在于，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法包括：
获取剥壳对虾原始数据集信息，对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息；
将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息。
3.根据权利要求2所述对虾加工剥壳率检测方法，其特征在于，所述对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息的步骤，具体包括：
将所述剥壳对虾原始数据集信息分别进行数据量扩增、环境模拟和噪声模拟，得到数据扩增数据集、环境模拟数据集和噪声模拟数据集；
将所述数据扩增数据集、环境模拟数据集和噪声模拟数据集进行混合变换，得到剥壳对虾增强数据集信息。
4.根据权利要求2所述对虾加工剥壳率检测方法，其特征在于，在所述将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息的步骤之后，所述方法还包括：
对所述剥壳对虾训练集信息进行文本语义标注，得到带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片；
将所述带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片输入初始深度学习训练模型进行训练，直至训练模型的平均精度值超过预设值，停止训练，得到预设对虾剥壳率检测模型。
5.根据权利要求1所述对虾加工剥壳率检测方法，其特征在于，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法还包括：
根据对虾传送带的速度，确定剥壳机加工成品对虾图片的图片采集频率信息；
根据所述图片采集频率信息获取对虾传送带上的剥壳机加工成品对虾图片。
6.根据权利要求1所述对虾加工剥壳率检测方法，其特征在于，所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息的步骤，具体包括：
将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到多个图片对应的对虾加工剥壳率；
剔除多个图片对应的对虾加工剥壳率中的最大值和最小值后，取平均值，得到对虾加工剥壳率信息。
7.一种对虾加工剥壳率检测装置，其特征在于，包括：
检测模块，用于将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；
其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述对虾加工剥壳率检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述对虾加工剥壳率检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026764.XA CN112215809A (zh) | 2020-09-25 | 2020-09-25 | 对虾加工剥壳率检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026764.XA CN112215809A (zh) | 2020-09-25 | 2020-09-25 | 对虾加工剥壳率检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215809A true CN112215809A (zh) | 2021-01-12 |
Family
ID=74051239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011026764.XA Pending CN112215809A (zh) | 2020-09-25 | 2020-09-25 | 对虾加工剥壳率检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215809A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022820A (zh) * | 2021-11-09 | 2022-02-08 | 交通运输部北海航海保障中心烟台航标处 | 一种基于机器视觉的航标灯灯质智能检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103878122A (zh) * | 2012-12-19 | 2014-06-25 | 莱特拉姆有限责任公司 | 虾加工系统和方法 |
| CN106455594A (zh) * | 2014-04-24 | 2017-02-22 | 莱特拉姆有限责任公司 | 虾加工系统和方法 |
| CN110084197A (zh) * | 2019-04-28 | 2019-08-02 | 苏州清研微视电子科技有限公司 | 基于深度学习的公交车客流量统计方法和系统 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN110738631A (zh) * | 2019-08-26 | 2020-01-31 | 中国农业机械化科学研究院 | 一种基于图像的对虾外形信息检测方法和检测系统 |
| CN110991315A (zh) * | 2019-11-28 | 2020-04-10 | 江苏电力信息技术有限公司 | 一种基于深度学习的安全帽佩戴状态实时检测方法 |
| CN111008959A (zh) * | 2019-11-22 | 2020-04-14 | 江苏方天电力技术有限公司 | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 |
| CN111444809A (zh) * | 2020-03-23 | 2020-07-24 | 华南理工大学 | 一种基于改进YOLOv3的输电线路异常目标检测方法 |
-
2020
- 2020-09-25 CN CN202011026764.XA patent/CN112215809A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103878122A (zh) * | 2012-12-19 | 2014-06-25 | 莱特拉姆有限责任公司 | 虾加工系统和方法 |
| CN106455594A (zh) * | 2014-04-24 | 2017-02-22 | 莱特拉姆有限责任公司 | 虾加工系统和方法 |
| CN110084197A (zh) * | 2019-04-28 | 2019-08-02 | 苏州清研微视电子科技有限公司 | 基于深度学习的公交车客流量统计方法和系统 |
| CN110738631A (zh) * | 2019-08-26 | 2020-01-31 | 中国农业机械化科学研究院 | 一种基于图像的对虾外形信息检测方法和检测系统 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN111008959A (zh) * | 2019-11-22 | 2020-04-14 | 江苏方天电力技术有限公司 | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 |
| CN110991315A (zh) * | 2019-11-28 | 2020-04-10 | 江苏电力信息技术有限公司 | 一种基于深度学习的安全帽佩戴状态实时检测方法 |
| CN111444809A (zh) * | 2020-03-23 | 2020-07-24 | 华南理工大学 | 一种基于改进YOLOv3的输电线路异常目标检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022820A (zh) * | 2021-11-09 | 2022-02-08 | 交通运输部北海航海保障中心烟台航标处 | 一种基于机器视觉的航标灯灯质智能检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113160257B (zh) | 图像数据标注方法、装置、电子设备及存储介质 | |
| CN110599387A (zh) | 一种自动去除图片水印的方法及装置 | |
| JP6719457B2 (ja) | 画像の主要被写体を抽出する方法とシステム | |
| CN110996169B (zh) | 剪辑视频的方法、装置、电子设备及计算机可读存储介质 | |
| CN110889824A (zh) | 一种样本生成方法、装置、电子设备及计算机可读存储介质 | |
| CN109559362B (zh) | 一种图像主体脸部替换方法及装置 | |
| CN111860369A (zh) | 一种欺诈识别方法、装置以及存储介质 | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| CN110399842A (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110390643A (zh) | 一种车牌增强方法、装置及电子设备 | |
| CN109272044A (zh) | 一种图像相似度确定方法、装置、设备及存储介质 | |
| CN112750104B (zh) | 一种多相机监控船舶自动匹配最优相机的方法及装置 | |
| CN111339902A (zh) | 一种数显仪表的液晶屏示数识别方法及装置 | |
| CN111476758A (zh) | Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质 | |
| CN111225299A (zh) | 一种onu故障识别、修复方法和装置 | |
| CN112215809A (zh) | 对虾加工剥壳率检测方法、装置、电子设备及存储介质 | |
| CN112508849A (zh) | 数字图像拼接检测方法及装置 | |
| CN113610185B (zh) | 基于主色调识别的木材色选方法 | |
| CN111667541B (zh) | 图像颜色量化方法、装置、电子设备及存储介质 | |
| CN111598794A (zh) | 一种去除水下重叠情况的图像成像方法及装置 | |
| CN112434581A (zh) | 一种室外目标颜色识别方法、系统、电子设备及存储介质 | |
| CN113487697B (zh) | 简笔画生成方法、装置、电子设备及存储介质 | |
| US11468658B2 (en) | Systems and methods for generating typographical images or videos | |
| CN113887368A (zh) | 水产品检测方法、装置、电子设备和存储介质 | |
| WO2022027816A1 (zh) | 一种用于图像获取装置的检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |