CN116563237B - 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法 - Google Patents
一种基于深度学习的鸡胴体缺陷高光谱图像检测方法 Download PDFInfo
- Publication number
- CN116563237B CN116563237B CN202310502718.XA CN202310502718A CN116563237B CN 116563237 B CN116563237 B CN 116563237B CN 202310502718 A CN202310502718 A CN 202310502718A CN 116563237 B CN116563237 B CN 116563237B
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- chicken carcass
- module
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000287828 Gallus gallus Species 0.000 title claims abstract description 97
- 230000007547 defect Effects 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000011176 pooling Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 22
- 230000006378 damage Effects 0.000 claims description 20
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000037380 skin damage Effects 0.000 claims description 6
- 210000002615 epidermis Anatomy 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010187 selection method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims 1
- 235000013330 chicken meat Nutrition 0.000 description 64
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 239000000356 contaminant Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003344 environmental pollutant Substances 0.000 description 3
- 231100000719 pollutant Toxicity 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- -1 bile Substances 0.000 description 2
- 210000000941 bile Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004534 cecum Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000003405 ileum Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 235000013622 meat product Nutrition 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
本发明属于机器视觉高光谱图像检测领域，公开一种基于深度学习的鸡胴体缺陷高光谱图像检测方法，包括：高光谱数据处理模块，用于处理鸡胴体高光谱图像数据；图像处理与数据集制作模块，用于对高光谱数据处理模块输出的原始图像进行图像处理，并制作数据集；目标检测模块，构建改进的Faster RCNN模型用以检测和框选鸡胴体缺陷目标；语义分割模块，用改进的U‑net模型对目标检测模块输出的边界框图像进行缺陷精准分割。本发明针对鸡胴体缺陷的特点，将将Faster RCNN模型与U‑net模型联用，既发挥了Faster RCNN模型的快速性也发挥了U‑net模型高精度的优势，提高了鸡胴体缺陷检测的准确性和效率。
Description
技术领域
本发明属于机器视觉高光谱图像检测领域，尤其涉及一种基于深度学习的鸡胴体缺陷高光谱图像检测方法。
背景技术
肉鸡是农副产品中肉制品的一种，随着全球对食品安全和品质的要求越来越高，对肉鸡品质的检测、分级和分类也提出了更高的要求。肉鸡胴体体表完整程度是评定肉鸡质量等级的重要指标之一，表皮损伤与否决定着鸡胴体体表完整程度，但现阶段所使用的人工检测鸡胴体表皮损伤的方法存在准确率低速度慢等缺点。
已公开的专利中，涉及使用高光谱图像对鸡胴体体表完整性进行检测的情况如下：
专利CN106251328B提出了一种利用二维高光谱图像识别鸡胴体表面污染物的方法，该方法以检测鸡胴体表面的胆汁、血液、粪便等污物为目的，通过光谱分析方法构建假彩图像，利用颜色分割算法识别污物。但是胆汁，血液污染物的浓度会影响检测性能。专利CN101650317A提出了一种鸡胴体表面污染物检测方法，该方法针对回肠盲肠内容物、尘土等污物，对4个波段图像做比率图像拉伸与二值化，鉴定图像上有无污染物缺陷。但是该方法不能分辨污染物类型。
发明内容
本发明针对鸡胴体品质检测中体表完整程度的问题，将高光谱技术与深度学习相结合起来，提供了一套完整的鸡胴体缺陷检测方法。本方法能够解决现有技术中存在的问题，实现对鸡胴体品质问题中表皮损伤缺陷的检测。
本发明的技术方案：
一种基于深度学习的鸡胴体缺陷高光谱图像检测方法，步骤如下：
鸡胴体缺陷高光谱图像检测方法包括高光谱数据处理模块、图像处理与数据集制作模块、目标检测模块、语义分割模块；
(1)高光谱数据处理模块，获取与处理鸡胴体缺陷高光谱图像数据；
S1.1使用高光谱相机采集鸡胴体的高光谱图像；
S1.2数据预处理：对高光谱图像进行黑白校正，消除噪声暗电流的干扰，并采集鸡胴体表皮的光谱数据；
S1.3对步骤S1.2中提取到的光谱数据进行特征波段选择，采用最大差值波段选择方法选出鸡胴体体表有损伤与无损伤对比最明显的波段及其图像；
(2)图像处理与数据集制作模块，对高光谱数据处理模块输出的原始图像进行图像处理，并完成目标检测模型数据集制作；
S2.1将步骤S1.3中输出的图像进行预处理，去掉鸡胴体背景的噪声、干扰信息以及其他影响目标检测准确性的因素；
S2.2使用图像标注工具LabelImg对步骤S2.1处理后的图像进行标注，其中每个图像标注后都会产生一个包含该图像中所含表皮损伤的边界框坐标和分类标签属性文件，标注完成后所有的图像及其属性文件共同构成图像数据集；统计标注时边界框的尺度分布情况，包括尺度大小和高宽比，为目标检测模型设计针对鸡胴体缺陷的Anchor提供参考信息；
S2.3对步骤S2.2中图像数据集进行数据增强，提高模型的泛化能力；将数据增强后的数据集随机按照7:3的比例划分为训练集和测试集；
(3)目标检测模块使用改进的Faster RCNN网络模型进行鸡胴体缺陷目标检测；
S3.1构建改进的Faster RCNN鸡胴体缺陷目标检测网络模型；利用改进的FasterRCNN鸡胴体缺陷目标检测网络模型先检测鸡胴体表面是否有损伤缺陷，若有则将缺陷用边界框框出，得到一个框有缺陷的边界框图像，将此边界框图像送入改进的U-net鸡胴体缺陷分割网络模型，改进的U-net鸡胴体缺陷分割网络模型作为一种语义分割模型再将边界框图像中的表皮破损缺陷进行精确分割；改进的Faster RCNN鸡胴体缺陷目标检测网络模型即采用ResNet50-FPN作为特征提取骨干网络，其中在ResNet50第五阶段的残差块部分用PSA注意力模块取代原有的3×3卷积，然后ResNet50与FPN通过横向连接的方式将各自的特征图结合起来生成一组多尺度特征图用于后续处理；引入的PSA注意力模块可以提供强有力的鸡胴体缺陷特征表示能力，ResNet50与FPN结合能够提高模型对小目标鸡胴体缺陷特征的提取能力；改进Faster RCNN模型的RPN网络在改进的Faster RCNN鸡胴体缺陷目标检测网络模型的RPN网络部分，将原Faster RCNN网络中Anchor尺度替换成面积尺度为{202,402,602,802,1002}和宽高比例为{1∶1，1.2∶1，1∶1.2}的新尺度，新尺度是由步骤S2.2中的参考信息分析所得，此改进可使Anchor生成尺度匹配鸡胴体缺陷目标，提高模型泛化能力并避免漏检和误检，提高目标检测精度和召回率；
S3.2使用图像处理与数据集制作模块中的训练集图像对改进的Faster RCNN鸡胴体缺陷目标检测网络模型进行训练，将训练时准确率最高的网络模型保存为最优网络模型；
S3.3使用步骤S3.2中保存的最优网络模型对鸡胴体表皮损伤缺陷进行目标检测；
(4)语义分割模块使用改进的U-net网络模型，针对目标检测模块输出的图像中边界框框选的缺陷进行精准分割；
S4.1构建数据集，根据步骤S3.3中最优网络模型检测鸡胴体缺陷获得的边界框坐标[x,y,w,h]得到其边界框区域图像；对边界框区域图像里的缺陷进行标注，构成含有标注信息的数据集；
S4.2构建改进的U-net鸡胴体缺陷分割网络模型，将U-net网络原有的最大池化层改进为残差金字塔池化层；该残差金字塔池化层的结构通过最大池化构造4种尺度的感受野以检测不同大小的鸡胴体损伤特征，通过金字塔池化内部的1×1卷积将跨通道的信息进行交融，然后利用双线性差值将不同尺度的特征进行归一化后与原始输入特征进行残差融合，最终通过1×1卷积将全局特征映射为原始输入特征的大小；
S4.3训练改进的U-net鸡胴体缺陷分割网络模型，将训练集准确率最高的网络模型保存为最优模型。
步骤S4.2中改进的残差金字塔池化层位于U-net编码器结构中卷积层的后面；残差金字塔池化层再加上前面两个3×3卷积层以及激活函数，组成一个下采样模块，在U-net编码器结构中共有四个下采样模块，最后经过两次卷积后直接将得到的特征图送入解码器中，其最终映射的金字塔全局特征能充分结合鸡胴体损伤的有效信息进行合理分割，尽可能保证损伤区域分割的完整性。
本发明有益效果：
本发明提供了一种应用于鸡胴体缺陷检测的高光谱技术与深度学习相结合的模块化方法。与其他现有技术相比，本发明具有以下优势：
(1)本发明改进了Faster RCNN模型，将加入注意力机制的ResNet50-FPN作为Faster RCNN特征提取骨干网络，引入注意力机制可以帮助模型更精细地关注缺陷特征，ResNet50-FPN能融合图像不同尺度的信息，提高了模型捕捉小缺陷特征的能力；在FasterRCNN的RPN网络中，设置适合鸡胴体缺陷的Anchor生成尺度，避免出现漏检误检，提高了模型检测精度和效率。
(2)本发明在改进的U-net模型中构建了残差金字塔结构，该结构通过最大池化层构造了不同尺度的感受野，提高了模型对不同尺度鸡胴体缺陷信息的捕获能力，最终映射的金字塔全局特征能够充分结合鸡胴体缺陷的有效信息进行合理分割，保证损失区域分割的完整性。
(3)本发明通过Faster RCNN和U-net的联用，充分发挥Faster RCNN速度快和U-net高精度的优势，避免了U-net模型对整幅图像的识别分割，极大降低了模型的计算成本并提高了对鸡胴体缺陷检测的准确性和效率。
本发明提出的方法对鸡胴体品质检测领域有重要的应用价值，同时也有望推动高光谱技术在食品安全领域的更广泛应用。
附图说明
图1为本发明方法模块流程图；
图2为本发明图像处理流程示意图；
图3为本发明中的一种改进的Faster RCNN目标检测网络示意图；
图4为本发明中目标检测网络所用注意力模块示意图；
图5为本发明中的一种改进的U-net缺陷分割网络示意图；
图6为本发明中所改进的金字塔池化层。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明包括高光谱数据处理模块、图像数据处理与数据集制作模块、目标检测模块、语义分割模块；
优选的，所述高光谱数据处理模块包括如下步骤：
S1.1使用高光谱相机采集鸡胴体的高光谱数据，采集到的数据如图2a所示。
S1.2数据预处理是对高光谱相机采集到的图像进行黑白校正，消除高光谱仪器中噪声暗电流干扰，并使用光谱图像处理软件ENVI采集鸡胴体表皮无损伤区域和有损伤区域的光谱数据。
S1.3特征波段选择是对步骤S1.2中提取到的光谱数据进行处理，采用最大差值波段选择方法：输入为有损伤区域和无损伤区域的平均光谱，将两类光谱中每个波段的平均光谱反射率相减，依据差值对波段进行降序排序，输出排序第一的波段，此波段即为所选特征波段并提取波段的灰度图像，结果如图2b所示，此波段鸡胴体有损伤与无损伤区域的光谱差值最大，图像中差别最明显，因此更容易检测。
优选的，所述图像处理与数据集制作模块包括如下步骤：
S2.1将步骤S1.3中输出的灰度图像进行预处理。为去掉图像中鸡胴体背景的噪声、干扰信息及其他影响因素，使用Canny边缘检测算法得到初始状态下的鸡胴体轮廓图像，根据鸡胴体轮廓图像的边缘点信息，使用引导滤波算法屏蔽鸡胴体背景中噪声与干扰信息，结果如图2c。
S2.2使用图像标注工具LabelImg对步骤S2.1图像中的鸡胴体表皮损伤缺陷进行标注，对于每一张图像来说，最终的数据包括一张图像，一个属性文件(包含该图像中所含表皮损伤的边界框坐标和分类标签)，标注完成后所有的图像及其属性文件共同构成图像数据集；并对边界框的尺度大小和高宽比信息进行统计。
S2.3对步骤S2.2数据集中图像使用随机水平翻转、随机竖直翻转、尺度变换、平移变换进行数据增强，将增强后的数据集随机按照7:3的比例划分为训练集和测试集。
优选的，所述目标检测模块包括如下步骤：
S3.1构建改进的Faster RCNN鸡胴体缺陷目标检测网络模型。如图3所示，对Faster RCNN做如下改进：
1)使用ResNet50-FPN作为改进Faster RCNN的特征提取骨干网络。ResNet50是由50层卷积层和全连接层组成的深度卷积神经网络，ResNet50分为5个阶段，第1阶段是单个7×7卷积层和3×3池化层，用于提取图像的低层特征。其余4个阶段分别由3个残差块、4个残差块、6个残差块、3个残差块组成，用于提取抽象的和高层次的特征。其中残差块由3个卷积层和1个跳跃连接组成，跳跃连接允许信息在残差块中直接流通而不受到多次卷积的影响，避免了信息丢失和退化，解决了深度神经网络中出现的梯度消失和梯度爆炸问题。FPN是一种用于目标检测的神经网络结构，其与ResNet50结合的特征提取网络能够提高对鸡胴体小缺陷目标的检测能力。如图3中FPN所示，结合方法为ResNet50每个阶段生成的特征图由FPN经过下采样和上采样的操作采集到两组不同分辨率的特征图，再使用横向连接的方式将两组特征图结合起来生成一组多尺度的特征图，这些特征图用于后续的目标检测任务中。
2)鉴于鸡胴体的表皮损伤缺陷在整幅图像中属于小目标，小目标的检测更加依赖细节，但随着网络深度的加深可能会丢失一些低层的小细节特征，因此在ResNet50的第5阶段加入PSA注意力模块，使网络关注和保留鸡胴体缺陷小目标的细节特征，提高模型检测小目标的能力。具体实现为：将Conv5_x中bottleneck部分3×3卷积部分替换为PSA模块。如图4所示PSA模块首先利用SPC模块对特征通道切分和特征提取；其次利用SEWeight模块提取通道注意力向量；然后利用Softmax对注意力向量进行特征重新标定，得到注意力权重；最后对校准的权重和特征图进行点乘并输出。
3)根据步骤S2.2中目标尺度分布特点重新设置适合鸡胴体缺陷的Anchor尺度。Anchor是一种预定义尺寸和长宽比的候选框，用于在图像中提取目标的位置和大小信息。从步骤S2.2中的边界框尺度统计信息可以发现表皮破损的尺寸小于60×30的目标数量较多，因此设置了面积尺度{202,402,602,802,1002}和宽高比{1∶1，1.2∶1，1∶1.2}用于生成Anchor。使RPN网络中的Anchor生成尺度适合鸡胴体缺陷的目标，避免漏检和误检，提高目标检测精度和效率。
S3.2使用图像处理与数据集制作模块中的训练集图像对网络进行训练。
1)首先设置网络初始参数，输入尺寸为960×1292的图像，用特征提取骨干网络提取图片特征与RPN生成的候选框特征，将提取的特征输入到分类网络和回归网络中，此过程为一次前向传播。
2)然后计算分类损失和边界框回归损失，并将两个损失函数相加，得到多任务损失。计算公式为：
3)之后采用随机梯度下降算法更新网络模型的参数以最小化多任务损失，此过程为一次反向传播过程。不断重复以上步骤，直到网络收敛。保存训练中准确率最高的网络模型作为最优网络模型。
S3.3使用步骤S3.2中保存的最优网络模型进行鸡胴体表皮损伤缺陷目标检测，将测试集中的图像输入到训练好的模型中，输出包含边界框和置信度的表皮损伤图像如图2d所示。若检测到图像存在缺陷，则将图像输入到语义分割模块。
优选的，所述语义分割模块包括如下步骤：
S4.1构建针对鸡胴体表皮损伤的数据集。基于步骤S3.3由Faster RCNN网络检测鸡胴体图像所产生的边界框及其位置坐标[x,y,w,h]得到其边界框区域图像，其中坐标零点为边界框的左上角，(x,y)为边界框中心点的相对坐标，w是边界框的相对宽度，h是边界框的相对高度。
使用Labelme图像标注软件对边界框图像里的缺陷进行标注，将含有标注信息的数据集按8：1：1的比例分为训练集、验证集与测试集。
S4.2构建改进的U-net鸡胴体缺陷分割网络模型，该模型算法采用对称的编码解码结构如附图5所示，其编码器遵循典型的卷积结构，在原有U-net网络的基础上将其最大池化层改进为残差金字塔池化层。其中，改进的残差金字塔池化层位于U-net编码器结构中卷积层的后面，残差金字塔池化层再加上前面两个3×3卷积层以及激活函数组成一个下采样模块，在U-net编码器结构中共有四个下采样模块，最后经过两次卷积后将得到的特征图送入解码器中。其中下采样模块在融入改进的残差金字塔池化层后增强了整体网络模型对鸡胴体损伤图像的特征拾取能力，同时提高了对损伤部位的识别精度。
残差金字塔池化层的结构如附图6所示，首先对卷积层输入的特征使用全局最大池化，将卷积后64×64的特征映射到1×1、4×4、8×8、16×16这4种不同的金字塔尺度中；再利用1×1卷积进行特征提取，对每个金字塔池化特征的内部进行跨通道的信息传递，然后运用双线性差值法将四个不同尺度的特征上采样，使其与原始输入特征大小相同，以便进行多层次特征的通道连接。设双线性差值后的特征函数f在点P＝(x，y)上，上述四个不同尺度的特征像素点分别为Q11＝(x1，y1)、Q12＝(x1，y2)、Q21＝(x2，y1)、Q22＝(x2，y2)。首先在x方向进行线性差值即：
然后在y方向进行线性插值，得到
综上可得双线性差值后的特征函数结果为：
最后将下采样后不同层次的特征以及原始的输入特征相连接为最终的金字塔池化全局特征，并通过1×1卷积，然后将鸡胴体缺陷信息送入解码器中并最终完成缺陷的像素级分割。
鉴于鸡胴体损伤的不规则性，该残差金字塔池化结构通过最大池化构造了四种不同尺度的感受野以检测不同大小的鸡胴体损伤特征，通过金字塔池化内部的1×1卷积将鸡胴体的损伤信息进行跨通道交融，然后利用双线性差值将不同尺度的特征进行归一化后可与原始输入的特征进行残差融合，其最终映射的金字塔全局特征能充分结合鸡胴体损伤的有效信息进行合理分割，尽可能保证损伤区域分割的完整性。
S4.3训练改进的U-net缺陷分割网络。设置网络模型初始的参数：输入图像尺寸为640×640、batchsize＝6、lr＝0.00003、epoch＝100，采用Adam优化器进行参数优化，不断更新网络层参数，当训练达到最大训练轮数时，网络模型收敛，训练结束，将训练集准确率最高的网络模型保存为最优模型。采用不同的指标分别对U-net缺陷分割网络的性能进行了评价。平均像素精度(MPA)是正确分类像素的数量与像素总数的比率。平均交并比(MIOU)是分割的真实值和预测值的交集和并集的比值。MPA和MIOU能很好的评价网络模型的分割性能，其计算公式如下：
其中，Pii表示类别i也被预测为类别i，Pij表示类别i被预测为类别j,n表示分割任务中的类别数。
将步骤S4.1划分的测试集输入到最优的缺陷分割网络模型中进行测试，对鸡胴体损伤的分割结果如下表所示：
根据测试结果可知，改进后的U-net分割算法在各项指标上对于不同的损伤缺陷都取得了很好的分割效果，其中分割效果如附图2e所示。
应当理解的是，本说明书未详细阐述的内容属于现有技术。对本领域的普通技术人员应当理解：其可以对本发明的技术方案进行修改或者替换，但是凡在本发明的精神和原则内所作的任何修改，替换，改进等均应在本发明的保护范围。
Claims (3)
1.一种基于深度学习的鸡胴体缺陷高光谱图像检测方法，其特征在于，步骤如下：
鸡胴体缺陷高光谱图像检测方法包括高光谱数据处理模块、图像处理与数据集制作模块、目标检测模块、语义分割模块；
（1）高光谱数据处理模块，获取与处理鸡胴体缺陷高光谱图像数据；
S1.1使用高光谱相机采集鸡胴体的高光谱图像；
S1.2数据预处理：对高光谱图像进行黑白校正，消除噪声暗电流的干扰，并采集鸡胴体表皮的光谱数据；
S1.3对步骤S1.2中提取到的光谱数据进行特征波段选择，采用最大差值波段选择方法选出鸡胴体体表有损伤与无损伤对比最明显的波段及其图像；
（2）图像处理与数据集制作模块，对高光谱数据处理模块输出的原始图像进行图像处理，并完成目标检测模型数据集制作；
S2.1将步骤S1.3中输出的图像进行预处理，去掉鸡胴体背景的噪声、干扰信息以及其他影响目标检测准确性的因素；
S2.2使用图像标注工具LabelImg对步骤S2.1处理后的图像进行标注，其中每个图像标注后都会产生一个包含该图像中所含表皮损伤的边界框坐标和分类标签属性文件，标注完成后所有的图像及其属性文件共同构成图像数据集；统计标注时边界框的尺度分布情况，包括尺度大小和高宽比，为目标检测模型设计针对鸡胴体缺陷的Anchor提供参考信息；
S2.3对步骤S2.2中图像数据集进行数据增强，提高模型的泛化能力；将数据增强后的数据集随机按照7:3的比例划分为训练集和测试集；
（3）目标检测模块，使用改进的Faster RCNN网络模型进行鸡胴体缺陷目标检测；
S3.1构建改进的Faster RCNN鸡胴体缺陷目标检测网络模型；改进的Faster RCNN鸡胴体缺陷目标检测网络模型即采用ResNet50-FPN作为特征提取骨干网络，其中在ResNet50第五阶段的残差块部分用PSA注意力模块取代原有的3×3卷积，然后ResNet50与FPN通过横向连接的方式将各自的特征图结合起来生成一组多尺度特征图用于后续处理；
S3.2使用图像处理与数据集制作模块中的训练集图像对改进的Faster RCNN鸡胴体缺陷目标检测网络模型进行训练，将训练时准确率最高的网络模型保存为最优网络模型；
S3.3使用步骤S3.2中保存的最优网络模型对鸡胴体表皮损伤缺陷进行目标检测，最终得到框有缺陷的图像，用于后续语义分割模块对缺陷进行精准分割；
（4）语义分割模块，使用改进的U-net鸡胴体缺陷分割网络模型，针对目标检测模块输出的图像中边界框框选的缺陷进行精准分割；
S4.1构建数据集，根据步骤S3.3中最优网络模型检测鸡胴体缺陷获得的边界框坐标[x, y, w, h]得到其边界框区域图像；对边界框区域图像里的缺陷进行标注，构成含有标注信息的数据集；
S4.2构建改进的U-net鸡胴体缺陷分割网络模型，将U-net网络原有的最大池化层改进为残差金字塔池化层；该残差金字塔池化层的结构通过最大池化构造4种尺度的感受野以检测不同大小的鸡胴体损伤特征，通过金字塔池化内部的1×1卷积将跨通道的信息进行交融，然后利用双线性差值将不同尺度的特征进行归一化后与原始输入特征进行残差融合，最终通过1×1卷积将全局特征映射为原始输入特征的大小；
S4.3训练改进的U-net鸡胴体缺陷分割网络模型，将训练集准确率最高的网络模型保存为最优模型。
2.根据权利要求1所述的基于深度学习的鸡胴体缺陷高光谱图像检测方法，其特征在于，步骤S3.1中，改进Faster RCNN模型的RPN网络在改进的Faster RCNN鸡胴体缺陷目标检测网络模型的RPN网络部分，将原Faster RCNN网络中Anchor尺度替换成面积尺度为{202,402,602,802,1002}和宽高比例为{1∶1，1.2∶1，1∶1.2}的新尺度，新尺度是由步骤S2.2中的参考信息分析所得。
3.根据权利要求1所述的基于深度学习的鸡胴体缺陷高光谱图像检测方法，其特征在于，步骤S4.2中，改进的残差金字塔池化层位于U-net编码器结构中卷积层的后面；残差金字塔池化层再加上前面两个3×3卷积层以及激活函数，组成一个下采样模块，在U-net编码器结构中共有四个下采样模块，最后经过两次卷积后直接将得到的特征图送入解码器中，其最终映射的金字塔全局特征能充分结合鸡胴体损伤的有效信息进行合理分割，保证损伤区域分割的完整性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310502718.XA CN116563237B (zh) | 2023-05-06 | 2023-05-06 | 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310502718.XA CN116563237B (zh) | 2023-05-06 | 2023-05-06 | 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563237A CN116563237A (zh) | 2023-08-08 |
| CN116563237B true CN116563237B (zh) | 2023-10-20 |
Family
ID=87487365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310502718.XA Active CN116563237B (zh) | 2023-05-06 | 2023-05-06 | 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563237B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101650317A (zh) * | 2009-09-15 | 2010-02-17 | 南京农业大学 | 鸡胴体表面污染物的检测方法 |
| CN109377517A (zh) * | 2018-10-18 | 2019-02-22 | 哈尔滨工程大学 | 一种基于视频追踪技术的动物个体识别系统 |
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
| CN114202002A (zh) * | 2021-07-19 | 2022-03-18 | 重庆大学 | 一种基于改进FasterRCNN算法的肺结节检测装置 |
| CN114419413A (zh) * | 2022-01-12 | 2022-04-29 | 国网河南省电力公司电力科学研究院 | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 |
| CN114663380A (zh) * | 2022-03-17 | 2022-06-24 | 合肥学院 | 一种铝材表面缺陷检测方法、存储介质及计算机系统 |
| CN114677671A (zh) * | 2022-02-18 | 2022-06-28 | 深圳大学 | 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法 |
| CN114742803A (zh) * | 2022-04-20 | 2022-07-12 | 大连工业大学 | 一种结合深度学习与数字图像处理算法的血小板聚集检测方法 |
| WO2022148109A1 (zh) * | 2021-01-05 | 2022-07-14 | 歌尔股份有限公司 | 产品缺陷检测方法、装置、设备及计算机可读存储介质 |
| CN114820579A (zh) * | 2022-05-27 | 2022-07-29 | 广东工业大学 | 一种基于语义分割的图像复合缺陷的检测方法及系统 |
| CN114937206A (zh) * | 2022-06-15 | 2022-08-23 | 西安电子科技大学 | 基于迁移学习和语义分割的高光谱图像目标检测方法 |
| CN115205303A (zh) * | 2022-07-13 | 2022-10-18 | 河南科技学院 | 一种猪胴体切块机器人分割面自主生成方法 |
| CN115661777A (zh) * | 2022-11-03 | 2023-01-31 | 西安邮电大学 | 一种联合语义的雾天道路目标检测算法 |
| CN115661072A (zh) * | 2022-10-25 | 2023-01-31 | 山东省计算中心（国家超级计算济南中心） | 一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法 |
| WO2023039609A1 (en) * | 2021-09-13 | 2023-03-16 | Board Of Trustees Of The University Of Arkansas | Systems and processes for detection, segmentation, and classification of poultry carcass parts and defects |
| CN115908274A (zh) * | 2022-10-27 | 2023-04-04 | 成都东区爱尔眼科医院有限公司 | 一种病灶检测的装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699869A (zh) * | 2020-12-17 | 2021-04-23 | 深圳视见医疗科技有限公司 | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 |
-
2023
- 2023-05-06 CN CN202310502718.XA patent/CN116563237B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101650317A (zh) * | 2009-09-15 | 2010-02-17 | 南京农业大学 | 鸡胴体表面污染物的检测方法 |
| CN109377517A (zh) * | 2018-10-18 | 2019-02-22 | 哈尔滨工程大学 | 一种基于视频追踪技术的动物个体识别系统 |
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
| WO2022148109A1 (zh) * | 2021-01-05 | 2022-07-14 | 歌尔股份有限公司 | 产品缺陷检测方法、装置、设备及计算机可读存储介质 |
| CN114202002A (zh) * | 2021-07-19 | 2022-03-18 | 重庆大学 | 一种基于改进FasterRCNN算法的肺结节检测装置 |
| WO2023039609A1 (en) * | 2021-09-13 | 2023-03-16 | Board Of Trustees Of The University Of Arkansas | Systems and processes for detection, segmentation, and classification of poultry carcass parts and defects |
| CN114419413A (zh) * | 2022-01-12 | 2022-04-29 | 国网河南省电力公司电力科学研究院 | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 |
| CN114677671A (zh) * | 2022-02-18 | 2022-06-28 | 深圳大学 | 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法 |
| CN114663380A (zh) * | 2022-03-17 | 2022-06-24 | 合肥学院 | 一种铝材表面缺陷检测方法、存储介质及计算机系统 |
| CN114742803A (zh) * | 2022-04-20 | 2022-07-12 | 大连工业大学 | 一种结合深度学习与数字图像处理算法的血小板聚集检测方法 |
| CN114820579A (zh) * | 2022-05-27 | 2022-07-29 | 广东工业大学 | 一种基于语义分割的图像复合缺陷的检测方法及系统 |
| CN114937206A (zh) * | 2022-06-15 | 2022-08-23 | 西安电子科技大学 | 基于迁移学习和语义分割的高光谱图像目标检测方法 |
| CN115205303A (zh) * | 2022-07-13 | 2022-10-18 | 河南科技学院 | 一种猪胴体切块机器人分割面自主生成方法 |
| CN115661072A (zh) * | 2022-10-25 | 2023-01-31 | 山东省计算中心（国家超级计算济南中心） | 一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法 |
| CN115908274A (zh) * | 2022-10-27 | 2023-04-04 | 成都东区爱尔眼科医院有限公司 | 一种病灶检测的装置、设备及介质 |
| CN115661777A (zh) * | 2022-11-03 | 2023-01-31 | 西安邮电大学 | 一种联合语义的雾天道路目标检测算法 |
Non-Patent Citations (4)
| Title |
|---|
| Detection of abnormal chicken droppings based on improved Faster R-CNN;Zhou M 等;《international journal of agriculture and biological engineering》;第16卷;243-249 * |
| 基于机器视觉的淡水鱼去鳞损伤无损检测识别方法;王慧慧 等;《食品工业》;第41卷(第2020（03）期);184-187 * |
| 基于高光谱成像的家禽胴体表面污染检测方法研究;吴威;《中国博士学位论文全文数据库农业科技辑》(第2019（07）期);D050-31 * |
| 鸡胴体表面低可见污染物的双波段检测方法研究;陈桂云 等;《光谱学与光谱分析》(第12期);3363-3367 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563237A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533084B (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
| CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN115063421B (zh) | 极片区域检测方法及系统及装置及介质及缺陷检测方法 | |
| CN113554631B (zh) | 一种基于改进网络的芯片表面缺陷检测方法 | |
| GB2478593A (en) | Segmentation of cell nuclei in histological sections | |
| CN111462076A (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
| CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| CN113240626A (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN114495098B (zh) | 一种基于显微镜图像的盘星藻类细胞统计方法及系统 | |
| CN110570442A (zh) | 一种复杂背景下轮廓检测方法、终端设备及存储介质 | |
| CN113962976A (zh) | 用于病理玻片数字图像的质量评估方法 | |
| CN111353992B (zh) | 一种基于纹理特征的农产品缺陷检测方法及系统 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
| CN116563237B (zh) | 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN114626445B (zh) | 基于光流网络与高斯背景建模的大坝白蚁视频识别方法 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN116258664A (zh) | 一种基于深度学习的光伏电池片智能缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |