CN116596999B - 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 - Google Patents
一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 Download PDFInfo
- Publication number
- CN116596999B CN116596999B CN202310421277.0A CN202310421277A CN116596999B CN 116596999 B CN116596999 B CN 116596999B CN 202310421277 A CN202310421277 A CN 202310421277A CN 116596999 B CN116596999 B CN 116596999B
- Authority
- CN
- China
- Prior art keywords
- module
- chest
- image
- point
- pig carcass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 title claims abstract description 16
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 210000000038 chest Anatomy 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 210000000115 thoracic cavity Anatomy 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 235000015277 pork Nutrition 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 210000001562 sternum Anatomy 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000008280 blood Substances 0.000 abstract description 3
- 210000004369 blood Anatomy 0.000 abstract description 3
- 238000012994 industrial processing Methods 0.000 abstract description 3
- 235000013305 food Nutrition 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 235000013372 meat Nutrition 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282887 Suidae Species 0.000 description 1
- 210000000593 adipose tissue white Anatomy 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 235000013622 meat product Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000013594 poultry meat Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于食品工业化、计算机视觉领域，公开了一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法。该方法通过结合深度学习和数字图像处理技术，设计了注意力融合模块用以增强后续模型特征提取能力，构建了融合注意力猪胴体胸腔分割模型，设计了特征解析模块，解析特征点位置，计算肋骨间距，定位背膘厚度测量位置。本方法智能分割胸腔图像，并自动定位背膘厚度测量位置，可避免血污、附着物等复杂因素干扰，提高定位精度，提高猪胴体工业加工中自动化程度。
Description
技术领域
本发明属于食品工业化、计算机视觉领域，涉及一种猪胴体背膘厚度测量位置自动定位方法，具体涉及一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法。
背景技术
中国是世界猪肉生产与消费第一大国，每年全球生产的猪肉一半以上来自中国，猪肉位列肉类消费第一位，是中国最重要的肉类消费品。猪肉质量品质受到肉制品加工企业及消费者的广泛关注，随着居民收入与城市化建设水平的提升，人们对于猪肉品质的要求也不断提高。猪胴体分级是确保猪肉生产者与屠宰商之间的公平交易、提升透明度以及使市场标准化的有效手段。猪肉背膘厚度是猪胴体分级过程中重要的参考指标，根据SB/T10656-2012《猪肉分级》标准，猪肉背膘厚度是指第六肋骨和第七肋骨中间平行至第六胸椎棘突前下方位置背膘的厚度。猪肉背膘的测量位置由第六肋骨和第七肋骨位置确定，准确定位测量位置是测量背膘厚度的前提，实现猪胴体自动分级所面临的首要问题就是如何自动定位背膘测量位置，同时自动定位背膘厚度测量位置也是猪胴体自动分级过程中最为复杂的技术难点。由于猪的前两根肋骨较短，会被肉覆盖无法识别，部分肋骨由于脂肪层较厚也难以区分，故难以通过直接计数肋骨的方式定位背膘测量位置。根据猪的解剖学原理，猪第七肋骨与胸骨末端连接，该部位在猪肉二分体剖面图中具有显著特征即该部位胸腔呈外凸状，该特征部位称之为特征点，通过定位特征点即可确定猪肉背膘的测量位置。
传统的猪肉背膘厚度测量方法有探针测量法和人工直尺测量，其中探针测量法工作强度大，效率低下，不适用于现代工业生产环境；人工直尺测量存在很强的主观随意性和不确定性，使得猪肉交易活动缺乏有效的公正性，不利于市场交易。
随着新一代计算机技术的发展，机器视觉、深度学习和图像处理等新兴技术在各行各业得到广泛应用，提高了各行业的发展水平，目前将图像处理相关技术应用于畜禽肉分级尚处于初级发展阶段，多数应用只通过单一的数字图像处理算法中颜色阈值分割方法进行简单的处理，仅适用于特定环境下的背膘厚度检测，光照条件改变或血污物遮挡会造成很大的影响。专利《一种用于对猪胴体膘厚进行测量的方法及其相关产品》(CN114708233 A)中提出一种图像识别模型确定膘厚测量位置的方法，该方法概括指出基于卷积神经网络配合全连接网络实现测量位置定位，而卷积神经网络配合全连接网络概念宽泛，其中如AlexNet、VGG等模型是无法直接给出具体的像素坐标的。
为提高猪肉二分体背膘厚度检测的效率、准确性与客观性，减少人工测量引入的主观误差，提高猪胴体工业加工中自动化程度，本发明参考猪肉分级标准中提出的检测位置，提出了一种猪胴体背膘厚度测量位置自动定位方法。本发明构建了融合注意力猪胴体胸腔分割模型，目的是提取胸腔的掩膜图像，然后基于猪的解剖学中第7肋骨的位置，结合复杂的数字图像处理方法设计了特征解析模块，在胸腔掩膜图像基础上进一步实现肋骨斜率、间距信息以及胸腔轮廓特征点的识别，进而计算得到猪胴体背膘厚度测量位置，其中融合注意力猪胴体胸腔分割模型，其网络结构未采用全连接网络，而是采用全卷积神经网络构建，能够为后续图像处理提供更精准的胸腔掩膜，保证自动、精准的实现猪胴体背膘厚度测量位置定位。
发明内容
本发明为解决传统猪胴体背膘厚度测量方法中效率低、效果差且缺乏客观性等问题，提供一种猪胴体背膘厚度测量位置自动定位方法。
本发明的技术方案：
一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法，步骤如下：
步骤1：通过图像采集设备获取猪肉二分体剖面的图像数据，并将数据预处理为深度学习输入所需要的数据集；
步骤2：基于SE模块与AG模块设计注意力融合模块以增强特征提取能力；
步骤3：在U-Net网络结构中引入注意力融合模块，构建融合注意力猪胴体胸腔分割模型；
步骤4：设计特征解析模块，解析特征点位置，计算肋骨间距，定位背膘厚度测量位置；
步骤5：对分割模型及背膘厚度测量位置定位准确性进行测试和评估。
所述步骤1中，猪肉二分体为猪胴体沿着脊柱中线纵向锯成两半。所述数据预处理包括如下步骤：
1-1、调整图像尺寸，原始图像为宽、高为3500×3000的三通道数据，以宽为边长将图片填充为3500×3500的正方形，然后缩放为250×250的三通道数据；
1-2、标注多边形掩膜图像，掩膜图像内容包括背景、胸腔以及肋骨，其中背景像素值为0，肋骨像素值为255，除肋骨外的胸腔区域像素值为125。
所述步骤2中，猪二分体胸腔区域分割任务中，不仅血污、附着物等无关特征会产生干扰，而且胸腔区域多为白色脂肪层覆盖，而关键特征点附近也有直接裸露的红色肌肉属于胸腔区域，在分割过程此肌肉部分像素容易与背景像素产生混淆。针对以上问题，基于压缩和激励(Squeeze and Excitation，SE)模块与注意力引导(Attention Gate，AG)模块设计了注意力融合模块，SE模块与AG模块为并联连接，数据集中的猪肉二分体图像输入到U-Net后，编码网络中每层下采样之前的卷积特征图为SE模块的输入，SE模块对输入的特征图先采取全局平均池化得到一个1×1×c的向量，c为输入特征图的通道数，只留下各通道的维度信息，然后通过自学习得到每个通道的权重，最后卷积特征图与对应的通道权重相乘得到加权后的特征图；AG模块的输入除编码网络中每层下采样之前的卷积特征图之外，还引入了编码网络对应层的解码网络中上采样之前的高维特征图，高维特征图作为AG门控信号对编码网络中的低维卷积特征图进行指导，由于高维特征图尺寸较小，需要将高维特征图上采样至与输入卷积特征图相同尺寸，并将上采样后的高维特征图与输入卷积特征图相加，然后进行卷积激活操作，最后将结果与输入的卷积特征图逐点相乘得到加权后的特征图。
所述步骤3中，以U-Net为主干网络，引入步骤2所述注意力融合模块，每层卷积特征经过注意力融合模块SE部分后再进行下采样，相同的卷积特征经过注意力融合模块AG部分后通过每层跳跃连接路径拼接到U-Net解码网络中，并将解码网络中对应层的特征作为高维特征信息输入到注意力融合模块的AG部分中，对跳跃连接路径上的信息做指导。综上所述，构建完成的融合注意力猪胴体胸腔分割模型由Unet卷积块、注意力融合模块、下采样、上采样、跳跃连接以及AG信号组成，利用步骤1制作的数据集对融合注意力猪胴体胸腔分割模型进行训练，模型训练完成后可实现对猪胴体的胸腔识别与分割，得到猪胴体胸腔掩膜图像。
所述步骤4中，特征解析模块包括胸腔轮廓检测单元、特征点定位单元、肋骨提取单元和测量位置定位单元，其中，
所述胸腔轮廓检测单元通过边缘检测方法检测掩膜中胸腔区域的轮廓，得到数据集中猪肉二分体图像胸腔部位的轮廓坐标集合，通过遍历的方式的得到轮廓的顶部点和底部点，将胸腔轮廓切分为胸骨侧和胸椎侧两个集合。
所述特征点定位单元以滑动窗口的方式遍历胸骨侧轮廓坐标点集合，计算窗口两端的坐标点所构成直线的斜率，其中斜率最大的直线所对应的两点中位于窗口左端的点为特征点。
所述肋骨提取单元通过概率霍夫直线检测将肋骨细化为一条线段，计算所有线段的斜率以及相邻两直线之间的间距，得到肋骨的平均斜率和间距。
所述测量位置定位单元通过遍历胸椎侧坐标点集合找到定位点，该定位点与特征点构成的直线斜率与肋骨斜率相同，定位点根据肋骨间距在纵坐标上向下偏移即得到了背膘厚度测量位置。
本发明的有益效果：
(1)在U-Net网络结构中引入注意力融合模块构建融合注意力猪胴体胸腔分割模型，充分提取各通道间的特征信息，提高胸腔区域的分割精度，并通过注意力融合模块中注意力机制对跳跃连接层中感兴趣区域加权，实现减少冗余信息提高模型收敛速度的目的，提高了胸腔区域的分割效果，为后续图像处理奠定基础。
(2)设计特征解析模块，通过寻找胸骨末端特征点结合肋骨斜率与间距信息定位猪胴体背膘厚度测量位置，可显著提高检测效率，并且通过定位特征点方式测量背膘厚度结果更为准确客观。与传统方法相比通过分割胸腔掩膜结合数字图像定位测量位置的方法具有更强的普适性，更适用于复杂的生产环境，且定位结果更准确。
附图说明
图1是本发明实施例流程示意图。
图2a是本发明实施例中猪肉二分体剖面图像。
图2b是本发明实施例中猪肉二分体分割后可视化效果图。
图2c是本发明实施例中边缘检测、肋骨细化以及特征点标注可视化效果图。
图2d是本发明实施例中由特征点定位测量位置的图像。
图3是本发明中改进的U-Net网络整体结构图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明，但本发明的保护范围不限于下述的实施例。
本发明提出的一种猪胴体测量位置自动定位方法，如图1所示，本实施例的技术方案包括以下步骤：
步骤1：通过图像采集设备获取猪肉二分体剖面的图像数据，并将数据转换为深度学习输入所需要的数据集。于猪肉生产工作间中采集猪肉二分体剖面图像共450张，按7:3的比例划分为训练集与测试集。如图2a所示，采集的猪肉二分体剖面图像中可明显分辨出胸腔以及背膘。为加快模型的训练速度，调整图像尺寸，原始图像为宽、高为3500×3000的三通道数据，以宽为边长将图片填充为3500×3500的正方形，然后缩放为250×250的三通道数据。
使用多边形标注工具，将猪肉二分体剖面图像中胸腔区域进行标注；根据标注信息生成掩膜图像，该掩模图像肋骨区域像素设为255，除肋骨外胸腔内其他区域像素设为125，胸腔外背景像素设为0，由于猪前两根肋骨较短，会被肉覆盖无法识别，部分肋骨由于脂肪层较厚也难以区分，故胸腔掩膜中并未包含全部肋骨。
步骤2：基于SE模块与AG模块设计注意力融合模块以增强特征提取能力，针对猪二分体胸腔区域分割任务中血污、附着物等复杂因素的干扰以及关键特征点处脂肪层与肌肉交界的像素易混淆的问题，基于压缩和激励(Squeeze and Excitation，SE)模块与注意力引导(Attention Gate，AG)模块设计了注意力融合模块，SE模块与AG模块为并联连接，其输入都是数据集中猪肉二分体图像输入到U-Net后在编码网络中每层下采样之前的卷积特征图，SE模块对输入的特征图先采取全局平均池化得到一个1×1×c的向量，c为输入特征图的通道数，只留下各通道的维度信息，然后通过自学习得到每个通道的权重，最后卷积特征图与对应的通道权重相乘得到加权后的特征图；AG模块的输入除编码网络中每层下采样之前的卷积特征图之外，还引入了编码网络对应层的解码网络中上采样之前的高维特征图，高维特征图作为AG门控信号对编码网络中的低维卷积特征图进行指导，将高维特征图上采样至与输入卷积特征图相同尺寸并与卷积特征图相加，然后进行卷积激活操作，最后将结果与输入的卷积特征图逐点相乘得到加权后的特征图。
步骤3：在U-Net网络结构中引入注意力融合模块构建融合注意力猪胴体胸腔分割模型，分割结果如图2b所示。本实施例中所设计的融合注意力猪胴体胸腔分割模型网络整体结构如图3所示，在原始U-Net网络结构的基础上，加入注意力融合模块，U-Net网络结构呈U字型，其左侧为编码网络，右侧为解码网络，U-Net网络的每层Unet卷积块对来自上一层的数据进行特征提取，Unet卷积块提取到的特征经过下采样后送入下一层Unet卷积块，在编码网络中每个下采样之前插入注意力融合模块，注意力融合模块分为S和A两个单元，其中S单元为SE模块，A单元为AG模块，注意力融合模块输入为编码网络中卷积块输出的卷积特征图，经过注意力融合模块S单元后的特征进行下采样，送入下一层卷积块中；A单元的输入为编码网络中的卷积特征图和对应解码网络中的高维特征，A单元的输出结果通过跳跃连接路径与解码网络中的对应层的特征拼接。构建完成的融合注意力猪胴体胸腔分割模型由Unet卷积块、注意力融合模块、下采样、上采样、跳跃连接以及AG信号组成，利用步骤1制作的数据集对融合注意力猪胴体胸腔分割模型进行训练，模型训练完成后可实现对猪胴体的胸腔识别与分割，模型的输入为图2a所示猪二分体剖面图像，输出为图2b所示猪胴体胸腔掩膜图像。
步骤4：设计特征解析模块针对图2b所示分割掩膜图像，计算最终的背膘厚度测量位置，特征解析模块包括胸腔轮廓检测单元、特征点定位单元、肋骨提取单元和测量位置定位单元，其中各单元的构建方法以及在本实施例的实施步骤为，
步骤4-1：胸腔轮廓检测单元通过边缘检测方法检测掩膜中胸腔区域的轮廓，具体方法为：
对融合注意力猪胴体胸腔分割模型到的胸腔掩膜进行二值化处理，使用边缘检测算法得到猪肉二分体胸腔区域的边缘轮廓坐标点，对于语义分割结果出现错误的情况，掩膜图像中会有多个轮廓，通过计算每一个轮廓周长，只保留周长最大的轮廓，可过滤错误分割结果，轮廓可视化效果如图2c所示，以轮廓顶点与底部点之间的连线为分界线，划分为胸骨一侧即图2c右侧的轮廓点与胸椎骨一侧即图2c左侧的轮廓点，本实施例中得到胸骨一侧轮廓点形成的集合{(395,45),(394,46),…,(496,470)}。
步骤4-2：特征点定位单元通过滑动窗口的方式遍历胸骨侧轮廓坐标点集合以定位特征点，具体方法为：
在步骤4-1得到的胸骨一侧轮廓点集合中取两元素，计算两坐标间直线的斜率k，取另两个元素重复此步骤,直至计算完轮廓点集合中所有元素，最后在一系列k值中计算出最大值km，并最终定位特征点，本实施例中其具体过程为：取步骤4-1中胸骨一侧轮廓点集合首个元素(395,45)，间隔4像素点取另一个元素(391,48)，即可计算出两个元素之间连线的斜率然后取轮廓点集合中第二个元素(394,46)，间隔λ像素点取另一个元素(391,49)，计算出两个元素之间连线的斜率/>重复此步骤计算kn，得到一个由斜率k组成的序列，计算该序列中最大值km＝4，其对应元素(555,274)，如图2c中标注的P点所示，该元素即为特征点坐标。
步骤4-3：肋骨提取单元通过概率霍夫直线检测将肋骨细化为一条线段，计算识别肋骨，计算斜率与间距，具体方法为：
根据像素值提取掩膜图像中属于肋骨的像素，然后进行骨架提取将肋骨细化为如图2c所示宽度为1像素的线，通过概率霍夫直线检测获取肋骨细化后的线段两端点坐标，利用坐标计算每条直线的斜率以及他们之间的间距值，本实施例中所有直线斜率相加计算平均值ka＝0.349，所有相邻两直线间距值相加计算平均值ba＝33。
步骤4-4：所述测量位置定位单元通过遍历胸椎侧坐标点，结合特征点和肋骨斜率与间距信息定位背膘厚度测量位置，具体方法为：
如图2d所示，以特征点为参考点结合步骤4-3中得到的斜率与间距信息生成一条直线，构成该直线的像素点集合与步骤4-1中胸椎侧轮廓点集合的交集为一坐标点，该点所处水平坐标即为猪胴体背膘厚度测量位置。
步骤5：对分割模型及背膘厚度测量位置定位准确度进行测试和评估。为测试注意力融合模块在本实施例的分割任务中的效果，将原始U-Net神经网络及AG算法改进的U-Net与本申请所构建的融合注意力猪胴体胸腔分割模型分割结果进行比对测试。对测试集中的135张猪肉二分体剖面图像进行测试，猪胴体测量位置自动定位方法测试结果如下表1所示，其中平均交并比(MeanIntersection over Union，Miou)与Dice相似系数(DiceSimilariy Coefficient,DSC)是分割任务常用的评价指标，用以测试分割模型结果的精度，定位准确度是用以测试分割结果经过特征解析模块后得到的背膘厚度测量位置定位准确度，其标准为与人工标注的测量位置偏差在1厘米之内即为准确。
表1模型测试结果表
| 分割方法 | MIoU | Dice | 定位准确度 |
| 原始U-Net | 0.8524 | 0.8374 | 0.9259 |
| Attention U-Net | 0.8763 | 0.8711 | 0.9481 |
| 融合注意力猪胴体胸腔分割模型 | 0.9175 | 0.8925 | 0.9852 |
根据测试结果可知，加入AG算法后的网络在各项指标上都取得了提升，而结合U-Net和注意力融合模块构建的融合注意力猪胴体胸腔分割模型分割精度取得的最佳的效果，且最终的背膘厚度测量位置定位准确度也随之有一定程度的提升。
因此本发明采用上述一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法，从猪肉二分体图像中分割胸腔区域，并自动定位猪胴体背膘厚度测量位置，构建了融合注意力猪胴体胸腔分割模型，融合不同通道和不同维度的特征信息，有效提升模型的分割性能，并设计了特征解析模块，解析特征点位置，计算肋骨间距，实现自动定位背膘厚度测量位置，提高猪胴体工业加工中自动化程度。
Claims (2)
1.一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法，其特征在于，步骤如下：
步骤1：通过图像采集设备获取猪肉二分体剖面的图像数据，并将图像数据预处理为深度学习输入所需要的数据集；
步骤2：基于SE模块与AG模块设计注意力融合模块以增强特征提取能力；
基于SE模块与AG模块设计注意力融合模块，SE模块与AG模块为并联连接；数据集中猪肉二分体图像输入到U-Net网络后，编码网络中每层下采样之前的卷积特征图为SE模块的输入，SE模块对输入的卷积特征图先采取全局平均池化得到一个1×1×c的向量，c为输入特征图的通道数，只留下各通道的维度信息；然后通过自学习得到每个通道的权重，最后卷积特征图与对应的通道权重相乘得到加权后的特征图；AG模块的输入除编码网络中每层下采样之前的卷积特征图之外，还引入了编码网络对应层的解码网络中上采样之前的高维特征图，高维特征图作为AG门控信号对编码网络中的低维卷积特征图进行指导，并将上采样后的高维特征图与输入卷积特征图相加，然后进行卷积激活操作，最后将结果与输入的卷积特征图逐点相乘得到加权后的特征图；
步骤3：在U-Net网络结构中引入注意力融合模块，构建融合注意力猪胴体胸腔分割模型；
以U-Net为主干网络，引入步骤2设计的注意力融合模块；每层卷积特征图经过SE模块后再进行下采样，相同的卷积特征图经过AG模块后通过每层跳跃连接路径拼接到解码网络中，并将对应层的解码网络中上采样之前的高维特征图输入到AG模块中，对跳跃连接路径上的信息做指导；
构建完成的融合注意力猪胴体胸腔分割模型由Unet卷积块、注意力融合模块、下采样、上采样、跳跃连接以及AG信号组成，利用步骤1制作的数据集对融合注意力猪胴体胸腔分割模型进行训练，训练完成后实现对猪胴体的胸腔识别与分割，得到猪胴体胸腔掩膜图像；
步骤4：设计特征解析模块，解析特征点位置，计算肋骨间距和定位背膘厚度测量位置；
特征解析模块包括胸腔轮廓检测单元、特征点定位单元、肋骨提取单元和测量位置定位单元，其中，
胸腔轮廓检测单元通过边缘检测方法检测掩膜中胸腔区域的轮廓，得到数据集中猪肉二分体图像胸腔部位的轮廓坐标集合，通过遍历的方式的得到轮廓的顶部点和底部点，将胸腔轮廓切分为胸骨侧和胸椎侧两个集合；
特征点定位单元以滑动窗口的方式遍历胸骨侧轮廓坐标点集合，计算窗口两端的坐标点所构成直线的斜率，其中斜率最大的直线所对应的两点中位于窗口左端的点为特征点；
肋骨提取单元通过概率霍夫直线检测将肋骨细化为一条线段，计算所有线段的斜率以及相邻两直线之间的间距，得到肋骨的平均斜率和间距；
测量位置定位单元通过遍历胸椎侧坐标点集合找到定位点，该定位点与特征点构成的直线斜率与肋骨斜率相同，定位点根据肋骨间距在纵坐标上向下偏移即得到了背膘厚度测量位置；
步骤5：对分割模型及背膘厚度测量位置定位准确性进行测试和评估。
2.根据权利要求1所述的深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法，其特征在于，
步骤1中，猪肉二分体为猪胴体沿着脊柱中线纵向锯成两半；
数据预处理包括如下步骤：
1-1、调整图像尺寸，原始图像为宽、高为3500×3000的三通道数据，以宽为边长将图片填充为3500×3500的正方形，然后缩放为250×250的三通道数据；
1-2、标注多边形掩膜图像，掩膜图像内容包括背景、胸腔以及肋骨，其中背景像素值为0，肋骨像素值为255，除肋骨外的胸腔区域像素值为125。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310421277.0A CN116596999B (zh) | 2023-04-19 | 2023-04-19 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310421277.0A CN116596999B (zh) | 2023-04-19 | 2023-04-19 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116596999A CN116596999A (zh) | 2023-08-15 |
| CN116596999B true CN116596999B (zh) | 2024-04-05 |
Family
ID=87599826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310421277.0A Active CN116596999B (zh) | 2023-04-19 | 2023-04-19 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596999B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090049487A (ko) * | 2007-11-13 | 2009-05-18 | 성균관대학교산학협력단 | 닭도체의 품질등급 자동 판정 및 중량 산출시스템 |
| CN105651776A (zh) * | 2015-12-30 | 2016-06-08 | 中国农业大学 | 基于计算机视觉的牛胴体产肉量自动分级装置与方法 |
| CN111439259A (zh) * | 2020-03-23 | 2020-07-24 | 成都睿芯行科技有限公司 | 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 |
| CN112785617A (zh) * | 2021-02-23 | 2021-05-11 | 青岛科技大学 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
| CN113989353A (zh) * | 2021-09-18 | 2022-01-28 | 华南农业大学 | 一种猪只背膘厚度测定方法及系统 |
| CN114021741A (zh) * | 2021-09-23 | 2022-02-08 | 华能南京金陵发电有限公司 | 一种基于深度学习的光伏电池板巡检方法 |
| CN114708233A (zh) * | 2022-04-11 | 2022-07-05 | 牧原肉食品有限公司 | 一种用于对猪胴体膘厚进行测量的方法及其相关产品 |
| WO2022151535A1 (zh) * | 2021-01-15 | 2022-07-21 | 苏州大学 | 基于深度学习的人脸特征点检测方法 |
| CN114972362A (zh) * | 2022-05-11 | 2022-08-30 | 重庆理工大学 | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 |
| CN115984232A (zh) * | 2023-01-12 | 2023-04-18 | 大连工业大学 | 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 |
-
2023
- 2023-04-19 CN CN202310421277.0A patent/CN116596999B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090049487A (ko) * | 2007-11-13 | 2009-05-18 | 성균관대학교산학협력단 | 닭도체의 품질등급 자동 판정 및 중량 산출시스템 |
| CN105651776A (zh) * | 2015-12-30 | 2016-06-08 | 中国农业大学 | 基于计算机视觉的牛胴体产肉量自动分级装置与方法 |
| CN111439259A (zh) * | 2020-03-23 | 2020-07-24 | 成都睿芯行科技有限公司 | 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 |
| WO2022151535A1 (zh) * | 2021-01-15 | 2022-07-21 | 苏州大学 | 基于深度学习的人脸特征点检测方法 |
| CN112785617A (zh) * | 2021-02-23 | 2021-05-11 | 青岛科技大学 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
| CN113989353A (zh) * | 2021-09-18 | 2022-01-28 | 华南农业大学 | 一种猪只背膘厚度测定方法及系统 |
| CN114021741A (zh) * | 2021-09-23 | 2022-02-08 | 华能南京金陵发电有限公司 | 一种基于深度学习的光伏电池板巡检方法 |
| CN114708233A (zh) * | 2022-04-11 | 2022-07-05 | 牧原肉食品有限公司 | 一种用于对猪胴体膘厚进行测量的方法及其相关产品 |
| CN114972362A (zh) * | 2022-05-11 | 2022-08-30 | 重庆理工大学 | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 |
| CN115984232A (zh) * | 2023-01-12 | 2023-04-18 | 大连工业大学 | 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| APU-Net: An Attention Mechanism Parallel U-Net for Lung Tumor Segmentation;Tao Zhou等;《BioMed Research International》;20220509;第2022卷;1-15 * |
| 基于图像处理的肉质智能质检平台的设计与实现;陈永泽;《中国优秀硕士学位论文全文数据库：工程科技Ⅰ辑》;20230215(第2期);1-79 * |
| 基于机器视觉的海产品外观品质分级方法;邢士元等;《大连工业大学学报》;20170315;第36卷(第2期);147-150 * |
| 基于机器视觉的猪胴体背膘厚度在线检测技术;Li, Qing等;《Transactions of the Chinese Society of Agricultural Engineering》;20150901;第31卷(第18期);256-261 * |
| 基于深度神经网络的活体猪CT影像组织分割方法研究;朱静;《中国优秀硕士学位论文全文数据库：农业科技辑》;20220115(第1期);1-64 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116596999A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
| CN109523521A (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
| CN109190626A (zh) | 一种基于深度学习的多路径特征融合的语义分割方法 | |
| CN107464234B (zh) | 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法 | |
| CN102496023A (zh) | 像素层面的感兴趣区域提取方法 | |
| CN109685117B (zh) | 一种气液固三相体系中流动参数的图像测量方法 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| CN109671068A (zh) | 一种基于深度学习的腹部肌肉标注方法及装置 | |
| CN110176005A (zh) | 基于归一化指数和多尺度模型的遥感图像分割方法 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN109711378A (zh) | 人脸表情自动识别方法 | |
| CN116229265A (zh) | 一种自动无损提取大豆植株表型的方法 | |
| CN103839048B (zh) | 基于低秩分解的胃部ct图像淋巴结识别系统和方法 | |
| CN111968124A (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
| CN116468732A (zh) | 基于深度学习的肺部ct影像分割方法及成像方法 | |
| CN116596999B (zh) | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 | |
| CN112215285B (zh) | 一种基于跨媒体特征的眼底图像自动标注方法 | |
| CN107590806A (zh) | 一种基于大脑医学成像的检测方法和系统 | |
| CN109460781B (zh) | 一种基于决策树归纳学习的牛排等级划分方法 | |
| CN111724356A (zh) | 一种用于ct影像肺炎识别的图像处理方法和系统 | |
| CN111223113A (zh) | 基于双重密集上下文感知网络的核磁共振海马体分割算法 | |
| CN112001359B (zh) | 基于模式识别和最优分配的启发式多叉线修补方法 | |
| CN114066887B (zh) | 大米垩白区域检测方法、装置、设备及存储介质 | |
| CN111210436A (zh) | 晶状体分割方法、装置及存储介质 | |
| Hu et al. | Research on bamboo defect segmentation and classification based on improved U-net network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |