CN113052848A - 一种基于多尺度注意力网络的小鸡图像分割方法及系统 - Google Patents

一种基于多尺度注意力网络的小鸡图像分割方法及系统 Download PDF

Info

Publication number
CN113052848A
CN113052848A CN202110406817.9A CN202110406817A CN113052848A CN 113052848 A CN113052848 A CN 113052848A CN 202110406817 A CN202110406817 A CN 202110406817A CN 113052848 A CN113052848 A CN 113052848A
Authority
CN
China
Prior art keywords
scale
image
network
segmentation
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110406817.9A
Other languages
English (en)
Other versions
CN113052848B (zh
Inventor
李伟
黄艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110406817.9A priority Critical patent/CN113052848B/zh
Publication of CN113052848A publication Critical patent/CN113052848A/zh
Application granted granted Critical
Publication of CN113052848B publication Critical patent/CN113052848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多尺度注意力网络的小鸡图像分割方法及系统，包括：对获取的小鸡图像进行多尺度降采样后构建图像金字塔；构建基于多尺度注意力机制的分割网络，在分割网络中通过编码网络提取多尺度特征图，通过双重注意力机制进行全局和局部的特征增强，对增强的特征解码预测得到每层的分割结果；基于每层分割结果得到多尺度联合损失，基于多尺度联合损失对多尺度注意力分割网络进行优化，以优化后的多尺度注意力分割网络得到图像分割结果。有效提高小鸡图像分割效果。

Description

一种基于多尺度注意力网络的小鸡图像分割方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于多尺度注意力网络的小鸡图像分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
近年来，许多研究专注于观察和分析动物行为以预防疾病，提高动物的生活环境，改善动物福利。人工智能、计算机视觉技术的飞速发展加快了智能化养殖的进程。目前，智能化的动物养殖可以通过基于传感器的方法和基于计算机视觉的方法，这两种方式来自动观察和分析动物行为。前者使用特定的传感器设备来获取动物的位置、数据等信息；例如，有些方法是基于耳标或项圈来定位动物的位置，但是在每只动物身上分别安装传感器代价很大，因为传感器设备很昂贵，并且为每只动物佩戴传感器很费时间。对于后者，首先需要通过摄像机捕获动物的视频或图像数据，然后通过基于计算机视觉的方法进行智能分析这些数据。基于视觉的方式所需的摄像头设备价格低，易于安装、不具有侵犯性等优点，因此基于计算机视觉的方法更适合智能监控分析动物行为。
图像分割是实现图像分析的最基本和重要步骤，对于智能化监视动物行为具有非常重要的意义，已经在智能养殖方面引起极高的关注，特别是深基于卷积神经网络(CNN)的方法在图像分割方面取得突出的成绩；例如Mask-RCNN这种基于检测的分割的方法，以及基于Unet网络的直接图像分割的方法。
据观察，大多数鸡通常喜欢群居生活，小鸡具有的相似外观、不同尺寸、聚集的生活、运动遮挡等因素使得准确的小鸡分割非常具有挑战性，而现有图像分割方法并未考虑小鸡分布密集、形态不一、遮挡等问题。
发明内容
为了解决上述问题，本发明提出了一种基于多尺度注意力网络的小鸡图像分割方法及系统，通过多尺度编码-解码网络提取多层次特征，利用双重注意力机制对特征图进行全局和局部的特征增强，利用多尺度联合损失监管整个网络的优化，有效提高小鸡图像分割效果。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于多尺度注意力网络的小鸡图像分割方法，包括：
对获取的小鸡图像进行多尺度降采样后构建图像金字塔；
构建基于多尺度注意力机制的分割网络，在分割网络中通过编码网络提取多尺度特征图，通过双重注意力机制进行全局和局部的特征增强，对增强的特征解码预测得到每层的分割结果；
基于每层分割结果得到多尺度联合损失，基于多尺度联合损失对多尺度注意力分割网络进行优化，以优化后的多尺度注意力分割网络得到图像分割结果。
第二方面，本发明提供一种基于多尺度注意力网络的小鸡图像分割系统，包括：
图像降采样模块，被配置为对获取的小鸡图像进行多尺度降采样后构建图像金字塔；
特征提取模块，被配置为构建基于多尺度注意力机制的分割网络，在分割网络中通过编码网络提取多尺度特征图，通过双重注意力机制进行全局和局部的特征增强，对增强的特征解码预测得到每层的分割结果；
图像分割预测模块，被配置为基于每层分割结果得到多尺度联合损失，基于多尺度联合损失对多尺度注意力分割网络进行优化，以优化后的多尺度注意力分割网络得到图像分割结果。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明提出基于多尺度注意力机制的神经网络架构，能够有效提升小鸡图像分割的效果，针对小鸡图像的密集分布、大小不一的特点，设计多尺度编码-解码网络，编码部分对输入图像进行卷积、跳跃连接等操作提取重要的特征，解码部分对于编码的特征图进行反卷积等操作得到最终的分割结果，该框架有助于处理小样本问题，同时可以较好的处理不同尺度的信息。
小鸡图像分割可以看作一个基于图像的回归问题，本发明基于Unet网络设计多层次网络架构，在垂直和水平方向具有多种联系，包含自顶向下和横向连接，以进行有效的特征映射。
本发明在输入阶段采用图像金字塔以提取不同尺度的特征信息，提出双重注意力机制，利用通道注意力机制提取全局信息，利用边界注意力机制提取局部细节信息，有效提升小鸡图像分割的精度。
本发明的多尺度网络架构通过利用不同尺度层的多个预测结果，计算合并损失函数以有效监管控制整个网络；加快网络收敛，同时提高网络精度。
本发明通过基于多尺度注意力机制进行更丰富的高级语义特征提取，同时基于多层输出的损失进行有效的网络监管，从多尺度网络架构、注意力机制的特征提取、融合的损失函数监督这三个方面，优化小鸡图像分割的理论与解决方案具有泛化性，在理论与方法层面，对一般性的基于图像的动物分割也有更好的解决。
现有的图像分割算法虽然很多，但是针对小鸡图像分割的研究却很少；因此，本发明专注于小鸡图像分割，为智能化养殖小鸡提供重要的信息，提出一种端到端的小鸡图像分割框架，可以快速有效的分割小鸡图像，基于分割出的小鸡轮廓信息，可以获取更多关于小鸡的重要信息，包括小鸡位置、小鸡数量等，基于上述信息可以有效监控小鸡的行为。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的基于多尺度注意力网络的小鸡图像分割方法流程示意图；
图2为本发明实施例1提供的小鸡图像标记示意图；
图3为本发明实施例1提供的多尺度注意力网络流程示意图；
图4为本发明实施例1提供的通道注意力机制模块示意图；
图5为本发明实施例1提供的边界注意力机制模块示意图；
图6为本发明实施例1提供的基于多输出的合并损失示意图；
图7(a)-7(e)为本发明实施例1提供的小鸡分割结果示意图；
图8(a)-8(e)为本发明实施例1提供的小鸡分割结果示意图。
具体实施方式：
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
术语解释：
1、编码-解码网络(encoder-decoder)，主要包括encoder和decoder两个部分；在encoder编码阶段，接收输入并输出特征向量的网络，在语义分割中，通常利用池化层减小空间的维度；在decoder解码阶段，从编码中获取特征向量，逐渐恢复图像的细节信息和相应的空间维度。
2、图像金字塔是一种以多分辨率来解释图像的结构，通过对原始图像进行多尺度像素采样的方式，生成N个不同分辨率的图像。
3、双线性插值(bilinear)将未做插值的原始图像称作源图像，源图像插值缩放K倍后的图像称作目标图像；双线性插值的主要思想是目标点归一化后在四周取4个最近邻点，并根据权重对其做线性函数计算，从而得到目标像素点的值。
4、修正线性单元(Rectified Linear Unit,Relu)，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。
5、跳跃连接(skip-connection)，通常用于残差网络中，在比较深的网络中,解决在训练的过程中梯度爆炸和梯度消失问题。
6、U型网络(Unet)是卷积神经网络的一种变形，整个神经网络主要由编码网络和解码网络两部分组成。
7、True positives(TP)，被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数(样本数)。
8、False positives(FP)，被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数。
9、False negatives(FN)，被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数。
10、True negatives(TN)，被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。
11、特效度(Specificity)简称Spe，Spe＝TN/N，表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力。
12、灵敏度(Sensitive)，简称Sen，Sen＝TP/P，表示所有正例中被分对的比例，衡量分类器对正例的识别能力。
13、正确率(Accuracy)，简称Acc，Acc＝(TP+TN)/(P+N)，被分对的样本数除以所有的样本数，正确率越高，分类器越好。
14、重叠度(Intersection over Union)，简称IoU，IoU＝TP/(TP+FP+FN)是一种测量在特定数据集中检测相应物体准确度的一个标准。
15、损失函数L，用来度量预测的结果与真实图像的分割结果。
实施例1
如图1所示，本实施例提供一种基于多尺度注意力机制网络的小鸡图像分割方法，通过多尺度编码-解码网络提取多层次特征，并且利用双重注意力机制对特征图进行全局和局部的特征增强，利用多尺度输出的合并损失监管整个网络，有效提升了小鸡图像分割的效果；具体包括步骤如下：
S1：对获取的小鸡图像进行多尺度降采样后构建图像金字塔；
S2：构建基于多尺度双重注意力机制的分割网络，其中，该分割网络包括编码、解码两个部分，通过编码网络提取多尺度特征图，利用双重注意力机制进行全局和局部的特征增强，对增强的特征解码预测得到每层的分割结果；
S3：基于每层分割结果得到多尺度联合损失，基于多尺度联合损失对多尺度注意力分割网络进行优化，以优化后的多尺度注意力分割网络得到图像分割结果。
在步骤S1中，小鸡图像的获取通过单目摄像装置实现，由单目摄像装置采集的小鸡图像发送至服务器进行图像处理，并将处理后得到的分割结果发送至显示器进行显示。
具体地，所述单目摄像装置采用H.265编码传输技术，输出格式为JPEG格式，输出图像尺寸790*930，图像分辨率为790X930；
所述服务器采用CPU型号Intel酷睿i9_9820X，内存64G，该服务器包括4张GeForceRTXTM 2080 Ti的显卡，操作系统采用Ubuntu16.04，系统的实现使用python语言编程，基于pytorch深度网络框架编程。
在步骤S1中，获取小鸡图像之后，为了使得训练网络提供真实分割标记，本实施例利用标注工具对部分小鸡图像进行人工标记，得到小鸡图像对应的二值化的真实分割图像(GroundTruth)，并将其用以训练分割网络，得到分割网络的参数。
优选地，本实施例采用VGG Image Annotator(VIA)图像标记工具，如图2所示。
在步骤S1中，小鸡图像金字塔的构建过程具体包括：对小鸡图像采用降采样技术进行降采样处理，生成n个不同分辨率的图像，得到n张多尺度的金字塔图像；
优选地，由于目前降采样技术比较成熟，考虑到时间代价以及性能方面的影响，本实施例采用双线性插值(bilinear)方法对小鸡图像进行降采样，可以较好的保持图像原来的信息，同时处理速度相对较快；每次降采样操作得到的图像尺寸为之前图像尺寸的一半，对于第i次降采样后图像大小为
Figure BDA0003022616630000091
其中，H、W分别为图像的高度和宽度，图像包含三个通道，把图像金字塔送入后续的深度神经网络中。
在步骤S2中，本实施例将基于多尺度编码-解码网络结构与注意力机制相结合，一方面利用多尺度编码-解码网络提取小鸡图像中不同尺度的信息，在编码阶段，利用不同尺度的小鸡输入图像提取多尺度层级特征，在解码阶段，利用多尺度的输出计算合并损失对整个网络进行有效的监管；另一方面，提出一种基于双重注意力机制的模块结构，利用通道注意力机制对于网络每一层的特征图进行全局的特征增强，利用边界注意力机制对特征图进行局部的细节增强，提取有效的特征表示，解决如何快速准确地分割出小鸡图像中小鸡，并在处理过程中采用规模较小的神经网络模型来进行运算。
其中，构建多尺度注意力分割网络，基于此对图像金字塔进行特征提取；多尺度注意力分割网络采用U型编码-解码的结构形式，其中编码网络部分对每一个尺度的小鸡图像进行特征图提取，如图3所示的水平方向上每一层表示一个尺度，并且对提取的特征图采用通道注意力机制和边界注意力机制提取更有效的全局以及局部的细节信息，以使解码网络能更好的预测分割结果；
具体地：
S21：利用多尺度注意力分割网络的编码网络部分，通过对图像金字塔的每一层进行卷积Conv、Relu、Skip-Connection等操作，提取得到多通道的特征图f，其中卷积Conv函数可以提取图像的局部信息、非线性激活函数Relu可以增加网络的非线性，使网络具有更好的泛化能力，Skip-Connection可以获取更多的信息，减少梯度消失现象。
如图3所示，在本实施例中，共包含四个不同尺度的输入图像，对于每一层的输入图像，编码网络进行特征图像提取的过程如下：
如果是第一层，即原始小鸡图像，先通过公式(1)获取特征图F：
F＝CR(Cat(CR(I),CR2(I)))，其中i＝1 (1)
如果是网络的其他层，假设为第i层，则通过公式(2)获取第i层图像特征图Fi：
Figure BDA0003022616630000101
其中，CR(.)表示(Conv+Relu)操作，卷积Conv中卷积核大小为3*3，Relu是非线性激活函数，用来加快分割网络运算速度同时缓解网络过拟合问题；CR2(.)表示两个(Conv+Relu)操作，n表示网络的层次，本实施例设其值为4；
Figure BDA0003022616630000102
示来自上一层特征图降采样得到的特征图，该操作的目的是获取多尺度的特征信息；Cat(.)表示连接操作，本实施例使用Cat(.)在通道维度上进行拼接。
在本实施例中，连接操作包括跳跃连接和级联连接，水平方向的跳跃连接可以较好的提取该层输入图像的特征信息，垂直方向的连接可以获得更多多尺度的图像信息；具体地，在每一层水平方向上使用跳跃链接，确保网络学习的时候可以包含更丰富的信息，同时防止梯度消失等问题；在垂直方向上，利用从上一层高分辨图像中获取的信息与该层水平方向上低分辨率图像提取的信息相结合，提取更有代表性、更具判别性的特征，充分发挥多尺度网络的优势。
S22：将提取的特征图f使用通道注意力机制模块，提取全局的特征；通道注意力机制根据不同通道的重要性，为每一个通道赋予不同的权重；
设通道注意力模块输入的特征图f的大小为(c×h×w)，通道注意力模块包含如下操作，如图4所示：
(1)利用卷积操作X(.)、Y(.)和Z(.)分别将f转换为3个不同的成分Xf、Yf和Zf，其中：
Xf＝X(f),
Yf＝Y(f),
Zf＝Z(f)
通过对张量Yf和Zf进行形状调整，得到张量Yf’和张量Zf’，张量Xf、Yf’和Zf’的尺寸大小分别为(c×h×w)、(c×hw)和(hw×c)；函数X(.)包含α个卷积层，作为数据预处理；Y(.)和Z(.)是卷积操作，分别包含β和γ个卷积层；考虑分割性能以及速度等关系，本实施例将α、β和γ的值分别设置为1。
(2)将Yf’和Zf’进行矩阵相乘，得到矩阵M，对矩阵M采用Softmax(.)操作，回归通道注意力的权重θ：
M＝Yf’⊙Zf’；
θ＝Softmax(M)；
(3)将Xf与权重θ相乘得到最终特征图fca，具体公式如下：
fca＝Xf⊙θ；
其中，⊙表示矩阵点乘操作。
通过上述操作，本实施例采用(Conv+Relu)操作对fca进行特征增强得到Fc；通道注意力模块学习不同通道图的重要度，对特征图Xf的每个通道图赋予重要度，实现全局的特征增强。
S23：基于步骤S22提取的通道注意力图，本实施例进一步利用边界注意力模块来提取局部细节信息，进行局部细节信息的增强；边界注意力模块利用高分辨率的图像作为指导图像，通过导向滤波器提取有效的细节信息；边界注意力模块的输入是水平层i的特征图Fh(高分辨率)与下一层i+1的通道注意力模块特征图Fl(低分辨率)，提取局部的细节信息，双重注意力机制模块之后，得到增强的特征图；
如图5所示，边界注意力模块进行局部细节增强的具体过程如下：
(1)对高分辨Fh(尺寸大小2h×2w×c)进行降采样操作，得到与Fl(尺寸大小h×w×c)同样尺寸的特征图Fl’(尺寸大小h×w×c)，Fl’能够包含更多的细节信息；
(2)学习特征图Fl和Fl’的线性映射关系，基于Fl和Fl’，通过卷积以及Sigmoid操作提取注意力图T：
F＝Conv(Conv(Fl)+Conv(Fl’))
T＝Sigmoid(F)
(3)基于特征图T、Fl和Fl’，利用均值滤波和线性建模的方式得到Fl和Fl’之间的线性模型参数Wl和Bl；
(4)对参数Wl和Bl采用双线性插值升采样操作得到高分辨线性参数Wh和Bh，进而可以得到高分辨率图像Fh对应的Fh’，Fh’是边界注意力模块的输出，包含更多的细节信息；
具体地：基于特征图T、Fl和Fl’，本实施例建立Fl和Fl’的线性映射关系；首先，对每一个Fl中的像素Fli构造一个半径为r的方形窗口Sk，该窗口所对应的线性变换模型表示为：Fki′＝wkFli+bk，其中，i∈Sk，wk和bk是窗口Sk对应的线性系数；
然后，基于窗口Sk,最小化Fki′与Fli’的插值，获取对应的系数(wk，bk)，优化公式表示如下：
Figure BDA0003022616630000131
其中，α是规范化参数，本实施例中设为0.02，窗口半径设置为2；
由于位置i会涉及到多个窗口，本实施例取均值覆盖i窗口的均值系数(wk，bk)，得到线性表示：
Fi’＝Wl×Fl’+Bl
(5)对Wl和Bl进行线性升采样，得到模型参数Wh和Bh，升采样方式采用双线性插值：
(Wh，Bh)＝↑(Wl，Bl)
其中，↑表示升采样操作，升采样因子为2。
(6)根据Fh、Wh和Bh，可以得到高分辨率图像Fh对应的Fh’：
Fh’＝Wh×Fh+Bh。
其中，Fh’是边界注意力模块的输出，包含更多的细节信息；此外，对于每一层网络提取的Fh’进行两次(Conv+Relu)操作之后，得到特征图EA。
在本实施例中，将增强的特征图通过标记预测进行分割结果估计，标记预测包含升采样操作、卷积以及Softmax操作，进而得到最终的分割结果。
在步骤S3中，在网络训练阶段，多尺度网络的每一层均会产生相应的分割结果，根据每一层网络的分割预测图与真实标记的二值图的差值计算对应的损失，计算n层平均损失，将其作为整个网络的损失以对网络进行有效的监管，学习网络的模型参数；在网络测试阶段，对于任意小鸡图像，学习到网络模型后可以直接预测其分割结果图。
具体地，在网络训练阶段，使用基于多尺度输出的合并损失有效的监管整个网络，优化网络参数；
首先，计算多个尺度(水平方向)的分割结果M＝{M1,...，Mn}，然后，基于每层的分割结果，计算多尺度联合损失，如图6所示，具体步骤如下：
1)在解码网络中，计算第i层的分割预测结果，具体公式如下：
Figure BDA0003022616630000141
其中，EAi是边界注意力模块增强后的特征图，MP(.)是预测模块，
Figure BDA0003022616630000142
是第i层分割预测结果；MP(.)预测模块包括双线性升采样操作、卷积以及Softmax操作，具体为：
Figure BDA0003022616630000143
2)基于每一层的分割预测结果，本实施例计算基于多尺度输出的合并损失函数；对于第i层，本实施例利用非负自然损失函数计算该层的损失loss(i)，表示公式如下所示：
Figure BDA0003022616630000144
为了充分考虑每一层网络对于分割性能的影响，本实施例使用基于多尺度的混合损失函数进行度量，得到总损失L：
Figure BDA0003022616630000145
4)根据总损失L训练整个分割网络，得到有效的模型参数；ωi代表不同的权重，本实施例采用均值的方式，为每一层设置0.25的权重系数；训练阶段使用Adam优化器，参数设置为0.0015，网络迭代次数设置为100次。此外，本实施例对于每一层网络的不同处理模块得到的相应通道数目均标注在如图3所示的网络流程图中；基于本实施例网络模型，对于任意的小鸡图像，均可以输入到该网络模型中得到小鸡图像的分割结果。
如图7(a)-7(e)和图8(a)-8(e)所示为本实施例对任意两张小鸡图像的分割结果示意图，其中，a-e分别表示原始图像和GroundTruth、Mask-RCNN方法、Unet方法、Mnet方法以及本实施例方法的分割结果；如表1所示为本实施例所提方法对小鸡图像分割的效果，其中Acc、Sen、Spe、AUC和MIoU分别表示分割的不同度量标准，可以看出本实施例MSAnet方法具备很好的分割结果。
表1小鸡图像分割效果
Figure BDA0003022616630000151
此外，本实施例提供MSAnet方法的时间性能分析，采集的小鸡图像分辨率为790X930，对于任意一张小鸡图像得到分割结果的时间仅需要0.6s，综上，本实施例方法可以快速有效的进行小鸡图像的分割，同时该分割方法也可以应用于其他动物图像的分割。
实施例2
本实施例提供一种基于多尺度注意力网络的小鸡图像分割系统，包括：
图像降采样模块，被配置为对获取的小鸡图像进行多尺度降采样后构建图像金字塔；
特征提取模块，被配置为构建基于多尺度注意力机制的分割网络，在分割网络中通过编码网络提取多尺度特征图，通过双重注意力机制进行全局和局部的特征增强，对增强的特征解码预测得到每层的分割结果；
图像分割预测模块，被配置为基于每层分割结果得到多尺度联合损失，基于多尺度联合损失对多尺度注意力分割网络进行优化，以优化后的多尺度注意力分割网络得到图像分割结果。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于多尺度注意力网络的小鸡图像分割方法，其特征在于，包括：
对获取的小鸡图像进行多尺度降采样后构建图像金字塔；
构建基于多尺度注意力机制的分割网络，在分割网络中通过编码网络提取多尺度特征图，通过双重注意力机制进行全局和局部的特征增强，对增强的特征解码预测得到每层的分割结果；
基于每层分割结果得到多尺度联合损失，基于多尺度联合损失对多尺度注意力分割网络进行优化，以优化后的多尺度注意力分割网络得到图像分割结果。
2.如权利要求1所述的一种基于多尺度注意力网络的小鸡图像分割方法，其特征在于，所述多尺度像素降采样通过采用双线性插值方法实现。
3.如权利要求1所述的一种基于多尺度注意力网络的小鸡图像分割方法，其特征在于，多尺度特征图的提取过程包括：通过编码网络对图像金字塔的每一层进行Conv、Relu、Skip-Connection操作，得到多尺度特征图。
4.如权利要求1所述的一种基于多尺度注意力网络的小鸡图像分割方法，其特征在于，所述双重注意力机制包括通道注意力机制和边界注意力机制，基于通道注意力机制对多尺度特征图进行全局特征增强，基于边界注意力机制对多尺度特征图进行局部细节增强。
5.如权利要求4所述的一种基于多尺度注意力网络的小鸡图像分割方法，其特征在于，所述通道注意力机制通过为每个通道赋权的方式进行全局特征增强。
6.如权利要求4所述的一种基于多尺度注意力网络的小鸡图像分割方法，其特征在于，所述边界注意力机制利用高分辨率图像作为指导图像，通过导向滤波器提取局部细节信息，以水平层i与i+1层的通道注意力机制增强后的特征图作为输入，进行局部细节增强。
7.如权利要求1所述的一种基于多尺度注意力网络的小鸡图像分割方法，其特征在于，基于每层分割结果得到多尺度联合损失的过程包括根据每层的分割结果，利用非负自然损失函数计算每层的损失，从而得到多尺度注意力分割网络的多尺度联合损失。
8.一种基于多尺度注意力网络的小鸡图像分割系统，其特征在于，包括：
图像降采样模块，被配置为对获取的小鸡图像进行多尺度降采样后构建图像金字塔；
特征提取模块，被配置为构建基于多尺度注意力机制的分割网络，在分割网络中通过编码网络提取多尺度特征图，通过双重注意力机制进行全局和局部的特征增强，对增强的特征解码预测得到每层的分割结果；
图像分割预测模块，被配置为基于每层分割结果得到多尺度联合损失，基于多尺度联合损失对多尺度注意力分割网络进行优化，以优化后的多尺度注意力分割网络得到最终图像分割结果。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202110406817.9A 2021-04-15 2021-04-15 一种基于多尺度注意力网络的小鸡图像分割方法及系统 Active CN113052848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110406817.9A CN113052848B (zh) 2021-04-15 2021-04-15 一种基于多尺度注意力网络的小鸡图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110406817.9A CN113052848B (zh) 2021-04-15 2021-04-15 一种基于多尺度注意力网络的小鸡图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN113052848A true CN113052848A (zh) 2021-06-29
CN113052848B CN113052848B (zh) 2023-02-17

Family

ID=76520692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110406817.9A Active CN113052848B (zh) 2021-04-15 2021-04-15 一种基于多尺度注意力网络的小鸡图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN113052848B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245655A (zh) * 2019-05-10 2019-09-17 天津大学 一种基于轻量级图像金字塔网络的单阶段物体检测方法
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110751185A (zh) * 2019-09-26 2020-02-04 高新兴科技集团股份有限公司 目标检测模型的训练方法和装置
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112419155A (zh) * 2020-11-26 2021-02-26 武汉大学 一种全极化合成孔径雷达影像超分辨率重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245655A (zh) * 2019-05-10 2019-09-17 天津大学 一种基于轻量级图像金字塔网络的单阶段物体检测方法
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110751185A (zh) * 2019-09-26 2020-02-04 高新兴科技集团股份有限公司 目标检测模型的训练方法和装置
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112419155A (zh) * 2020-11-26 2021-02-26 武汉大学 一种全极化合成孔径雷达影像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIHAO ZHANG 等: ""Attention Guided Network for Retinal Image Segmentation"", 《ARXIV:1907.12930V3 [EESS.IV]》 *

Also Published As

Publication number Publication date
CN113052848B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
Oliveira et al. A review of deep learning algorithms for computer vision systems in livestock
Yang et al. ST-LBAGAN: Spatio-temporal learnable bidirectional attention generative adversarial networks for missing traffic data imputation
US20230048405A1 (en) Neural network optimization method and apparatus
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
US20220156926A1 (en) A method of processing an image of tissue, a system for processing an image of tissue, a method for disease diagnosis and a disease diagnosis system
Sarraf et al. A comprehensive review of deep learning architectures for computer vision applications
Isensee et al. Or-unet: an optimized robust residual u-net for instrument segmentation in endoscopic images
JP2023553111A (ja) ペットの放射線医学画像を評価するためのシステム及び方法
CN113469958A (zh) 一种胚胎发育潜能预测方法、系统、设备及存储介质
Seidel et al. NAPC: A neural algorithm for automated passenger counting in public transport on a privacy-friendly dataset
CN117593275A (zh) 一种医学图像分割系统
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
CN113052848B (zh) 一种基于多尺度注意力网络的小鸡图像分割方法及系统
CN117011640A (zh) 基于伪标签滤波的模型蒸馏实时目标检测方法及装置
Termritthikun et al. Neural architecture search and multi-objective evolutionary algorithms for anomaly detection
WO2021247455A1 (en) Image and data analytics model compatibility regulation methods
Xiong et al. On training deep 3d cnn models with dependent samples in neuroimaging
Anilkumar et al. An improved beluga whale optimizer—Derived Adaptive multi-channel DeepLabv3+ for semantic segmentation of aerial images
KR20220170122A (ko) 구조물 건전성 모니터링 시스템 및 이를 이용한 모니터링 방법
Quazi et al. Image Classification and Semantic Segmentation with Deep Learning
Ng et al. Medical Image Recognition: An Explanation and Hands-On Example of Convolutional Networks
Jayakumar Deep Learning Technique for Image Classification by Segmentation
Mirzazadeh et al. ATCON: Attention Consistency for Vision Models
US20230196541A1 (en) Defect detection using neural networks based on biological connectivity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant