CN112164073A - 一种基于深度神经网络的影像三维组织分割与测定方法 - Google Patents
一种基于深度神经网络的影像三维组织分割与测定方法 Download PDFInfo
- Publication number
- CN112164073A CN112164073A CN202010999256.3A CN202010999256A CN112164073A CN 112164073 A CN112164073 A CN 112164073A CN 202010999256 A CN202010999256 A CN 202010999256A CN 112164073 A CN112164073 A CN 112164073A
- Authority
- CN
- China
- Prior art keywords
- image
- viscera
- bed
- segmentation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 210000001835 viscera Anatomy 0.000 claims abstract description 73
- 210000003205 muscle Anatomy 0.000 claims abstract description 50
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 46
- 210000001519 tissue Anatomy 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000002591 computed tomography Methods 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 33
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 230000010339 dilation Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 238000005530 etching Methods 0.000 claims description 9
- 230000007787 long-term memory Effects 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 7
- 230000009278 visceral effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 241000282887 Suidae Species 0.000 abstract description 14
- 241001465754 Metazoa Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002224 dissection Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 235000020997 lean meat Nutrition 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 229940125725 tranquilizer Drugs 0.000 description 1
- 239000003204 tranquilizing agent Substances 0.000 description 1
- 230000002936 tranquilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于深度神经网络的影像三维组织分割与测定方法，包括，采集活体猪的CT图像，划分为训练集与测试集并在训练集上进行标注；构建CT床分割网络和内脏分割网络，并利用所述标注好的训练集进行训练得到CT床分割模型和内脏分割模型；利用所述CT床分割模型和所述内脏分割模型预测其掩膜图并去除所述CT床和内脏；结合所述活体猪的CT图像提取出猪体的脂肪、肌肉与骨骼部分并计算猪体的总体质量及各个组织的占比。可以自动、快速、准确分割出种猪的脂肪、肌肉和骨骼等组织，并且本方法适用于任何形状、任何大小的种猪。
Description
技术领域
本发明涉及计算机视觉、深度学习的技术领域，尤其涉及一种基于深度神经网络的影像三维组织分割与测定方法。
背景技术
养殖动物的分级和分类一般是基于脂肪、瘦肉和骨骼等组织在体内的占比情况，传统的测定方法要求活体被屠宰后通过手工解剖的方式将骨骼、脂肪、肌肉等组织从活体中分离出来，从而计算出三者的占比情况。该方法虽然准确但需要投入一定的人力和物力，其测定结果无法预测动物的生长状况，因此无法适用于整个动物群体。
计算机断层扫描(Computed Tomography，以下简称CT)技术是一种在无损条件下获取物体内部微观结构信息的手段，其主要原理是根据物体对X线的吸收程度来反应的物体的密度。CT是最早应用于临床医疗诊断的无创成像的方法之一，它可以显示物体完整的三维信息，使器官结构更加清楚，从而发现一些微小的病灶。随着计算机技术及科技水平的发展，CT技术的应用领域也更加广泛。在畜牧业生产方面，将CT与计算机技术相结合用于测定活体动物各组织含量是目前研究热点之一。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在活体猪肌肉脂肪含量监测方法的问题，提出了本发明。
因此，本发明解决的技术问题是：提供一种基于深度神经网络的影像三维组织分割与测定方法，只需对活猪进行CT扫描，即可做到快速精确地分割、测定出猪体的骨骼、肌肉、脂肪组织的重量及其占比，从而减少屠宰猪带来的不必要的损失。
为解决上述技术问题，本发明提供如下技术方案：采集活体猪的CT图像，划分为训练集与测试集并在训练集上进行标注；构建CT床分割网络和内脏分割网络，并利用所述标注好的训练集进行训练得到CT床分割模型和内脏分割模型；利用所述CT床分割模型和所述内脏分割模型预测其掩膜图并去除所述CT床和内脏；结合所述活体猪的CT图像提取出猪体的脂肪、肌肉与骨骼部分并计算猪体的总体质量及各个组织的占比。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述构建CT床分割网络包括，所述CT床分割网络主要由编码器和译码器组成，所述编码器包括三个子模块，每个子模块包括两个a×a卷积操作，一个残差块，以及一个b×b的最大池化；所述译码器包括三个子模块，每个子模块包括一个c×c的反卷积，两个d×d卷积操作和一个残差块，其中网络中的每个卷积操作后都跟随一个非线性激活函数，卷积操作的函数表示如下：
其中：f(x,y)为输入图像特征，h(i,j)为卷积核，g(x,y)为输出的特征；残缺块的函数表示为如下：
xl+1＝xl+F(x)
其中：xl为这一层残差块的输入，F(x)为经过一系列卷积操作后的输出，xl+1为残差块的输出；使用“残差注意力路径”连接所述编码器和所述译码器对应的层，所述残差注意力路径由若干个残差块组成，每个残差块由e×e的卷积核和f×f卷积核并行后累加组成，残差块的使用个数由每一层的复杂度决定；使用h×h卷积和神经网络的激活函数输出最终结果，其中所述神经网络的激活函数定义如下：
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述训练CT床分割模型包括，将所述手工标记的CT床和其原始图像放入所述CT床分割网络进行训练，得到CT床分割模型，其损失函数选择二值交叉熵，定义如下：
其中，X为原始图像，Y为手工标注的CT床，
为网络预测的图像，px为一个像素点。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：其特征在于：所述构建内脏分割网络包括，所述内脏分割网络包括残差密集连接网络和双向卷积长短期记忆模型，其中搭建所述残差密集连接网络由一系列残差密集连接块，下采样和上采样操作组成；所述双向卷积长短期记忆模型由两个不同方向的卷积长短期模型组成，卷积长短期模型的函数定义如下所示：
其中：*为卷积操作，
为哈达玛乘积，Xn、Cn和Hn为输入，单元状态和隐藏状态，fn、in和on分别为遗忘门，输入门和输出门，bi、bf、bc和bo为偏置，W为权重矩阵；将所述残差密集连接网络的结果作为双向卷积长短期记忆模型的输入，最后使用归一化指函数输出结果。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述训练内脏分割模型包括，将所述手工标记的内脏和其原始图像放入所述内脏分割网络进行训练，得到所述内脏分割模型，其损失函数选择同样的二值交叉熵。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述预测CT床掩膜图包括，在剩余测试集中选取任一CT影像，将其输入所述CT床分割模型，得到网络预测的CT床掩膜图。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：先对所述预测的CT床掩膜图取反，再与原图进行相“与”运算，将原图图像数组与所述掩模图像数组进行像素点匹配，若CT扫描床图像数组中某像素的值为1，则把原始CT图像数组中的该位置的像素值置0，得到去除CT床的图像。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述去除内脏包括，将原始CT影像输入所述内脏分割模型中进行预测，得到预测的内脏掩膜图；将所述内脏掩膜图进行腐蚀操作，去除噪声点，其中腐蚀操作函数表示如下：
其中：
为腐蚀操作，x为集合平移的位移量，S1为腐蚀使用的结构元素，X1为原始的二值图像集合，Z1为腐蚀操作后得到的结果图；将所述腐蚀后的图像Z1进行膨胀恢复其原来大小得到新的新内脏掩膜图，其中所述膨胀操作的函数表示如下：
其中：
为膨胀操作，x为集合平移的位移量，S2为膨胀使用的结构元素，X2为膨胀操作前的图像集合，Z2为膨胀后得到新内脏掩膜图；根据所述新内脏掩膜图在所述去除CT床的图像中去除内脏，对所述新内脏掩膜图进行取反，再与所述去除CT床的图像相“与”，得到去除内脏的图像。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述提取出猪体的脂肪、肌肉与骨骼包括，根据所述脂肪、肌肉与骨骼分别的CT值范围，在所述去除内脏的图像中提取所述脂肪、肌肉与骨骼部分，并统计各自的体素点个数。
作为本发明所述的基于深度神经网络的影像三维组织分割与测定方法的一种优选方案，其中：所述计算猪体的总体质量及各个组织的占比包括，计算所述脂肪、肌肉与骨骼的重量，其计算公式如下：
Wf＝Fn×PS×ST×ρf
Wb＝Bn×PS×ST×ρb
Wl＝Ln×PS×ST×ρl
其中：Wf为脂肪的重量，Wl为肌肉的重量，Wb为骨头的重量，Fn为脂肪的体素点个数，Bn为记肌肉的体素点个数，Ln为记骨骼的体素点个数，PS为CT的像素间距，ST为切片厚度，ρf,ρb和ρl分别为脂肪，肌肉和骨骼的密度其值分别为0.92g/cm3，1.06g/cm3，1.4g/cm3；所述脂肪、肌肉与骨骼的占比公式如下所示：
W＝Wf+Wb+Wl
Pf＝Wf/W
Pb＝Wb/W
Pl＝Wl/W
其中：W为猪体的总质量，ρf为脂肪的占比，ρb为肌肉的占比，ρl为骨骼的占比。
本发明的有益效果：可以自动、快速、准确分割出种猪的脂肪、肌肉和骨骼等组织，并且本方法适用于任何形状、任何大小的种猪；本发明提出的3D CT床分割方法，可以精确地分割CT扫描床，避免CT床的不同位置在不同的压力下可能会发生的变化；本发明提出的内脏分割模型将残差密集连接网络和双向卷积长短期记忆模型结合起来，既可以考虑到切片内部的语义信息同时也考虑到了切片之间的信息，能够一次性分割出猪体的内脏器官，有助于实现CT影像三维组织分割与测定。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的流程示意图；
图2为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的种猪横断面图；
图3为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的预测的CT床掩膜图；
图4为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的去除CT床后的图像；
图5为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的内脏掩膜图；
图6为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的去除内脏后的图像；
图7为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的提取脂肪组织的效果图；
图8为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的提取肌肉组织的效果图；
图9为本发明第二个实施例所述的基于深度神经网络的影像三维组织分割与测定方法的提取骨骼组织的效果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的第一个实施例，该实施例提供了一种基于深度神经网络的影像三维组织分割与测定方法，包括：
S1：采集活体猪的CT图像，划分为训练集与测试集并在训练集上进行标注。
S2：构建CT床分割网络和内脏分割网络，并利用标注好的训练集进行训练得到CT床分割模型和内脏分割模型。其中需要说明的是，
CT床分割网络主要由编码器和译码器组成，编码器包括三个子模块，每个子模块包括两个a×a卷积操作，一个残差块，以及一个b×b的最大池化；译码器包括三个子模块，每个子模块包括一个c×c的反卷积，两个d×d卷积操作和一个残差块，其中网络中的每个卷积操作后都跟随一个非线性激活函数，卷积操作的函数表示如下：
其中：f(x,y)为输入图像特征，h(i,j)为卷积核，g(x,y)为输出的特征；残缺块的函数表示为如下：
xl+1＝xl+F(x)
其中：xl为这一层残差块的输入，F(x)为经过一系列卷积操作后的输出，xl+1为残差块的输出；使用“残差注意力路径”连接编码器和译码器对应的层，残差注意力路径由若干个残差块组成，每个残差块由e×e的卷积核和f×f卷积核并行后累加组成，残差块的使用个数由每一层的复杂度决定，本发明中对应层从上至下分别使用3,2,1个残差块；使用h×h卷积和神经网络的激活函数(Sigmoid)输出最终结果，其中经网络的激活函数(Sigmoid)定义如下：
内脏分割网络包括残差密集连接网络和双向卷积长短期记忆模型，其中搭建残差密集连接网络由一系列残差密集连接块，下采样和上采样操作组成；双向卷积长短期记忆模型由两个不同方向的卷积长短期模型组成，卷积长短期模型的函数定义如下所示：
其中：*为卷积操作，
为哈达玛乘积，Xn、Cn和Hn为输入，单元状态和隐藏状态，fn、in和on分别为遗忘门，输入门和输出门，bi、bf、bc和bo为偏置，W为权重矩阵；将残差密集连接网络的结果作为双向卷积长短期记忆模型的输入，最后使用归一化指数函数输出结果。
进一步的是，训练CT床分割模型包括，将手工标记的CT床和其原始图像放入CT床分割网络进行训练，得到CT床分割模型，其损失函数选择二值交叉熵，定义如下：
其中，X为原始图像，Y为手工标注的CT床，
为网络预测的图像，px为一个像素点；训练内脏分割模型包括，将手工标记的内脏和其原始图像放入内脏分割网络进行训练，得到内脏分割模型，其损失函数选择同样的二值交叉熵。
S3：利用CT床分割模型和内脏分割模型预测其掩膜图并去除CT床和内脏。其中需要说明的是，
去除CT床包括，先对预测的CT床掩膜图取反，再与原图进行相“与”运算，将原图图像数组与掩模图像数组进行像素点匹配，若CT扫描床图像数组中某像素的值为1，则把原始CT图像数组中的该位置的像素值置0，得到去除CT床的图像。
去除内脏包括，将原始CT影像输入内脏分割模型中进行预测，得到预测的内脏掩膜图；将内脏掩膜图进行腐蚀操作，去除噪声点，其中腐蚀操作函数表示如下：
其中：
为腐蚀操作，x为集合平移的位移量，S1为腐蚀使用的结构元素，X1为原始的二值图像集合，Z1为腐蚀操作后得到的结果图；将腐蚀后的图像Z1进行膨胀恢复其原来大小得到新的新内脏掩膜图，其中膨胀操作的函数表示如下：
其中：
为膨胀操作，x为集合平移的位移量，S2为膨胀使用的结构元素，X2为膨胀操作前的图像集合，Z2为膨胀后得到新内脏掩膜图；根据新内脏掩膜图在去除CT床的图像中去除内脏，对新内脏掩膜图进行取反，再与去除CT床的图像相“与”，得到去除内脏的图像。
S4：结合活体猪的CT图像提取出猪体的脂肪、肌肉与骨骼部分并计算猪体的总体质量及各个组织的占比。其中需要说明的是，
提取出猪体的脂肪、肌肉与骨骼包括，根据脂肪、肌肉与骨骼分别的CT值范围，在去除内脏的图像中提取脂肪、肌肉与骨骼部分，并统计各自的体素点个数。
进一步的是，计算脂肪、肌肉与骨骼的重量，其计算公式如下：
Wf＝Fn×PS×ST×ρf
Wb＝Bn×PS×ST×ρb
Wl＝Ln×PS×ST×ρl
其中：Wf为脂肪的重量，Wl为肌肉的重量，Wb为骨头的重量，Fn为脂肪的体素点个数，Bn为记肌肉的体素点个数，Ln为记骨骼的体素点个数，PS为CT的像素间距取为0.977*0.977mm2，ST为切片厚度取为4.999mm，ρf,ρb和ρl分别为脂肪，肌肉和骨骼的密度；脂肪、肌肉与骨骼的占比公式如下所示：
W＝Wf+Wb+Wl
Pf＝Wf/W
Pb＝Wb/W
Pl＝Wl/W
其中：W为猪体的总质量，ρf为脂肪的占比，ρb为肌肉的占比，ρl为骨骼的占比。
实施例2
参照图2～9，为本发明的第二个实施例，选取40头健康种猪注射镇定剂后以一种四肢分开的方式固定好种猪的位置并将其送入CT机中，拍摄CT图像，将一头种猪的CT影像视为一个三维数组T(x,y,z)，最终生成若40个三维数组，获得CT图像切片，并选择10头种猪的影像数据作为训练集，剩下的30头猪的影像集作为测试集，并在训练集上手工标注出CT床和猪的内脏；将标注好的内脏训练集训练内脏分割网络，得到内脏分割模型并利用CT床分割模型在测试集上预测CT床掩膜图，并在原始图像中去除CT床，结合猪体CT值提取出猪体的脂肪、肌肉、骨骼部分，其中脂肪的CT值范围为(-200,0)，所得到的脂肪组织参照图7，肌肉的CT值范围为(0,200)，所得到的肌肉组织参照图8，骨骼的CT值范围为(230,1500)，所得到的肌肉组织参照图9；根据密度信息计算猪体的脂肪重量、肌肉重量、骨骼重量及各组织的占比，由于脂肪，肌肉和骨骼的密度值分别为0.92g/cm3，1.06g/cm3，1.4g/cm3，通过计算得到脂肪，肌肉和骨骼的重量分别为39.10kg、62.82kg以及7.07kg，因此其总重量为108.99kg通过计算可得脂肪的占比为35.87％，肌肉的占比为57.64％，骨头的占比为6.49％，实现了种猪脂肪，肌肉和骨骼等组织的定量分析。
为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例中选择人工解剖方法进行测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果；通过人工解剖的方法对同样40头种猪进行解剖，通过将种猪的脂肪，肌肉和骨骼各部分分割开进行重量及占比的计算，通过计算可得种猪的总质量为107.71kg，其脂肪占比为34.38％、肌肉占比为59.18％以及骨头的占比为6.44％，两种方法对同样40头种猪的分析结果如下表1所示：
表1：数据分析结果
由表1可知，通过人工解剖的方法所得到的总质量以及占比的数据与使用本发明方法所得到的数据相差不大，平均误差均不超过2％，因此可以看出使用本发明方法对于三维组织的分割与测定的误差很小，可以精准测定结果，并且与人工解剖方法相比，使用本发明放方法可以在不伤害种猪的情况下对种猪进行测定，可以预测其生长情况，并且适用于整个动物群体。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于深度神经网络的影像三维组织分割与测定方法，其特征在于：包括，
采集活体猪的CT图像，划分为训练集与测试集并在训练集上进行标注；
构建CT床分割网络和内脏分割网络，并利用所述标注好的训练集进行训练得到CT床分割模型和内脏分割模型；
利用所述CT床分割模型和所述内脏分割模型预测其掩膜图并去除所述CT床和内脏；
结合所述活体猪的CT图像提取出猪体的脂肪、肌肉与骨骼部分并计算猪体的总体质量及各个组织的占比。
2.如权利要求1所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述构建CT床分割网络包括，
所述CT床分割网络主要由编码器和译码器组成，所述编码器包括三个子模块，每个子模块包括两个a×a卷积操作，一个残差块，以及一个b×b的最大池化；所述译码器包括三个子模块，每个子模块包括一个c×c的反卷积，两个d×d卷积操作和一个残差块，其中网络中的每个卷积操作后都跟随一个非线性激活函数，卷积操作的函数表示如下：
其中：f(x，y)为输入图像特征，h(i，j)为卷积核，g(x，y)为输出的特征；残缺块的函数表示为如下：
xl+1＝xl+F(x)
其中：xl为这一层残差块的输入，F(x)为经过一系列卷积操作后的输出，xl+1为残差块的输出；使用“残差注意力路径”连接所述编码器和所述译码器对应的层，所述残差注意力路径由若干个残差块组成，每个残差块由e×e的卷积核和f×f卷积核并行后累加组成，残差块的使用个数由每一层的复杂度决定；使用h×h卷积和神经网络的激活函数输出最终结果，其中所述神经网络的激活函数函数定义如下：
3.如权利要求2所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述训练CT床分割模型包括，
将所述手工标记的CT床和其原始图像放入所述CT床分割网络进行训练，得到CT床分割模型，其损失函数选择二值交叉熵，定义如下：
其中，X为原始图像，Y为手工标注的CT床，
为网络预测的图像，px为一个像素点。
4.如权利要求1～3任一所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述构建内脏分割网络包括，
所述内脏分割网络包括残差密集连接网络和双向卷积长短期记忆模型，其中搭建所述残差密集连接网络由一系列残差密集连接块，下采样和上采样操作组成；所述双向卷积长短期记忆模型由两个不同方向的卷积长短期模型组成，卷积长短期模型的函数定义如下所示：
其中：*为卷积操作，
为哈达玛乘积，Xn、Cn和Hn为输入，单元状态和隐藏状态，fn、in和on分别为遗忘门，输入门和输出门，bi、bf、bc和bo为偏置，W为权重矩阵；将所述残差密集连接网络的结果作为双向卷积长短期记忆模型的输入，最后使用归一化指函数输出结果。
5.如权利要求4所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述训练内脏分割模型包括，
将所述手工标记的内脏和其原始图像放入所述内脏分割网络进行训练，得到所述内脏分割模型，其损失函数选择同样的二值交叉熵。
6.如权利要求5所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述预测CT床掩膜图包括，
在剩余测试集中选取任一CT影像，将其输入所述CT床分割模型，得到网络预测的CT床掩膜图。
7.如权利要求6所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述去除所述CT床包括，
先对所述预测的CT床掩膜图取反，再与原图进行相“与”运算，将原图图像数组与所述掩模图像数组进行像素点匹配，若CT扫描床图像数组中某像素的值为1，则把原始CT图像数组中的该位置的像素值置0，得到去除CT床的图像。
8.如权利要求7所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述去除内脏包括，
将原始CT影像输入所述内脏分割模型中进行预测，得到预测的内脏掩膜图；将所述内脏掩膜图进行腐蚀操作，去除噪声点，其中腐蚀操作函数表示如下：
其中：
为腐蚀操作，x为集合平移的位移量，S1为腐蚀使用的结构元素，X1为原始的二值图像集合，Z1为腐蚀操作后得到的结果图；将所述腐蚀后的图像Z1进行膨胀恢复其原来大小得到新的新内脏掩膜图，其中所述膨胀操作的函数表示如下：
其中：
为膨胀操作，x为集合平移的位移量，S2为膨胀使用的结构元素，X2为膨胀操作前的图像集合，Z2为膨胀后得到新内脏掩膜图；根据所述新内脏掩膜图在所述去除CT床的图像中去除内脏，对所述新内脏掩膜图进行取反，再与所述去除CT床的图像相“与”，得到去除内脏的图像。
9.如权利要求8所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述提取出猪体的脂肪、肌肉与骨骼包括，
根据所述脂肪、肌肉与骨骼分别的CT值范围，在所述去除内脏的图像中提取所述脂肪、肌肉与骨骼部分，并统计各自的体素点个数。
10.如权利要求9所述的基于深度神经网络的影像三维组织分割与测定方法，其特征在于：所述计算猪体的总体质量及各个组织的占比包括，
计算所述脂肪、肌肉与骨骼的重量，其计算公式如下：
Wf＝Fn×PS×ST×ρf
Wb＝Bn×PS×ST×ρb
Wl＝Ln×PS×ST×ρl
其中：Wf为脂肪的重量，Wl为肌肉的重量，Wb为骨头的重量，Fn为脂肪的体素点个数，Bn为记肌肉的体素点个数，Ln为记骨骼的体素点个数，PS为CT的像素间距，ST为切片厚度，ρf，ρb和ρl分别为脂肪，肌肉和骨骼的密度；所述脂肪、肌肉与骨骼的占比公式如下所示：
W＝Wf+Wb+Wl
Pf＝Wf/W
Pb＝Wb/W
Pl＝Wl/W
其中：W为猪体的总质量，ρf为脂肪的占比，ρb为肌肉的占比，ρl为骨骼的占比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010999256.3A CN112164073A (zh) | 2020-09-22 | 2020-09-22 | 一种基于深度神经网络的影像三维组织分割与测定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010999256.3A CN112164073A (zh) | 2020-09-22 | 2020-09-22 | 一种基于深度神经网络的影像三维组织分割与测定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112164073A true CN112164073A (zh) | 2021-01-01 |
Family
ID=73863246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010999256.3A Pending CN112164073A (zh) | 2020-09-22 | 2020-09-22 | 一种基于深度神经网络的影像三维组织分割与测定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164073A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
| CN113034522A (zh) * | 2021-04-01 | 2021-06-25 | 上海市第一人民医院 | 一种基于人工神经网络的ct图像分割方法 |
| CN113643401A (zh) * | 2021-08-27 | 2021-11-12 | 无锡福源自动化系统工程有限公司 | 基于机器学习的生猪胴体分割方法及系统 |
| CN115175619A (zh) * | 2021-01-20 | 2022-10-11 | 脉得谱株式会社 | 一种使用医学图像分析人体成分的方法及其装置 |
| CN116309385A (zh) * | 2023-02-27 | 2023-06-23 | 之江实验室 | 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统 |
| CN117831080A (zh) * | 2024-03-04 | 2024-04-05 | 正大农业科学研究有限公司 | 基于深度学习的猪生长状况预测装置 |
| CN113077474B (zh) * | 2021-03-02 | 2024-05-17 | 心医国际数字医疗系统(大连)有限公司 | 基于ct影像的床板去除方法、系统、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160300124A1 (en) * | 2015-04-11 | 2016-10-13 | Peter Yim | Method and system for image segmentation using a directed graph |
| CN106561546A (zh) * | 2016-10-18 | 2017-04-19 | 安徽省义华农牧科技有限公司 | 一种肉猪圈养养殖方法 |
| CN110610497A (zh) * | 2019-08-05 | 2019-12-24 | 汉世伟食品集团有限公司 | 一种基于ct图像处理的活体猪胴体组织含量测定方法 |
-
2020
- 2020-09-22 CN CN202010999256.3A patent/CN112164073A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160300124A1 (en) * | 2015-04-11 | 2016-10-13 | Peter Yim | Method and system for image segmentation using a directed graph |
| CN106561546A (zh) * | 2016-10-18 | 2017-04-19 | 安徽省义华农牧科技有限公司 | 一种肉猪圈养养殖方法 |
| CN110610497A (zh) * | 2019-08-05 | 2019-12-24 | 汉世伟食品集团有限公司 | 一种基于ct图像处理的活体猪胴体组织含量测定方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115175619A (zh) * | 2021-01-20 | 2022-10-11 | 脉得谱株式会社 | 一种使用医学图像分析人体成分的方法及其装置 |
| CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
| CN112494063B (zh) * | 2021-02-08 | 2021-06-01 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
| CN113077474B (zh) * | 2021-03-02 | 2024-05-17 | 心医国际数字医疗系统(大连)有限公司 | 基于ct影像的床板去除方法、系统、电子设备及存储介质 |
| CN113034522A (zh) * | 2021-04-01 | 2021-06-25 | 上海市第一人民医院 | 一种基于人工神经网络的ct图像分割方法 |
| CN113034522B (zh) * | 2021-04-01 | 2022-11-01 | 上海市第一人民医院 | 一种基于人工神经网络的ct图像分割方法 |
| CN113643401A (zh) * | 2021-08-27 | 2021-11-12 | 无锡福源自动化系统工程有限公司 | 基于机器学习的生猪胴体分割方法及系统 |
| CN113643401B (zh) * | 2021-08-27 | 2023-07-14 | 无锡福源自动化系统工程有限公司 | 基于机器学习的生猪胴体分割方法及系统 |
| CN116309385A (zh) * | 2023-02-27 | 2023-06-23 | 之江实验室 | 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统 |
| CN116309385B (zh) * | 2023-02-27 | 2023-10-10 | 之江实验室 | 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统 |
| CN117831080A (zh) * | 2024-03-04 | 2024-04-05 | 正大农业科学研究有限公司 | 基于深度学习的猪生长状况预测装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112164073A (zh) | 一种基于深度神经网络的影像三维组织分割与测定方法 | |
| Slósarz et al. | Artificial neural network analysis of ultrasound image for the estimation of intramuscular fat content in lamb muscle | |
| US20150029184A1 (en) | Three-dimensional model data generation device, method and program | |
| JP6807820B2 (ja) | 画像検索装置、方法およびプログラム | |
| CN112070119A (zh) | 超声切面图像质量控制方法、装置和计算机设备 | |
| CN110610497B (zh) | 一种基于ct图像处理的活体猪胴体组织含量测定方法 | |
| CN110956626B (zh) | 一种基于图像的预后评估方法及装置 | |
| Balasooriya et al. | Intelligent brain hemorrhage diagnosis using artificial neural networks | |
| CN109919254B (zh) | 乳腺密度分类方法、系统、可读存储介质和计算机设备 | |
| CN108550150A (zh) | 乳腺密度的获取方法、设备及可读存储介质 | |
| Sylvester et al. | Trabecular mapping: Leveraging geometric morphometrics for analyses of trabecular structure | |
| CN110516759A (zh) | 一种基于机器学习的软组织肉瘤转移风险预测系统 | |
| JPWO2020110519A1 (ja) | 類似度決定装置、方法およびプログラム | |
| CN111528918B (zh) | 消融术后肿瘤体积变化趋势图生成装置、设备及存储介质 | |
| KR101745502B1 (ko) | 근내지방도 측정 시스템 및 이를 이용한 근내지방도 측정 방법 | |
| CN110992312A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| Johansen et al. | Calibration models for lamb carcass composition analysis using computerized tomography (CT) imaging | |
| Kophamel et al. | Field‐based adipose tissue quantification in sea turtles using bioelectrical impedance spectroscopy validated with CT scans and deep learning | |
| Kyshkan et al. | Practical value of 3D modeling method of experimental wound channel during forensic examination of stab wound | |
| EP4076207B1 (en) | A method and system for improved ultrasound plane acquisition | |
| Zhang et al. | Marine mammal morphometrics: 3D modeling and estimation validation | |
| US20180192944A1 (en) | Methods for monitoring compositional changes in a body | |
| Hernandez et al. | Image analysis tool with laws' masks to bone texture | |
| CN115147378B (zh) | 一种ct图像分析提取方法 | |
| CN116309385B (zh) | 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |