CN115018754B - 一种深度孪生网络改进形变轮廓模型的方法 - Google Patents
一种深度孪生网络改进形变轮廓模型的方法 Download PDFInfo
- Publication number
- CN115018754B CN115018754B CN202210066545.7A CN202210066545A CN115018754B CN 115018754 B CN115018754 B CN 115018754B CN 202210066545 A CN202210066545 A CN 202210066545A CN 115018754 B CN115018754 B CN 115018754B
- Authority
- CN
- China
- Prior art keywords
- network
- deformation
- model
- layer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 238000012935 Averaging Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 13
- 230000003902 lesion Effects 0.000 claims description 9
- 102100037707 Down syndrome critical region protein 4 Human genes 0.000 claims description 8
- 101000880955 Homo sapiens Down syndrome critical region protein 4 Proteins 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 claims description 2
- 230000000452 restraining effect Effects 0.000 claims 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种深度孪生网络改进形变轮廓模型的方法，所述网络的主体架构是一个孪生卷积网络，主要是为训练一个判别性损失函数。所述网络的每个分支的骨干由一个卷积层、三个密集连接残差模块(DCRB)、三个注意力聚焦模块(AFB)、三个平均池化层、一个空间金字塔池SPP层和一个完全连接层FC组成，其中密集连接残余块(DCRB)和注意力聚焦模块(AFB)。本发明中所述网络训练的判别性损失函数被整合进传统的形变轮廓模型用于提升形变轮廓模型在超声图像中搜索目标边缘的方法，此外采用矩阵的秩对超声图像序列中目标形状的相似性进行度量，并将其作为改进后形变轮廓模型的约束项用于增强形变轮廓对超声图像中存在的噪声或模糊边缘的鲁棒性。
Description
技术领域
本发明涉及医学图像处理、深度学习相关技术领域，具体为一种深度孪生网络改进形变轮廓模型的方法。
背景技术
基于图像引导的计算机辅助诊疗被广泛地应用于肿瘤治疗，其中准确定义肿瘤成像序列中每一帧病变区域的边界是指定术前治疗计划的重要一步。形变轮廓分割模型被广泛地应用于医学图像中目标边缘的提取。形变轮廓模型分割目标主要通过图像的目标特征驱动初始化的形变轮廓去搜索待分割图像中目标的真实边缘。但是，现有技术的医疗超声成像过程中存在严重的伪影、噪声等因素会严重干扰形变轮廓分割过程中搜索到真实的目标轮廓。
发明内容
本发明的目的在于提供一种深度孪生网络改进形变轮廓模型的方法，以解决上述背景技术中提出的现有技术的医疗超声成像过程中存在严重的伪影、噪声等因素会严重干扰形变轮廓分割过程中搜索到真实的目标轮廓的问题。
为实现上述目的，本发明提供如下技术方案：一种深度孪生网络改进形变轮廓模型的方法，其具体来讲，是用于改进形变轮廓模型分割超声图像序列的性能，其包括网络改进形变轮廓模型，所述网络改进形变轮廓模型的主体架构是一个孪生卷积网络，主要是为训练一个损失函数，该损失函数可为形变轮廓搜索目标边缘的评价值；训练所述孪生卷积网络架构的输入数据是一系列的图像对，其中每个分支有相同的结构和参数；
所述网络改进形变轮廓模型的每个分支结构由一个卷积层、三个密集连接残差模块DCRB、三个注意力聚焦模块AFB、三个平均池化层、一个空间金字塔池SPP层和一个完全连接层FC组成；其中的平均池化层的滑动跨步为两个像素，虽然这会逐渐降低特征图的分辨率，但增加演化层的感受野。
作为进一步的技术方案，所述网络模型中的DCRB旨在通过促进网络内的特征传播来缓解传统深度卷积神经网络训练过程中存在的梯度消失问题，实现所述网络中每个卷积层的输出由一系列的密集连接所有后续的卷积层，并将所有后续卷积层生成的特征图连接起来作为后续层的输入。
作为进一步的技术方案，所述注意力聚焦模块AFB位于两个密集连接残差模块DCRB之间，其作用是通过在网络工作中引入空间注意机制，使得网络在训练过程中集中在目标对象区域，从而减少待分割图像中因素的影响。
作为进一步的技术方案，所述SPP能够确保该网络的输入图像在尺寸不同的情况下输出的特征图具有相同的尺寸大小，且在网络末端FC生成输入数据的特征。
作为进一步的技术方案，所述密集连接残差模块可增强深度神经网络的特征传播性能，并有效地缓解传统深度卷积神经网络随着网络层数的增加，导致的特征传播过程中梯度消失问题。
作为进一步的技术方案，所述网络中的注意力聚焦模块主要用于使网络在特征学习阶段聚焦于病变区域，实现该模块由空间金字塔层归一化特征图的尺寸，然后使用将特征图的每个元素与Sigmoid层相乘。
作为进一步的技术方案，所述特征存储模块为key-value结构，用于存储目标、背景特征向量，所述模块可看作是目标、背景的先验特征空间，模块中的对象和背景特征向量由网络的FC层给出，然后对其及逆行L2范数的归一化，所述特征存储模块中的Value结构用于存储特征向量，Key结构用于标注该特征向量是“目标”或“背景”。
与现有技术相比，本发明的有益效果是：
1.该网络模型的主体架构采用一种孪生网络模型，在该网络用于训练一个对比损失函数。该损失函数的值作为一种判别性依据被整合进传统的形变轮廓模型用于提升形变轮廓模型在超声图像中搜索目标边缘的性能。
2.为了克服深度神经网络模型训练样本阶段，出现的梯度消失问题以及让深度神经网络在学习训练过程中专注于病灶区域的特性学习，本发明在该网络模型中设计了密集连接残余块和注意力聚焦模块。
3.在本网络模型中，为了给损失函数提供正、负的先验样本，设计了一种特征存储模块用于并生成本网络生成的目标先验特征。
4.为了对图像序列中的目标形状的相似性进行建模，本发明采用矩阵的秩对超声图像序列中目标形状的相似性进行度量，从而作为目标函数的约束项抵抗形变轮廓对超声图像中确实边缘或若边缘的鲁棒性。
附图说明
图1为本发明结构的网络主体架构示意图；
图2为本发明结构的对象和背景的验特征计算对比损失示意图；
图3为本发明结构的形变轮廓搜索目标边缘的过程算法1示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
具体实施方式一，参阅图1-3，本发明提供一种技术方案：一种深度孪生网络改进形变轮廓模型的方法，包括网络改进形变轮廓模型，其特征在于：网络改进形变轮廓模型的主体架构是一个孪生卷积网络，主要是为训练一个损失函数，该损失函数可为形变轮廓搜索目标边缘提供评价值；孪生卷积网络架构的输入数据是一系列的图像对，其中每个分支有相同的结构和参数；网络改进形变轮廓模型的每个分支结构由一个卷积层、三个密集连接残差模块DCRB、三个注意力聚焦模块AFB、三个平均池化层、一个空间金字塔池SPP层和一个完全连接层FC组成；其中的平均池化层的滑动跨步为两个像素，虽然这会逐渐降低特征图的分辨率，但增加演化层的感受野。
具体实施方式二，本发明中的孪生卷积网络架构的输入数据是一系列的图像对，其中每个分支有相同的结构和参数，其中损失函数的定义如下：
Losst(p，a，n)＝da，p+max((da，p-da，n+α)，0)， (1)，
其中α表示训练参数，输入变量p、a、n分别表示正样本、锚样本和负样本。距离在输入变量之间，可以通过公式(2)计算得到：
其中a和b表示两个输入数据，fa和fb是两个输入数据的L2归一化特征。在我们的工作中，网络的训练数据包括许多图像对和相应的标签y∈0，1。
具体实施方式三，本发明中的密集连接残差模块可增强深度神经网络的特征传播性能，并有效地缓解特征传播过程中梯度消失问题。公式(3)中的X2表示第l个卷积层的输出，即应用H运算后的结果，Hl是一个非线性变换。然后，对第l层的输出结果进行批量归一化(Batch Normalization)和校正线性单元(Rule)操作。
x1＝H1(x1-1) (3)其中xl-1是第l-1层的输出。我们使第l层接收由[0，1，…，l-1]层生成的所有特征图层作为输入。此外，为了减少特征数量并融合密集层中的特征，在每个DCRB的末尾添加了一个Transition层，该Transition层由一个1卷积层、一个BatchNormalization layer和一个ReLU操作组成。因此，第l层的输出可以定义为：
x1＝Ht(H1[x0，x1，...，x1-1]) (4)
其中Ht是过渡层的非线性变换。为了进一步促进信息传播并使网络更易于优化，我们还在块中使用了残差连接。
具体实施方式四，本发明在注意力聚焦模块中应用空间金字塔层主要是确保输入的特征图在输出的时候具有相同的大小。注意力机制块的输出是输入特征映射和特征映射的元素相乘一个注意力掩膜矩阵。注意力掩膜矩阵由sigmoid层产生，
Mt(x)＝f(Ht(x)) (5)
具体实施方式五，本发明函数(如公式(1)所示)的值来判别形变轮廓上的标记点与病灶区域真实边缘的距离远近。当损失函数的值越大时，说明标记点距离真实边缘的距离越远，反之亦然。在本发明中我们将该损失函数整合进经典的形变轮廓分割模型中，如公式(8)所示，
其中ds是曲线C上两个标记点之间的欧氏距离，Losst(PI(x，y)，Po，Pb)分别表示以标记点(x，y)为中心的图像块与目标和背景先验特征P0和Pb的对比损失；公式(8)的第一项表示轮廓曲线的长度，I(x，y)是待分割的图像，ΩC是图像域中曲线C包围的闭合区域，该闭合区域的内外平均值分别是c1和c2。λ是控制C平滑度的固定权重。
具体实施方式六，本实施方式是对具体实施方式一的进一步限定。
具体实施方式七，本实施方式是对具体实施方式一的进一步限定，特征存储模块的对象和背景特征的对应key值分别设置为0或1。给定Nt对的训练样本，该模块包含Nt个插槽。当模块的容量已满时，可通过公式(7)进行更新：
vi＝α*vi+(1-α)|*PCA(M[v(：)，ki])，k∈{0，1}， (7)
其中M[v(:)，ki]表示由标签ki的特征组成的向量，PCA(·)表示主成分，超参数α∈[0，1]控制更新速率。
在分割图像的过程中，该特征记忆模块生成的目标和背景先验特征以及网络学习到的特征被发送到损失函数，以区分学习到的特征是靠近目标区域还是远离目标区域。具体是，我们分别对对象和背景向量以及两个特征集的协方差矩阵的最显著特征值(占总变化的98％)应用PCA。
具体实施方式八，本发明中超声成像过程中提供的人体组织某个方向(X轴、Y轴或Z轴)一系列图像切片序列。我们观察到每个切片中病变区域的轮廓形状具有相似性，并希望利用这种相似性来约束形变轮廓分割分割模型在分割该序列病变区域时的轮廓变化。
本发明将不同切片中病变区域的轮廓参数化表示为一个闭合曲线C＝[x1，...，xn，y1，...，yn]T∈R2n，其中(xi，yi)表示轮廓上的标记点。图像序列中要分割的病变区域可表示为矩阵X＝[C1，...，Cm]该矩阵可被视为待分割图像序列中病灶区域轮廓形状的变化空间。假设任何轮廓Ci可通过仿射变换从矩阵X中的其他轮廓Cτ生成，即，
其中是仿射变换矩阵。由于的维数仅取决于Ct，因此矩阵X的秩最多为6。因此，利用矩阵X的低秩属性来约束分割图像序列过程中形变轮廓的变化。
具体实施方式九，本实施方式是对具体实施方式一的进一步限定，本发明中公式(10)就是让可变形轮廓分割模型(公式(8))应用于图像序列的分割，并保持形变轮廓在分割图像序列过程中形状之间的相似性，
其中，表示由公式(8)计算得到的形变轮廓分割图像序列过程中的曲线，Rank(X)表示计算矩阵秩的运算符，Rank(X)可看做形状相似性的约束项，其中核规范||X||*可看做求解Rank(X)的近似解。在分割过程中，形变轮廓的形状小扰动可能导致Rank(X)值的变化。在本发明中，近似梯度法被用于求解公式(10)，具体如下
其中，在公式(11)中，/>可被公式(12)求解
其中pi表示轮廓上的标记点，Npi和kpi分别表示标记点pi上的法向量和曲率，||X||*可通过公式(13)求解，公式(13)引用了一种奇异值阈值算法(Singular valuethresholding)。
其中ui和vi分别是矩阵X的左、右奇异值向量，()+＝max(，0)。
在图像序列分割过程中，需要在待分割图像序列中初始化所提出的可变形轮廓模型，然后形变轮廓根据算法1搜索图像序列过程中病灶区域的边缘。在形变轮廓搜索目标边缘的过程中，低秩属性可用来约束可变形轮廓的演化，且算法1详细地描述了该过程。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种深度孪生网络改进形变轮廓模型的方法，包括网络改进形变轮廓模型，其特征在于：所述网络改进形变轮廓模型的主体架构是一个孪生卷积网络，主要是为训练一个损失函数，该损失函数可为形变轮廓提供搜索目标边缘的评价值；训练所述孪生卷积网络架构的输入数据是一系列的图像对，其中每个分支有相同的结构和参数，其中，损失函数的定义如下：
Losst(p，a，n)＝da，p+max((da，p-da,n+α),0), (1)，
在公式(1)中，α表示训练参数，输入变量p、a、n分别表示正样本、锚样本和负样本；距离在输入变量之间，可以通过公式(2)计算得到：
在公式(2)中，a和b表示两个输入数据，fa和fb是两个输入数据的L2归一化特征，网络的训练数据包括许多图像对和相应的标签y∈0，1；
所述网络改进形变轮廓模型的每个分支结构由一个卷积层、三个密集连接残差模块DCRB、三个注意力聚焦模块AFB、三个平均池化层、一个空间金字塔池SPP层和一个完全连接层FC组成；其中的平均池化层的滑动跨步为两个像素，其降低特征图的分辨率，但增加演化层的感受野；
让可变形轮廓分割模型应用于图像序列的分割，并保持形变轮廓在分割图像序列过程中形状之间的相似性；
其中，表示得到的形变轮廓分割图像序列过程中的曲线，Rank(X)表示计算矩阵秩的运算符，Rank(X)看做形状相似性的约束项，其中，核规范||X||*看做求解Rank(X)的近似解；在分割过程中，形变轮廓的形状小扰动可能导致Rank(X)值的变化；近似梯度法被用于求解公式(10)，具体如下：
其中，在公式(11)中，可被公式(12)求解；
其中pi表示轮廓上的标记点,Npi和kpi分别表示标记点pi上的法向量和曲率，||X||*可通过公式(13)求解，公式(13)引用了一种奇异值阈值算法；
其中ui和vi分别是矩阵X的左、右奇异值向量，()+＝max(，0)。
在图像序列分割过程中，需要在待分割图像序列中初始化所提出的可变形轮廓模型，然后形变轮廓根据所述孪生卷积网络架构算法搜索图像序列过程中病灶区域的边缘；在形变轮廓搜索目标边缘的过程中，低秩属性用来约束可变形轮廓的演化。
2.根据权利要求1所述的一种深度孪生网络改进形变轮廓模型的方法，其特征在于：所述网络模型中的DCRB旨在通过促进网络内的特征传播来缓解传统深度卷积神经网络训练过程中存在的梯度消失问题，实现所述网络中每个卷积层的输出由一系列的密集连接所有后续的卷积层，并将所有后续卷积层生成的特征图连接起来作为后续层的输入。
3.根据权利要求1所述的一种深度孪生网络改进形变轮廓模型的方法，其特征在于：所述AFB位于两个DCRB之间，其作用是通过在网络工作中引入空间注意机制，使得网络在训练过程中聚焦目标对象所在区域，从而减少待分割图像中因素的影响。
4.根据权利要求1所述的一种深度孪生网络改进形变轮廓模型的方法，其特征在于：所述SPP能够确保该网络的输入图像在尺寸不同的情况下输出的特征图具有相同的尺寸大小，且在网络末端FC生成输入数据的特征。
5.根据权利要求1所述的一种深度孪生网络改进形变轮廓模型的方法，其特征在于：所述密集连接残差模块增强深度神经网络的特征传播性能，并有效地缓解传统深度卷积神经网络随着网络层数增加导致的特征传播过程中梯度消失问题。
6.根据权利要求1所述的一种深度孪生网络改进形变轮廓模型的方法，其特征在于：所述网络中的注意力聚焦模块主要用于使网络在特征学习阶段聚焦于病变区域，实现该模块由空间金字塔层归一化特征图的尺寸，然后使用将特征图的每个元素与Sigmoid层相乘。
7.根据权利要求1所述的一种深度孪生网络改进形变轮廓模型的方法，其特征在于：网络改进形变轮廓模型中的特征存储模块为key-value结构，用于存储目标、背景特征向量，所述模块可看作是目标、背景的先验特征空间，模块中的对象和背景特征向量由网络的FC层给出，然后对其及逆行L2范数的归一化，所述特征存储模块中的Value结构用于存储特征向量，Key结构用于标注该特征向量是“目标”或“背景”。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210066545.7A CN115018754B (zh) | 2022-01-20 | 2022-01-20 | 一种深度孪生网络改进形变轮廓模型的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210066545.7A CN115018754B (zh) | 2022-01-20 | 2022-01-20 | 一种深度孪生网络改进形变轮廓模型的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115018754A CN115018754A (zh) | 2022-09-06 |
| CN115018754B true CN115018754B (zh) | 2023-08-18 |
Family
ID=83066911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210066545.7A Active CN115018754B (zh) | 2022-01-20 | 2022-01-20 | 一种深度孪生网络改进形变轮廓模型的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018754B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116403164B (zh) * | 2023-04-20 | 2024-01-30 | 慧铁科技股份有限公司 | 一种铁路货车车辆缓解阀拉杆缺件识别方和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107093184A (zh) * | 2017-04-11 | 2017-08-25 | 湖北理工学院 | 一种基于稀疏特征和形状相关性的超声图像序列分割方法 |
| CN111354017A (zh) * | 2020-03-04 | 2020-06-30 | 江南大学 | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 |
| CN111428575A (zh) * | 2020-03-02 | 2020-07-17 | 武汉大学 | 一种基于孪生网络的针对模糊目标的跟踪方法 |
| CN112819762A (zh) * | 2021-01-22 | 2021-05-18 | 南京邮电大学 | 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法 |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN113569815A (zh) * | 2021-09-22 | 2021-10-29 | 速度时空信息科技股份有限公司 | 基于图像分割与孪生神经网络的遥感影像变化的检测方法 |
| EP3905107A1 (en) * | 2020-04-29 | 2021-11-03 | Robert Bosch GmbH | Computer-implemented method for 3d localization of an object based on image data and depth data |
-
2022
- 2022-01-20 CN CN202210066545.7A patent/CN115018754B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107093184A (zh) * | 2017-04-11 | 2017-08-25 | 湖北理工学院 | 一种基于稀疏特征和形状相关性的超声图像序列分割方法 |
| CN111428575A (zh) * | 2020-03-02 | 2020-07-17 | 武汉大学 | 一种基于孪生网络的针对模糊目标的跟踪方法 |
| CN111354017A (zh) * | 2020-03-04 | 2020-06-30 | 江南大学 | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 |
| EP3905107A1 (en) * | 2020-04-29 | 2021-11-03 | Robert Bosch GmbH | Computer-implemented method for 3d localization of an object based on image data and depth data |
| CN112819762A (zh) * | 2021-01-22 | 2021-05-18 | 南京邮电大学 | 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法 |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN113569815A (zh) * | 2021-09-22 | 2021-10-29 | 速度时空信息科技股份有限公司 | 基于图像分割与孪生神经网络的遥感影像变化的检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 结合高斯过程和形变模型的超声图像分割方法;倪波 等;《计算机工程与应用》;第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115018754A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022166800A1 (zh) | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 | |
| CN113077471A (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN106683104B (zh) | 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 | |
| US20070014457A1 (en) | Method for knowledge based image segmentation using shape models | |
| CN111524170B (zh) | 一种基于无监督深度学习的肺部ct图像配准方法 | |
| CN113888475A (zh) | 图像检测方法及相关模型的训练方法、相关装置和设备 | |
| CN115018754B (zh) | 一种深度孪生网络改进形变轮廓模型的方法 | |
| CN111080658A (zh) | 基于可形变配准和dcnn的宫颈mri图像分割方法 | |
| Alchatzidis et al. | A discrete MRF framework for integrated multi-atlas registration and segmentation | |
| CN115082493A (zh) | 基于形状引导对偶一致性的3d心房图像分割方法及系统 | |
| CN116883462A (zh) | 基于loftr网络模型和改进粒子群算法的医学图像配准方法 | |
| Wei et al. | AKFNET: an anatomical knowledge embedded few-shot network for medical image segmentation | |
| Alvén et al. | Shape-aware label fusion for multi-atlas frameworks | |
| Chen et al. | Spatially-varying regularization with conditional transformer for unsupervised image registration | |
| CN114240844B (zh) | 一种医学图像中无监督的关键点定位和目标检测方法 | |
| Appia et al. | A regions of confidence based approach to enhance segmentation with shape priors | |
| Tian et al. | SAME++: A Self-supervised Anatomical eMbeddings Enhanced medical image registration framework using stable sampling and regularized transformation | |
| CN114359308A (zh) | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 | |
| Fan et al. | Deep feature descriptor based hierarchical dense matching for X-ray angiographic images | |
| CN112508844A (zh) | 一种基于弱监督的大脑磁共振图像分割方法 | |
| Lotenberg et al. | Shape priors for segmentation of the cervix region within uterine cervix images | |
| Alker et al. | Improving the robustness in extracting 3D point landmarks from 3D medical images using parametric deformable models | |
| Taron et al. | Uncertainty-driven non-parametric knowledge-based segmentation: The corpus callosum case | |
| CN113592890B (zh) | 一种ct图像肝脏分割方法及装置 | |
| Farsana et al. | Dilated multi-scale-link net with merged self attention based fetal head segmentation using 2d ultra sound image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |