CN109508787A - 用于超声位移估计的神经网络模型训练方法及系统 - Google Patents

用于超声位移估计的神经网络模型训练方法及系统 Download PDF

Info

Publication number
CN109508787A
CN109508787A CN201811202884.3A CN201811202884A CN109508787A CN 109508787 A CN109508787 A CN 109508787A CN 201811202884 A CN201811202884 A CN 201811202884A CN 109508787 A CN109508787 A CN 109508787A
Authority
CN
China
Prior art keywords
neural network
twin
matrix
object block
model training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811202884.3A
Other languages
English (en)
Inventor
陆敏华
闭祖悦
毛睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201811202884.3A priority Critical patent/CN109508787A/zh
Publication of CN109508787A publication Critical patent/CN109508787A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像识别领域，提供了用于超声位移估计的神经网络模型训练方法，包括：将目标块和搜索块输入孪生神经网络，该孪生神经网络的两条支路利用权重共享的DenseNet执行特征提取，得到特征图，对该孪生神经网络的两路支路计算得到的特征图进行卷积计算，将得到的互相关系数得分图与真实值作对比，将得到的差异结果进行反向传播，实现对该孪生神经网络各层的权重的调整和网络的优化。本发明实施例利用深度神经网络提取超声射频数据的深层语义特征，增强位移估计的准确性和鲁棒性，将当前处理的数据与现有的其他数据建立联系，充分地利用和挖掘现有数据的特征，提高数据的利用率。

Description

用于超声位移估计的神经网络模型训练方法及系统
技术领域
本发明属于图像识别技术领域，尤其涉及一种用于超声位移估计的神经网络模型训练方法及系统。
背景技术
软组织的病变常常伴随着组织硬度的改变。例如，乳腺或者前列腺实质性肿瘤的硬度要大于正常组织，而液性囊肿的硬度小于正常组织。超声弹性成像技术可以对组织力学属性(如组织弹性、组织硬度)进行成像，为临床疾病诊断提供更加丰富的功能信息。
传统的用于超声弹性成像的位移估计算法都是基于射频数据矩阵的时域和频域的块匹配算法。块匹配算法基于平移运动进行运动估计，首先在超声图像序列的当前帧中设定一个矩形区域块，在后一帧中设定一个搜索区域，然后根据一定的匹配准则来确定当前帧中矩形区域块与后一帧的相对位移。按照不同的搜索策略，可以将块匹配算法分为全搜索块匹配法和快速块匹配法(如菱形搜索法、预测互相关算法等)。射频矩阵包含了超声信号的幅度和相位信息，但是目标区域与其邻近区域之间的信号特征不明显、区分度不高，特别是在噪声和组织分层等不连续区域处容易出现估计误差。而且，传统的位移估计算法鲁棒性和准确性不够好，其只针对当前一组数据独立地进行处理和分析，没能将当前处理的数据与现有的其他数据建立联系，未能充分地挖掘和利用数据。
发明内容
本发明所要解决的技术问题在于提供一种用于超声位移估计的神经网络模型训练方法及系统，旨在解决现有技术在进行位移估计时，鲁棒性和准确性不够好，且无法将当前处理的数据与现有的其他数据建立联系，不能充分地挖掘和利用数据的问题。
本发明是这样实现的，一种用于超声位移估计的神经网络模型训练方法，包括：
将已标注的数据的目标块和搜索区域块输入待训练的孪生神经网络中，其中，所述孪生神经网络包括第一支路和第二支路，所述目标块输入所述第一支路，所述搜索区域块输入所述第二支路；
所述孪生神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征，得到所述目标块的特征图和所述搜索区域块的特征图；
以所述目标块的特征图作为卷积核，与所述搜索区域块的特征图执行深度可分卷积计算，得到互相关系数得分图；
根据自定义损失函数计算所述互相关系数得分图与真实值的差异，得到差异结果；
对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重，完成所述孪生神经网络的训练。
进一步地，通过以下二维卷积公式执行深度可分卷积计算：
其中，矩阵A、矩阵B分别表示卷积核、被卷积矩阵，C(s,t)表示矩阵B中坐标(s,t)处的卷积结果，矩阵A的行数和列数分别为Mr、Mc，矩阵B的行数和列数分别为Nr、Nc，s、t满足条件：0≤s≤Mr+Nr-1，0≤t≤Mc+Nc-1。
进一步地，所述计算所述互相关系数得分图与真实值的差异，得到差异结果包括：
以均方差作为所述孪生神经网络的损失函数，所述损失函数表示为：其中，y_表示所述孪生神经网络的预测值，y表示所述真实值，D表示矩形ROI区域；
根据所述损失函数，计算所述互相关系数得分图与所述真实值的差异，得到差异结果；
所述真实值表示为：c表示标注的正确位置。
进一步地，所述对所述差异结果进行反向传播包括：
根据所述差异结果，利用随机梯度下降法进行反向传播。
进一步地，所述对所述差异结果进行反向传播包括：
根据所述差异结果，利用优化器进行反向传播，所述优化器包括AdagradOptimizer、MomentumOptimizer或AdamOptimizer中的一种。
进一步地，所述神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征的过程中，通过调整DenseNet的结构和参数来优化深层语义特征提取。
本发明实施例还提供了一种用于超声位移估计的神经网络模型训练系统，包括：
输入单元，用于将已标注的数据的目标块和搜索区域块输入待训练的孪生神经网络中，其中，所述孪生神经网络包括第一支路和第二支路，所述目标块输入所述第一支路，所述搜索区域块输入所述第二支路；
提取单元，用于控制所述孪生神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征，得到所述目标块的特征图和所述搜索区域块的特征图；
计算单元，用于以所述目标块的特征图作为卷积核，与所述搜索区域块的特征图执行深度可分卷积计算，得到互相关系数得分图；根据自定义损失函数计算所述互相关系数得分图与真实值的差异，得到差异结果；
获取单元，用于对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重，完成所述孪生神经网络的训练。
进一步地，所述计算单元通过以下二维卷积公式执行深度可分卷积计算：
其中，矩阵A、矩阵B分别表示卷积核、被卷积矩阵，C(s,t)表示矩阵B中坐标(s,t)处的卷积结果，矩阵A的行数和列数分别为Mr、Mc，矩阵B的行数和列数分别为Nr、Nc，s、t满足条件：0≤s≤Mr+Nr-1，0≤t≤Mc+Nc-1；
并以均方差作为所述孪生神经网络的损失函数，所述损失函数表示为：其中，y_表示所述孪生神经网络的预测值，y表示所述真实值，D表示矩形ROI区域；
根据所述损失函数，计算所述互相关系数得分图与所述真实值的差异，得到差异结果；
所述真实值表示为：c表示标注的正确位置。
本发明实施例还提供了一种终端，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述所述的用于超声位移估计的神经网络模型训练方法中的各个步骤。
本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述所述的用于超声位移估计的神经网络模型训练方法中的各个步骤。
本发明与现有技术相比，有益效果在于：本发明实施例将目标块和搜索块输入孪生神经网络，该孪生神经网络的两条支路利用权重共享的DenseNet执行特征提取，得到特征图，对该孪生神经网络的两路支路计算得到的特征图进行卷积计算，将得到的互相关系数得分图与真实值作对比，将得到的差异结果进行反向传播，实现对该孪生神经网络各层的权重的调整和网络的优化。本发明实施例利用深度神经网络提取超声射频数据的深层语义特征，增强位移估计的准确性和鲁棒性，将当前处理的数据与现有的其他数据建立联系，充分地利用和挖掘现有数据的特征，提高数据的利用率。
附图说明
图1是本发明实施例提供的用于超声位移估计的神经网络模型训练方法的流程图；
图2是本发明实施例提供的孪生神经网络的结构示意图；
图3是本发明实施例提供的用于超声位移估计的神经网络模型训练系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明实施例提供的一种用于超声位移估计的神经网络模型训练方法，包括：
S101，将已标注的数据的目标块和搜索区域块输入待训练的孪生神经网络中，其中，所述孪生神经网络包络第一支路和第二支路，所述目标块输入所述第一支路，所述搜索区域块输入所述第二支路；
S102，所述孪生神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征，得到所述目标块的特征图和所述搜索区域块的特征图；
S103，以所述目标块的特征图作为卷积核，与所述搜索区域块的特征图执行深度可分卷积计算，得到互相关系数得分图；
S104，根据自定义损失函数计算所述互相关系数得分图与真实值的差异，得到差异结果；
S105，对所述差异结果进行反向传播，以调整所述神经网络中各层的权重，完成所述孪生神经网络的训练，训练后的该孪生神经网络是一个位移运动跟踪效果更好的神经网络，能够实现端对端地跟踪输入数据中目标块在后续各帧中的位移。
在本发明实施例中，利用深度学习来对超声弹性成像进行位移估计，具体地，随着近年科技发展，深度学习颠覆了语音识别、图像分类、文本理解等众多领域算法设计思路，渐渐形成了一种从训练数据出发，经过一个端到端的模型，然后直接输出得到最终结果的一种新模式，而且由于深度学习中的每一层都可以为了最终的任务来调整自己，最终实现各层之间的通力合作，因而可以大大提高任务的准确度。随着大数据时代的到来，以及FPGA(Field－Programmable Gate Array，即现场可编程门阵列)和GPU(Graphics ProcessingUnit，图形处理器)等各种更加强大的计算设备的发展，深度学习得到更深层的发展，可以充分利用各种海量数据，如标注数据、弱标注数据或者仅仅数据本身，完全自动地学习到抽象的知识表达，即把原始数据抽象成不同的深层语义特征，并开始应用在各种实际的场景中，使得很多设备或者系统更加智能化。
基于深度学习的位移估计算法对已有数据进行学习并提取深层语义信息，既能提高位移估计的准确性和鲁棒性，也能在不同的数据之间建立联系，提高数据的利用率，执行更高效的数据挖掘，同时也能增加方法的适用性。具体地，深度神经网络对大数据进行处理，若干数据参与了网络的学习和训练，这种方法本身就是在数据之间建立联系，所以最后训练好的网络已经挖掘了不同数据的特征并包含了不同数据的信息。
深度学习的动机在于建立模拟人脑进行分析学习的神经网络，其本质是对观察数据进行分层特征表示，实现将低级特征进一步抽象成高级特征表示。深度学习的图像处理方法目前大多应用在计算机视觉领域，其处理对象是图像的像素矩阵。在超声领域中，对射频数据执行一系列处理(包括IQ解调、降采样、取包络、对数压缩、几何变换等)后得到的B-mode图像的像素矩阵由于显示维度的限制，只保留了超声原始信号的幅度信息，丢失了其相位信息。若仅用深度学习的方法来处理只保留了超声原始信号幅度信息的B-mode图像数据，不仅有可能会造成估计误差，也不能更充分地利用数据。
深度学习的方法被广泛应用于基于计算机视觉图像(如：分割、分类、目标追踪任务)、语音识别等领域，在医学图像领域中深度学习的应用也大多集中在执行的分割、分类任务，目前尚未发现将深度学习应用于组织位移估计的先例，尤其是将深度学习方法应用在基于超声原始射频数据的位移估计。因此，在本发明实施例中，利用深度神经网络充分利用超声射频数据中幅度和相位的信息，提取超声射频数据的深层语义特征，增强位移估计的准确性和鲁棒性，将当前处理的数据与现有的其他数据建立联系，充分地利用和挖掘现有数据的特征，提高数据的利用率。
下面，以随机梯度下降法进行反向传播为例，对本发明实施例进行进一步地阐述：
本发明实施例中采用的基本框架是孪生神经网络，通过共享权重来实现神经网络的“孪生”，进而来衡量两个输入的相似程度。首先分别将初始帧图像中的目标块和后续帧中的搜索区域块作为孪生神经网络的两个输入，该孪生神经网络的两条支路利用权重共享的DenseNet执行特征提取，进而将两个输入映射到新的空间，形成输入在新的空间中的表示，即特征图，然后对该孪生神经网络的两路支路计算得到的特征图执行深度可分卷积，将卷积的结果与真实值(Ground Truth)作对比，以均方差作为孪生网络的损失函数(LossFunction)。最后使用随机梯度下降法对损失计算的结果(Loss)进行反向传播，实现对神经网络各层的权重的调整和网络的优化，得到一个位移运动跟踪效果更好的神经网络，实现端对端地跟踪输入数据中目标块在后续各帧中的位移。
一、卷积神经网络：
卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它主要包括卷积层(convolutional layer)和池化层(pooling layer)。
(1)卷积层：
卷积其实就是内积，根据多个一定的权重(即卷积核)，对一个块的像素进行内积运算，其输出就是提取的特征之一，卷积层中每一个节点的输入只是上一层神经网络的一小块(通常的大小有3*3或5*5)。卷积层试图将神经网络中的每一小块进行更加深入地分析从而得到抽象程度更高的深层语义特征。二维卷积的计算公式如下：
其中，矩阵A、矩阵B分别代表卷积核、被卷积矩阵，C(s,t)代表对应矩阵B中坐标(s,t)处的卷积结果，矩阵A的行数和列数分别为Mr、Mc，矩阵B的行数和列数分别为Nr、Nc，s、t满足条件：0≤s≤Mr+Nr-1，0≤t≤Mc+Nc-1。
(2)池化层：
池化操作不会改变三维矩阵的深度，但能够使数据的敏感度大大降低，更多地保留纹理信息，同时也在保留数据信息的基础上降低了数据的计算复杂度。以最大池化为例，最大池化即选定区域的最大值作为该区域池化后的值。
二、DenseNet：
在深度学习网络中，随着神经网络深度的加深，梯度消失问题会愈加明显，DenseNet的网络连接方式使得特征和梯度的传递更加有效，网络也就更加容易训练。这个结构进一步使用了shortcut connections，将所有的层互相连接起来，在这个架构中，每一层的输入都包含了较早层的特征图，而且其输出被传递到每个后续层。这些特征图通过depth concatenation深度级联在一起，能够增加输出的多样性，进而促进特征重用。
三、孪生神经网络：
如图2所示，神经网络的“连体”是通过共享权值来实现的，孪生神经网络可用于提取两个输入的深层语义特征。孪生神经网络有两个输入(Input1 and Input2)，将两个输入孪生神经网络的两个支路(Network1 and Network2)，这两个支路分别将输入映射到新的空间，形成输入在新的空间中的表示，得到各自的特征图。
四、Ground Truth：
深度学习中的Ground Truth就是网络计算结果的参考标准(或称真实值)，用于量化孪生神经网络的计算误差，该误差用于孪生神经网络的反向传播及网络参数的调整和优化。本发明实施例中对真实值的定义如下：
其中，其中c为人工标注的正确位置，D为矩形ROI区域。
五、损失函数：
损失函数度量的是预测值与真实值之间的差异。本发明实施例中损失函数的定义如下：
其中，y_代表了孪生神经网络的预测值，y代表了真实值Ground Truth，D为矩形ROI区域。
六、随机梯度下降：
随机梯度下降的核心是：梯度是期望。期望可使用小规模的样本近似估计。具体而言，在算法的每一步，本实施例从训练集中均匀抽出一小批量(minibatch)样本B＝{x(1),…,x(m’)}。小批量的数目m’通常是一个相对较小的数，从一到几百。重要的是，当训练集大小m增长时，m’通常是固定的。
本发明实施例的孪生神经网络执行的是回归任务，回归的结果是每组初始的目标块在后续各帧中的坐标。
本发明实施例中采用的步骤具体包括：
1、将人工标注好的训练数据中的将目标块和搜索区域块分别输入孪生神经网络的两条支路；
2、用DenseNet提取两个输入的深层语义特征；
3、把从支路提取的目标块的特征图作为卷积核，与另一网络支路提取的搜索区域块的特征图执行公式1的深度可分卷积计算，进行相似性度量，计算结果称为互相关系数得分图。
4、根据公式3提供的损失函数，计算互相关系数得分图与Ground Truth的差异。
5、根据损失函数的计算结果，应用随机梯度下降法进行反向传播，调整神经网络中各层的权重，实现神经网络对数据的学习和网络的优化。
6、完成网络训练后，将测试数据输入训练好的网络，得到每组数据中各个目标块在后续各帧中的位移。
在具体使用中，一个病人的超声射频数据是一个三维数组(帧数*成像深度*成像宽度)，假设有100帧超声射频数据，选定第一帧数据中感兴趣矩形区域作为目标块(如N*N)，在后续帧中选择以目标块为中心的矩形区域作为搜索区域(如3N*3N)，对目标块和搜索区域块提取的特征图矩阵执行卷积计算，卷积计算得到的得分图中最大值对应的坐标即认为是目标块在该后续帧中的预测位置。孪生神经网络训练时，只需要执行到卷积计算得到得分图，然后将得分图与真实值ground truth按照损失函数的定义计算损失值，再用一定的反向传播优化器利用该损失值执行网络参数的调整和优化。
具体地，在本发明实施例中，输入--提取特征--卷积计算--预测位移估计结果--反向传播调整网络参数，这个工作流程称为网络训练，目的是调整网络各层的权重参数，最后的结果是得到一个参数优化后的网络，网络训练完成后，网络各层的权重参数和网络结构就固定不变了，不需要再进行反向传播调整网络参数，之后可以直接利用这个调整好参数的固定的神经网络进行位移估计，此时流程为：输入--提取特征--卷积计算--预测位移估计结果。
图3示出了本发明实施例提供的一种用于超声位移估计的神经网络模型训练系统，包括：
输入单元301，用于将已标注的数据的目标块和搜索区域块输入待训练的孪生神经网络中，其中，所述孪生神经网络包括第一支路和第二支路，所述目标块输入所述第一支路，所述搜索区域块输入所述第二支路；
提取单元302，用于控制所述孪生神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征，得到所述目标块的特征图和所述搜索区域块的特征图；
计算单元302，用于以所述目标块的特征图作为卷积核，与所述搜索区域块的特征图执行深度可分卷积计算，得到互相关系数得分图；根据自定义损失函数计算所述互相关系数得分图与真实值的差异，得到差异结果；
获取单元304，用于对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重，完成所述孪生神经网络的训练。
进一步地，所述神经网络为孪生神经网络，所述孪生神经网络中包括共享权重的第一支路和第二支路。
进一步地，提取单元302具体用于：
所述第一支路和所述第二支路分别利用权重共享的DenseNet进行深层语义特征提取；
将所述目标块和所述搜索区域块映射到新的空间，根据提取的深层语义特征形成所述目标块和所述搜索区域块在新的空间中的特征图。
进一步地，计算单元302通过以下公式执行深度可分卷积计算：
其中，矩阵A、矩阵B分别代表卷积核、被卷积矩阵，C(s,t)代表对应矩阵B中坐标(s,t)处的卷积结果，矩阵A的行数和列数分别为Mr、Mc，矩阵B的行数和列数分别为Nr、Nc，s、t满足条件：0≤s≤Mr+Nr-1，0≤t≤Mc+Nc-1。
进一步地，计算单元302还用于：
以均方差作为所述神经网络的损失函数，所述损失函数表示为：其中，y_表示所述神经网络的预测值，y表示真实值，D表示矩形ROI区域；
根据所述损失函数，计算所述互相关系数得分图与真实值Ground Truth的差异，得到差异结果；
所述真实值Ground Truth表示为：c表示已标注的正确位置。
进一步地，获取单元304具体用于：
根据所述差异结果，利用随机梯度下降法进行反向传播；
或：
根据所述差异结果，利用优化器进行反向传播，所述优化器包括AdagradOptimizer、MomentumOptimizer或AdamOptimizer中的一种。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种用于超声位移估计的神经网络模型训练方法及系统的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于超声位移估计的神经网络模型训练方法，其特征在于，包括：
将已标注的数据的目标块和搜索区域块输入待训练的孪生神经网络中，其中，所述孪生神经网络包括第一支路和第二支路，所述目标块输入所述第一支路，所述搜索区域块输入所述第二支路；
所述孪生神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征，得到所述目标块的特征图和所述搜索区域块的特征图；
以所述目标块的特征图作为卷积核，与所述搜索区域块的特征图执行深度可分卷积计算，得到互相关系数得分图；
根据自定义损失函数计算所述互相关系数得分图与真实值的差异，得到差异结果；
对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重，完成所述孪生神经网络的训练。
2.如权利要求1所述的神经网络模型训练方法，其特征在于，通过以下二维卷积公式执行深度可分卷积计算：
其中，矩阵A、矩阵B分别表示卷积核、被卷积矩阵，C(s,t)表示矩阵B中坐标(s,t)处的卷积结果，矩阵A的行数和列数分别为Mr、Mc，矩阵B的行数和列数分别为Nr、Nc，s、t满足条件：0≤s≤Mr+Nr-1，0≤t≤Mc+Nc-1。
3.如权利要求1所述的神经网络模型训练方法，其特征在于，所述计算所述互相关系数得分图与真实值的差异，得到差异结果包括：
以均方差作为所述孪生神经网络的损失函数，所述损失函数表示为：其中，y_表示所述孪生神经网络的预测值，y表示所述真实值，D表示矩形ROI区域；
根据所述损失函数，计算所述互相关系数得分图与所述真实值的差异，得到差异结果；
所述真实值表示为：c表示标注的正确位置。
4.如权利要求6所述的神经网络模型训练方法，其特征在于，所述对所述差异结果进行反向传播包括：
根据所述差异结果，利用随机梯度下降法进行反向传播。
5.如权利要求6所述的神经网络模型训练方法，其特征在于，所述对所述差异结果进行反向传播包括：
根据所述差异结果，利用优化器进行反向传播，所述优化器包括AdagradOptimizer、MomentumOptimizer或AdamOptimizer中的一种。
6.如权利要求1所述的神经网络模型训练方法，其特征在于，所述神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征的过程中，通过调整DenseNet的结构和参数来优化深层语义特征提取。
7.一种用于超声位移估计的神经网络模型训练系统，其特征在于，包括：
输入单元，用于将已标注的数据的目标块和搜索区域块输入待训练的孪生神经网络中，其中，所述孪生神经网络包括第一支路和第二支路，所述目标块输入所述第一支路，所述搜索区域块输入所述第二支路；
提取单元，用于控制所述孪生神经网络利用权重共享的DenseNet提取所述目标块和所述搜索区域块的深层语义特征，得到所述目标块的特征图和所述搜索区域块的特征图；
计算单元，用于以所述目标块的特征图作为卷积核，与所述搜索区域块的特征图执行深度可分卷积计算，得到互相关系数得分图；根据自定义损失函数计算所述互相关系数得分图与真实值的差异，得到差异结果；
获取单元，用于对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重，完成所述孪生神经网络的训练。
8.如权利要求1所述的神经网络模型训练系统，其特征在于，所述计算单元通过以下二维卷积公式执行深度可分卷积计算：
其中，矩阵A、矩阵B分别表示卷积核、被卷积矩阵，C(s,t)表示矩阵B中坐标(s,t)处的卷积结果，矩阵A的行数和列数分别为Mr、Mc，矩阵B的行数和列数分别为Nr、Nc，s、t满足条件：0≤s≤Mr+Nr-1，0≤t≤Mc+Nc-1；
并以均方差作为所述孪生神经网络的损失函数，所述损失函数表示为：其中，y_表示所述孪生神经网络的预测值，y表示所述真实值，D表示矩形ROI区域；
根据所述损失函数，计算所述互相关系数得分图与所述真实值的差异，得到差异结果；
所述真实值表示为：c表示标注的正确位置。
9.一种终端，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任意一项所述的用于超声位移估计的神经网络模型训练方法中的各个步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至6任意一项所述的用于超声位移估计的神经网络模型训练方法中的各个步骤。
CN201811202884.3A 2018-10-16 2018-10-16 用于超声位移估计的神经网络模型训练方法及系统 Pending CN109508787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811202884.3A CN109508787A (zh) 2018-10-16 2018-10-16 用于超声位移估计的神经网络模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811202884.3A CN109508787A (zh) 2018-10-16 2018-10-16 用于超声位移估计的神经网络模型训练方法及系统

Publications (1)

Publication Number Publication Date
CN109508787A true CN109508787A (zh) 2019-03-22

Family

ID=65746670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811202884.3A Pending CN109508787A (zh) 2018-10-16 2018-10-16 用于超声位移估计的神经网络模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN109508787A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136111A (zh) * 2019-05-14 2019-08-16 深圳大学 一种心脏运动估计方法、系统及终端设备
CN110379416A (zh) * 2019-08-15 2019-10-25 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN110806260A (zh) * 2019-10-22 2020-02-18 天津大学 一种基于神经网络的超声悬浮三维操纵控制方法及系统
CN112348811A (zh) * 2020-12-04 2021-02-09 深圳大学 深度学习图像的配准方法、装置、电子设备及存储介质
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
CN112862096A (zh) * 2021-02-04 2021-05-28 百果园技术(新加坡)有限公司 一种模型训练和数据处理方法、装置、设备及介质
CN113205049A (zh) * 2021-05-07 2021-08-03 开放智能机器（上海）有限公司 一种单据识别方法以及识别系统
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
CN107145900A (zh) * 2017-04-24 2017-09-08 清华大学 基于一致性约束特征学习的行人再识别方法
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
CN108388888A (zh) * 2018-03-23 2018-08-10 腾讯科技（深圳）有限公司 一种车辆识别方法、装置和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
CN107145900A (zh) * 2017-04-24 2017-09-08 清华大学 基于一致性约束特征学习的行人再识别方法
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
CN108388888A (zh) * 2018-03-23 2018-08-10 腾讯科技（深圳）有限公司 一种车辆识别方法、装置和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ERICA M. RUTTER ETC.: "Automated Object Tracing for Biomedical Image Segmentation Using a Deep Convolutional Neural Network", 《SPRINGERLINK》 *
LUCA BERTINETTO ETC: "Fully-Convolutional Siamese Networks for Object Tracking", 《SPRINGER》 *
MOHAMED H. ABDELPAKEY ETC.: "DensSiam: End-to-End Densely-Siamese Network with Self-Attention Model for Object Tracking", 《ARXIV》 *
威后: "二维卷积/矩阵卷积", 《CSDN》 *
沈雁等: "基于改进深度孪生网络的分类器及其应用", 《计算机工程与应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136111A (zh) * 2019-05-14 2019-08-16 深圳大学 一种心脏运动估计方法、系统及终端设备
CN110136111B (zh) * 2019-05-14 2021-08-10 深圳大学 一种心脏运动估计方法、系统及终端设备
CN110379416A (zh) * 2019-08-15 2019-10-25 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN110379416B (zh) * 2019-08-15 2021-10-22 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN110806260A (zh) * 2019-10-22 2020-02-18 天津大学 一种基于神经网络的超声悬浮三维操纵控制方法及系统
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
CN112348811A (zh) * 2020-12-04 2021-02-09 深圳大学 深度学习图像的配准方法、装置、电子设备及存储介质
CN112862096A (zh) * 2021-02-04 2021-05-28 百果园技术(新加坡)有限公司 一种模型训练和数据处理方法、装置、设备及介质
CN113205049A (zh) * 2021-05-07 2021-08-03 开放智能机器（上海）有限公司 一种单据识别方法以及识别系统
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统
CN117115167B (zh) * 2023-10-24 2023-12-29 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统

Similar Documents

Publication Publication Date Title
CN109508787A (zh) 用于超声位移估计的神经网络模型训练方法及系统
CN109242844B (zh) 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质
Solovyev et al. 3D convolutional neural networks for stalled brain capillary detection
CN110503654A (zh) 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
Hoseini et al. An efficient implementation of deep convolutional neural networks for MRI segmentation
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
Zhang et al. Review of breast cancer pathologigcal image processing
CN108288070A (zh) 一种神经指纹提取分类方法及系统
Shi et al. Automatic segmentation of cardiac magnetic resonance images based on multi-input fusion network
CN108447551A (zh) 一种基于深度学习的靶区自动勾画方法、设备和存储介质
CN105389589A (zh) 一种基于随机森林回归的胸腔x光片肋骨检测方法
CN105868572A (zh) 一种基于自编码器的心肌缺血位置的预测方法
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
Chen et al. A novel convolutional neural network for kidney ultrasound images segmentation
Sirjani et al. Automatic cardiac evaluations using a deep video object segmentation network
Saueressig et al. Exploring graph-based neural networks for automatic brain tumor segmentation
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis
Yuan et al. ResD-Unet research and application for pulmonary artery segmentation
Banerjee et al. A CADe system for gliomas in brain MRI using convolutional neural networks
Yong et al. Automatic ventricular nuclear magnetic resonance image processing with deep learning
Wu et al. A fully convolutional network feature descriptor: Application to left ventricle motion estimation based on graph matching in short-axis MRI
Yu et al. 3D Medical Image Segmentation based on multi-scale MPU-Net
Fang et al. Ultrasound image segmentation using an active contour model and learning-structured inference
CN116402987A (zh) 基于扩散模型及3DTransformer的三维分割方法、系统、设备及介质
Niepceron et al. Brain tumor detection using selective search and pulse-coupled neural network feature extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190322