CN110097580B - 一种超声图像标志物运动追踪方法 - Google Patents

一种超声图像标志物运动追踪方法 Download PDF

Info

Publication number
CN110097580B
CN110097580B CN201910204307.6A CN201910204307A CN110097580B CN 110097580 B CN110097580 B CN 110097580B CN 201910204307 A CN201910204307 A CN 201910204307A CN 110097580 B CN110097580 B CN 110097580B
Authority
CN
China
Prior art keywords
tumor
image
marker
tumor marker
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910204307.6A
Other languages
English (en)
Other versions
CN110097580A (zh
Inventor
李登旺
黄浦
孔问问
吴敬红
虞刚
陆华
刘丹华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201910204307.6A priority Critical patent/CN110097580B/zh
Publication of CN110097580A publication Critical patent/CN110097580A/zh
Application granted granted Critical
Publication of CN110097580B publication Critical patent/CN110097580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本公开提出了一种超声图像标志物运动追踪方法，将原始肿瘤超声图像通过学习，建立肿瘤标志物与深层图像特征的映射关系；将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；获得肿瘤标志物运动预测模型；对肿瘤标志物运动预测模型进行训练直至收敛；将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。该方法在遮挡情况下也具有较好的鲁棒性。该技术可以为超声引导的放射治疗环境中提供鲁棒且准确的目标运动追踪，以减少放射治疗治疗目标边缘的不确定性。

Description

一种超声图像标志物运动追踪方法
技术领域
本公开涉及图像处理技术领域，特别是涉及一种超声图像标志物运动追踪方法。
背景技术
目前，胸腹部肿瘤死亡率较高，其中肺癌和肝癌位居恶性肿瘤死亡率前列。胸腹部肿瘤在实施放疗时，由呼吸运动引起的肿瘤和危及器官动度较大，增加了放疗过程的不确定性，可能加重正常组织的放射损伤和增加复发率。针对临床癌症治疗时实施的图像引导放射治疗，特别是肺癌和肝癌的治疗过程当中，呼吸运动在腹部放射治疗中引入了相当大的不确定性，传统上使用边缘扩张的计划靶体积PTV来提高肿瘤的命中率，但是会伤害到病变周围正常的组织器官。现代直线加速器包括机载3D锥形束CT(CBCT)和2D X射线成像，它们通常用于辅助治疗室中的患者摆位。尽管2D X射线成像具有较高时间分辨率但是需要植入的基准标记物来克服X射线成像的低软组织对比度问题。对患者身体有辐射是X射线引导放射治疗所带来的另一个负面影响。如文献Ding GX,Munro P.Radiation exposure topatients from image guidance procedures and techniques to reduce the imagingdose.Radiotherapy and Oncology.2013；108(1):91-98。磁共振成像(MRI)可以在没有射线辐射的情况下提供较高的软组织对比度。然而，核磁共振引导放疗成本高并且不能实时提供成像信息。如文献Ipsen S,Blanck O,Lowther N,et al.Towards real-time MRI-guided 3D localization of deforming targets for non-invasive cardiacradiosurgery.Physics in Medicine and Biology.2016；61(22):7848.
到目前为止，目标跟踪的多数方法采用基于相似性度量(例如模板匹配)对多个窗口候选进行搜索。如文献O'Shea TP,Garcia LJ,Rosser KE,Harris EJ,Evans PM,BamberJC.4D ultrasound speckle tracking of intra-fraction prostate motion:aphantom-based comparison with x-ray fiducial tracking using CyberKnife.PhysMed Biol.2014；59(7):1701-1720，O'Shea等人应用3D互相关块匹配来跟踪超声图像中的散斑，虽然计算速度较高但是跟踪精度较低。如文献Shepard AJ,Wang B,Foo TKF,BednarzBP.A block matching based approach with multiple simultaneous templates forthe real-time 2D ultrasound tracking of liver vessels.Med Phys.2017；44(11):5889-5900。Shepard等人利用基于相似性的块匹配算法，结合预训练和多个追踪模板，虽然利用GPU实现了在获得较高跟踪速度的同时一定程度上提高了跟踪精度，他们的方法达到了0.72±1.25mm的平均精度，但由于最大误差为24.3mm，因此其鲁棒性并不理想。
因此，如何准确的确定超声图像中肿瘤标志物的位置是本公开所主要解决的技术问题。
发明内容
本说明书实施方式的目的之一是提供一种超声图像标志物运动追踪方法，通过基于深度学习的实时运动跟踪方法在获得较高追踪速度的同时，也确保较高的追踪精度和鲁棒性，从而保证精确的图像引导放射治疗。
本说明书实施方式提供一种超声图像标志物运动追踪方法，通过以下技术方案实现：
包括：
将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；
将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；
用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；
对肿瘤标志物运动预测模型进行训练直至收敛；
将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。
本公开说明书实施例子还提供了一种超声图像标志物运动追踪系统，包括：
映射关系建立单元，将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；
标志物运动规律学习单元，将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；
模型建立单元，用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；
模型训练单元，对肿瘤标志物运动预测模型进行训练直至收敛；
预测追踪单元，将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。
与现有技术相比，本公开的有益效果是：
本公开通过全卷积神经网络充分提取多超声图像肿瘤特征，在治疗前的原始肿瘤图像数据集中，结合图像肿瘤特征和循环卷积神经网络的时域特征信息，从而构建肿瘤运动预测模型，该方法利用卷积长短期记忆网络对肿瘤运动规律的学习，在遮挡情况下也具有较好的鲁棒性。该技术可以为超声引导的放射治疗环境中提供鲁棒且准确的目标运动追踪，以减少放射治疗治疗目标边缘的不确定性。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1：本公开实施例子通过全卷积深度神经网络提取超声图像肿瘤标志物的深层图像特征；
图2：本公开实施例子随着训练迭代后的超声序列及其注意力区域图像；
图3：本公开实施例子卷积长短期记忆网络单元的实现细节；
图4：本公开实施例子基于注意力机制和全卷积长短期记忆神经网络方法的流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例子一
针对当前放疗过程中治疗前和治疗中的图像引导放疗技术进行现状分析，本公开实施例子通过基于深度学习的实时运动跟踪方法获得超声图像的肿瘤标志物目标位置，该目标位置用于后续图像引导放射治疗时进行参考。
具体实施例子中公开了一种基于深度学习的放疗日超声图像肿瘤标志物运动追踪方法，该方法结合图像肿瘤特征和循环卷积神经网络的时域特征信息，构建肿瘤标志物运动预测模型，全卷积神经网络结合目标传感器称为注意力感知的全卷积神经网络，使用启发式方法预测目标位置并提取注意力，然后编码提取目标的空间信息。提取注意力区域使追踪方法仅关注局部区域的图像，卷积长短期记忆网络集成了全卷积神经网络并随时间处理特征，经过上述的方法处理的是当前帧图像，从而能够预测下一帧图像即目标位置。本公开实施例子通过基于深度学习的实时运动跟踪方法在获得较高追踪速度的同时，确保较高的追踪精度和鲁棒性，对实施精确的图像引导放射治疗有重要参考。具体步骤包括：
第一步：对治疗前肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系。
第二步：对一系列不同时刻同一拍摄对象的肿瘤超声图像进行连续输入到训练好的卷积长短期记忆网络，该网络可以学习肿瘤标志物随时间变化的周期性运动规律，用于根据当前目标位置及肿瘤标志物随时间变化的周期性运动规律来预测下一步的运动目标位置。
第三步：通过注意力感知的全卷积神经网络自适应的获得肿瘤的大概位置，使得对超声图像的全局分析限制为仅包含肿瘤运动标志物范围的局部分析，可以提高模型运行速度和鲁棒性，全局分析易出现非肿瘤标志物带来的计算误差，并且利用多维高斯函数与图像相乘获得目标图像子区域，使得模型易于求导和收敛。
第四步：利用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入给注意力机制的全卷积神经网络，经过卷积长短期记忆网络对肿瘤标志物的周期性运动规律的学习，得到目标的预测位置。
第五步：利用包括边界框丢失，局部损失，显着性损失和自适应损失加权项的多任务损失来约束目标的总损失函数，并促进卷积长短期记忆神经网络和注意力机制的全卷积神经网络模型的训练收敛，并确保获得鲁棒的训练结果。
第六步：经过对治疗前图像对卷积长短期记忆网络和注意力机制的全卷积神经网络的训练，可应用到待测(例如为治疗中的)图像上，可以对待测图像的肿瘤标志物进行运动目标预测。
具体实施时，第二步中，卷积长短期记忆网络用于整合空间信息以进行有效的时空回归分析。通过卷积长短期记忆网络获取运动的规律性周期信号特征并标记为状态信息。状态信息被视为移动目标的隐藏表示，卷积长短期记忆网络可以存储运动的规律性周期信号。
具体实施时，第三步和第四步中，注意力机制的全卷积神经网络用于提取包含图像目标的局部子区域，给定具有M行和N列的图像x，该注意力机制应用了m个列过滤器组
Figure BDA0001998471530000071
和n个行过滤器组
Figure BDA0001998471530000072
肿瘤目标的子区域计算如下：
Figure BDA0001998471530000073
其中，g是二维滤波器响应，因为它通过应用二维高斯滤波器网格从每个输入图像中提取的肿瘤目标。每个滤波器响应对应于肿瘤目标的一个像素。这里，滤波器由以下公式定义：
Figure BDA0001998471530000074
Figure BDA0001998471530000075
其中，公式中r1 i和r2 j表示每行或每列的索引，
Figure BDA0001998471530000076
和
Figure BDA0001998471530000077
是肿瘤目标每行或每列的索引。肿瘤目标由注意力模型计算得到，目标参数可通过线性函数推断得到，并且分别沿X轴和Y轴计算得到。
具体的，第五步和第六步中，利用包括边界框损失，局部损失，显著性损失和自适应损失加权项的多任务损失策略来促进训练收敛。边界框丢失可以精确目标的位置坐标，局部损失使获得的图像深层有一致性，显著性损失使得肿瘤标志物目标特征区别于背景特征，自适应损失使得卷积长短期记忆网络和注意力机制的全卷积神经网络自适应地学习每个损耗项的加权系数。
在一实施例中，图1所示是通过全卷积深度神经网络提取超声图像肿瘤标志物的深层图像特征，其中，
(a)全卷积神经网络为改进版本的VGGNet，并应用于注意力感知的全卷积神经网络。
(b)通过使用1x1的卷积核进行特征融合对特征纬度压缩后进行重组。
(c)在通过肿瘤目标注意力模型得到的肿瘤标志物图像，经过多层神经网络特征提取后，得到图像的深层特征信息，方便多时间分辨率下建立图像深层特征与肿瘤标志物的周期性运动规律的关系。
图2是随着训练迭代后的超声序列及其注意力区域图像。每一行是模型训练迭代1000，4000，12000，26000，30000次后的模型追踪性能，其中，白色框表示金标准，灰色框表示预测目标边界。
图3展示出卷积长短期记忆网络单元的实现细节。卷积长短期记忆网络用于整合空间信息以进行有效的时空回归，其中，
(a)对于每一帧图像的处理流程，每一帧都要经过记忆网络单元的处理；
(b)注意力机制的实现过程，卷积长短期记忆网络的输出给多层感知机，对于每一帧的深层特征经过全连接网络的深度融合进行推导预测；
(c)卷积长短期记忆网络的记忆单元，其中，ht表示隐藏状态，ct表示存储状态。ot，it，ft分别代表输出门控，输入门控和遗忘门控。
具体参见附图4为本公开具体实施例子基于注意力机制和全卷积长短期记忆神经网络方法的流程图。
实施例子二
本公开说明书实施例子还提供了一种超声图像标志物运动追踪系统，包括：
映射关系建立单元，将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；
标志物运动规律学习单元，将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；
模型建立单元，用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；
模型训练单元，对肿瘤标志物运动预测模型进行训练直至收敛；
预测追踪单元，将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。
该实施例子所涉及的单元所实现的具体内容参见实施例子一中的具体技术方案，此处不再详细说明。
实施例子三
该实施例子公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下一种基于深度学习的放疗日超声图像肿瘤标志物运动追踪方法的步骤。
该实施例子所涉及步骤所实现的具体内容参见实施例子一中的具体技术方案，此处不再详细说明。
实施例子四
该实施例子公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下一种基于深度学习的放疗日超声图像肿瘤标志物运动追踪方法的步骤。
该实施例子所涉及步骤所实现的具体内容参见实施例子一中的具体技术方案，此处不再详细说明。
在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。
本公开通过基于深度学习的实时运动跟踪方法获得精确的标志物位置。可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (7)

1.一种超声图像标志物运动追踪方法，其特征是，包括：
将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；
将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；
用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；
对肿瘤标志物运动预测模型进行训练直至收敛；
将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置；
其中，对模型进行训练时，利用包括边界框丢失，局部损失，显着性损失和自适应损失加权项的多任务损失来约束目标的总损失函数，并促进卷积长短期记忆网络和注意力机制的全卷积神经网络模型的训练收敛；
所述注意力机制的全卷积神经网络用于提取包含图像目标的局部子区域，给定具有M行和N列的图像x，肿瘤目标由注意力模型计算得到，该注意力机制应用m个列过滤器组
Figure FDA0003094811880000011
和n个行过滤器组
Figure FDA0003094811880000012
肿瘤目标的子区域计算如下：
Figure FDA0003094811880000013
其中，g是二维滤波器响应，应用二维高斯滤波器网格从每个输入图像中提取的肿瘤目标，每个滤波器响应对应于肿瘤目标的一个像素。
2.如权利要求1所述的一种超声图像标志物运动追踪方法，其特征是，所述注意力机制的全卷积神经网络使用1x1的卷积核对原始肿瘤超声图像进行特征融合并对特征纬度压缩后进行重组。
3.如权利要求1所述的一种超声图像标志物运动追踪方法，其特征是，得到的肿瘤标志物图像，经过多层神经网络特征提取后，得到图像的深层特征信息，用于在多时间分辨率下建立图像深层特征与肿瘤标志物的周期性运动规律的关系。
4.一种超声图像标志物运动追踪系统，其特征是，包括：
映射关系建立单元，将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；
标志物运动规律学习单元，将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；
模型建立单元，用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；
模型训练单元，对肿瘤标志物运动预测模型进行训练直至收敛；
预测追踪单元，将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置；
其中，对模型进行训练时，利用包括边界框丢失，局部损失，显着性损失和自适应损失加权项的多任务损失来约束目标的总损失函数，并促进卷积长短期记忆网络和注意力机制的全卷积神经网络模型的训练收敛；
所述注意力机制的全卷积神经网络用于提取包含图像目标的局部子区域，给定具有M行和N列的图像x，肿瘤目标由注意力模型计算得到，该注意力机制应用m个列过滤器组
Figure FDA0003094811880000031
和n个行过滤器组
Figure FDA0003094811880000032
肿瘤目标的子区域计算如下：
Figure FDA0003094811880000033
其中，g是二维滤波器响应，应用二维高斯滤波器网格从每个输入图像中提取的肿瘤目标，每个滤波器响应对应于肿瘤目标的一个像素。
5.如权利要求4所述的一种超声图像标志物运动追踪系统，其特征是，所述映射关系建立单元中所用到的注意力机制的全卷积神经网络使用1x1的卷积核对原始肿瘤超声图像进行特征融合并对特征纬度压缩后进行重组。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任一所述的一种超声图像标志物运动追踪方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3任一所述的一种超声图像标志物运动追踪方法。
CN201910204307.6A 2019-03-18 2019-03-18 一种超声图像标志物运动追踪方法 Active CN110097580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910204307.6A CN110097580B (zh) 2019-03-18 2019-03-18 一种超声图像标志物运动追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910204307.6A CN110097580B (zh) 2019-03-18 2019-03-18 一种超声图像标志物运动追踪方法

Publications (2)

Publication Number Publication Date
CN110097580A CN110097580A (zh) 2019-08-06
CN110097580B true CN110097580B (zh) 2021-10-19

Family

ID=67443284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910204307.6A Active CN110097580B (zh) 2019-03-18 2019-03-18 一种超声图像标志物运动追踪方法

Country Status (1)

Country Link
CN (1) CN110097580B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110742606B (zh) * 2019-10-12 2021-11-12 东华大学 基于长短时记忆的超宽带微波乳腺肿瘤大小预测系统
CN110751203A (zh) * 2019-10-16 2020-02-04 山东浪潮人工智能研究院有限公司 一种基于深度标志物学习的特征提取方法及系统
CN111477298B (zh) * 2020-04-03 2021-06-15 山东省肿瘤防治研究院（山东省肿瘤医院） 一种放疗过程中肿瘤位置变化的追踪方法
CN113460558B (zh) * 2021-06-29 2023-05-02 上海芭熹机器人有限责任公司 一种室外可移动货物搬运机器人
CN115430066A (zh) * 2022-09-13 2022-12-06 苏州雷泰医疗科技有限公司 超声装置、包括该超声装置的放射治疗设备及其工作方法
CN118079256B (zh) * 2024-04-26 2024-07-12 四川省肿瘤医院 磁共振引导放射治疗肿瘤靶区的自动追踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665736A (zh) * 2017-09-30 2018-02-06 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
WO2018189551A1 (en) * 2017-04-12 2018-10-18 Kheiron Medical Technologies Ltd Malignancy assessment for tumors
CN108898588A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于时间序列的治疗效果评估方法、电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170897B2 (en) * 2017-02-23 2021-11-09 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
US11344260B2 (en) * 2017-07-31 2022-05-31 Servicio Andaluz De Salud Predicting the risk of death or vasospasm in a patient with a subarachnoid hemorrhage
CN109151439B (zh) * 2018-09-28 2020-07-31 上海爱观视觉科技有限公司 一种基于视觉的自动追踪拍摄系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018189551A1 (en) * 2017-04-12 2018-10-18 Kheiron Medical Technologies Ltd Malignancy assessment for tumors
CN107665736A (zh) * 2017-09-30 2018-02-06 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN108898588A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于时间序列的治疗效果评估方法、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超声图像的甲状腺疾病智能诊断;张雅奎;《中国优秀硕士学位论文全文数据库-医药卫生科技辑》;20190115(第01期);第E060-30页 *

Also Published As

Publication number Publication date
CN110097580A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097580B (zh) 一种超声图像标志物运动追踪方法
US20230368383A1 (en) Method and System for Image Registration Using an Intelligent Artificial Agent
De Luca et al. Evaluation of 2D and 3D ultrasound tracking algorithms and impact on ultrasound‐guided liver radiotherapy margins
JP5797352B1 (ja) ３次元物体を追跡するための方法
CN107206252B (zh) 核磁共振引导直线加速器中的运动管理
Seregni et al. Motion prediction in MRI-guided radiotherapy based on interleaved orthogonal cine-MRI
US20050251029A1 (en) Radiation therapy treatment plan
CN104408734B (zh) 联合图像分割与形变配准技术的自适应目标区域转换方法
US10549123B2 (en) Assisting apparatus for assisting in performing a brachytherapy
Girum et al. Learning with context feedback loop for robust medical image segmentation
CN109196369A (zh) 非侵入性治疗期间的运动跟踪
Williamson et al. Ultrasound-based liver tracking utilizing a hybrid template/optical flow approach
CN104244818A (zh) 在非侵入式治疗期间的基于参考的运动跟踪
CN103914823B (zh) 基于稀疏表示的快速精确非线性配准立体医学影像的方法
CN103295234B (zh) 基于形变表面模型的医学图像分割系统及方法
CN104268914B (zh) 一种4d‑ct不同时相序列图像的重建方法
Ozkan et al. Robust motion tracking in liver from 2D ultrasound images using supporters
O'Shea et al. Temporal regularization of ultrasound‐based liver motion estimation for image‐guided radiation therapy
US20230026942A1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
US11583244B2 (en) System and methods for tracking anatomical features in ultrasound images
Dai et al. Deep learning‐based motion tracking using ultrasound images
Dong et al. Optimal surface marker locations for tumor motion estimation in lung cancer radiotherapy
Zhang et al. A kernel-based method for markerless tumor tracking in kV fluoroscopic images
Zheng Cross-modality medical image detection and segmentation by transfer learning of shapel priors
Sutedjo et al. Acoustic shadowing aware robotic ultrasound: Lighting up the dark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant