CN117761671A - 超声作用区域监测方法及装置 - Google Patents
超声作用区域监测方法及装置 Download PDFInfo
- Publication number
- CN117761671A CN117761671A CN202311790910.XA CN202311790910A CN117761671A CN 117761671 A CN117761671 A CN 117761671A CN 202311790910 A CN202311790910 A CN 202311790910A CN 117761671 A CN117761671 A CN 117761671A
- Authority
- CN
- China
- Prior art keywords
- microbubble
- image
- region
- contour
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000009471 action Effects 0.000 title claims abstract description 56
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 340
- 239000000523 sample Substances 0.000 claims abstract description 287
- 230000008859 change Effects 0.000 claims abstract description 242
- 230000008569 process Effects 0.000 claims abstract description 56
- 230000005236 sound signal Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000002604 ultrasonography Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004861 thermometry Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种超声作用区域监测方法及装置,确定针对预设位置的聚焦超声波的脉冲发射序列;在任一周期的停止时间内控制超声探头发射第一声信号,并对超声探头接收到的第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;在该周期的输出时间内控制超声探头发射第二声信号,对第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合变温区域的实时轮廓对微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;对变温区域的实时轮廓的变化过程和微泡区域的实时分割结果的变化过程进行可视化,实现组织在高强度聚焦超声换能器在治疗过程中的性质变化过程的实时观测。
Description
技术领域
本发明涉及基于超声波的监测分析技术领域,尤其涉及一种超声作用区域监测方法及装置。
背景技术
高强度聚焦超声(High-Intensity Focused Ultrasound,HIFU)作为一种非侵入性治疗方式被应用在例如肿瘤、癌症、神经等应用场景中。HIFU在治疗过程中,由于组织吸收声能量而产生的热效应,以及组织中的气体在超声负压作用下发生空化效应,这两种效应的产生区域直接体现了HIFU治疗的作用区域,通过超声波技术对该作用区域进行监测和分析是保障HIFU治疗效果的重要环节。但由于HIFU直接作用在人体体内,不同人的不同组织间差异性较大等原因,对于HIFU在人体内的作用区域的精确位置以及作用区域的面积大小没有准确的实时监测方式。
目前主流的方案是在HIFU换能器的中央安装一个诊断超声,用于观测HIFU作用前后的超声图像差异,但这种方式并不能在作用过程中进行观测,也不能监测作用过程中作用区域的位置和面积大小。另外,有部分方案使用磁共振成像(Magnetic ResonanceImaging,MRI)进行HIFU作用过程中的观测,但该方式依赖于MRI资源,在部分无法负担专用于HIFU作用区域面积计量的MRI的场景下该方式无法应用,且使用MRI测温需要专门的测温序列,进一步缩小了该方式的可应用范围,且其实时性也相对较低,需要进一步提升。
发明内容
本发明提供一种超声作用区域监测方法及装置,用以解决现有技术中高成本硬件的依赖度高、适用范围窄且实时性较差的缺陷。
本发明提供一种超声作用区域监测方法,包括:
确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;
在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;
在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;
对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
根据本发明提供的一种超声作用区域监测方法,所述对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化,具体包括:
对所述变温区域的实时轮廓和实时面积的变化过程以及所述微泡区域的实时分割结果和实时面积的变化过程进行可视化;
其中,所述变温区域的实时面积是将所述变温区域的实时轮廓拟合得到所述变温区域的轮廓函数,并基于所述变温区域的轮廓函数进行积分运算后得到的;所述微泡区域的实时面积是基于所述微泡区域的实时分割结果中指示的像素数量确定的。
根据本发明提供的一种超声作用区域监测方法,所述基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,之前还包括:
基于测试位置的样本微泡图像和所述样本微泡图像的微泡区域标注,以及所述测试位置的样本变温图像对应的变温区域轮廓图像,对初始区域分割模型的参数进行迭代更新,得到所述微泡区域分割模型;其中,所述样本变温图像与所述样本微泡图像是在同一个周期内生成的;所述初始区域分割模型和所述微泡区域分割模型包括多个下采样层以及与各个下采样层对应的上采样层、变温轮廓编码层、轮廓预测层、距离预测层和目标分割层。
根据本发明提供的一种超声作用区域监测方法,所述基于测试位置的样本微泡图像和所述样本微泡图像的微泡区域标注,以及所述测试位置的样本变温图像对应的变温区域轮廓图像,对初始区域分割模型的参数进行迭代更新,具体包括:
基于所述初始区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述样本微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述样本微泡图像的辅助特征和最后一个上采样层输出的所述样本微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
基于所述初始区域分割模型的变温轮廓编码层,对所述样本变温图像对应的变温区域轮廓图像进行特征提取,得到所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征;
分别基于所述初始区域分割模型的轮廓预测层和距离预测层,利用所述样本微泡图像的辅助特征进行轮廓预测和距离预测,得到所述样本微泡图像的轮廓预测结果和距离预测结果;
基于所述初始区域分割模型的目标分割层,利用所述样本微泡图像的分割特征和所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述样本微泡图像中微泡区域的分割结果;
基于所述轮廓预测结果与所述距离预测结果之间的一致性,以及所述样本微泡图像中微泡区域的分割结果与所述微泡区域标注之间的一致性,对所述初始区域分割模型进行反向参数调整。
根据本发明提供的一种超声作用区域监测方法,所述分别基于所述初始区域分割模型的轮廓预测层和距离预测层,利用所述样本微泡图像的辅助特征进行轮廓预测和距离预测,得到所述样本微泡图像的轮廓预测结果和距离预测结果,包括:
基于所述轮廓预测层对所述样本微泡图像的辅助特征进行特征提取,得到所述样本微泡图像的微泡轮廓特征,并基于所述样本微泡图像的微泡轮廓特征预测得到所述样本微泡图像的轮廓预测结果;
基于所述距离预测层对所述样本微泡图像的辅助特征进行特征提取,得到所述样本微泡图像的微泡距离特征,并基于所述样本微泡图像的微泡距离特征预测得到所述样本微泡图像的距离预测结果。
根据本发明提供的一种超声作用区域监测方法,所述基于所述初始区域分割模型的目标分割层,利用所述样本微泡图像的分割特征和所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述样本微泡图像中微泡区域的分割结果,包括:
基于所述初始区域分割模型的目标分割层,对所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的微泡轮廓特征进行融合,得到所述样本微泡图像的特征融合结果,并基于所述样本微泡图像的特征融合结果进行目标分割,得到所述样本微泡图像中微泡区域的分割结果。
根据本发明提供的一种超声作用区域监测方法,所述对所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的微泡轮廓特征进行融合,得到所述样本微泡图像的特征融合结果,包括:
基于所述样本微泡图像的微泡轮廓特征与所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行注意力变换,得到所述样本微泡图像的微泡轮廓特征中每个向量值的注意力权重;
基于所述样本微泡图像的微泡轮廓特征以及所述样本微泡图像的微泡轮廓特征中每个向量值的注意力权重,确定所述样本微泡图像的注意力轮廓特征;
将所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的注意力轮廓特征进行融合,得到所述样本微泡图像的特征融合结果。
根据本发明提供的一种超声作用区域监测方法,所述基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果,包括:
基于所述微泡区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述微泡图像的辅助特征和最后一个上采样层输出的所述微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
基于所述微泡区域分割模型的变温轮廓编码层,对当前变温区域轮廓图像进行特征提取,得到所述当前变温区域轮廓图像的变温轮廓特征;所述当前变温区域轮廓图像是基于所述变温区域的实时轮廓生成的;
基于所述微泡区域分割模型的目标分割层,利用所述微泡图像的分割特征和所述当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述微泡图像中微泡区域的实时分割结果。
根据本发明提供的一种超声作用区域监测方法,所述基于所述微泡区域分割模型的目标分割层,利用所述微泡图像的分割特征和所述当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述微泡图像中微泡区域的实时分割结果,包括:
基于所述微泡区域分割模型的目标分割层,对所述微泡图像的分割特征、所述当前变温区域轮廓图像的变温轮廓特征以及所述微泡图像的微泡轮廓特征进行融合,得到所述微泡图像的特征融合结果,并基于所述微泡图像的特征融合结果进行目标分割,得到所述微泡图像中微泡区域的实时分割结果;其中,所述微泡图像的微泡轮廓特征是基于所述轮廓预测层对所述微泡图像的辅助特征进行特征提取得到的。
本发明还提供一种超声作用区域监测装置,包括:
脉冲发射序列确定单元,用于确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;
变温区域分析单元,用于在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;
微泡区域分析单元,用于在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;
可视化单元,用于对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述超声作用区域监测方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述超声作用区域监测方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述超声作用区域监测方法。
本发明提供的超声作用区域监测方法及装置,确定针对预设位置的聚焦超声波的脉冲发射序列,脉冲发射序列的一个周期内包括输出时间和停止时间;在任一周期的停止时间内控制超声探头发射第一声信号,并对超声探头接收到的第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;在该周期的输出时间内控制超声探头发射第二声信号,对第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合变温区域的实时轮廓对微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;对变温区域的实时轮廓的变化过程和微泡区域的实时分割结果的变化过程进行可视化,实现组织在高强度聚焦超声换能器在治疗过程中的性质变化过程的实时观测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的超声作用区域监测方法的流程示意图;
图2是本发明提供的微泡区域分割模型在应用阶段实现微泡区域分割的流程示意图;
图3是本发明提供的超声作用区域监测装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的超声作用区域监测方法的流程示意图,如图1所示,该方法包括:
步骤110,确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;
步骤120,在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;
步骤130,在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;
步骤140,对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
具体地,本发明实施例以超声作为高强度聚焦超声作用区域监测的主体,高强度聚焦超声作用区域监测设备的结构包括:最外层是提供辅助功能的结构装置,作用是用于封装内部探头及结构,并提供柔性薄膜以提供声传播介质的载体;提供辅助功能的外层结构内是一个高强度聚焦超声换能器,其作用是产生高强度聚焦超声作用,换能器中央需要开一个以轴线为圆心,半径合适的圆孔;圆孔内安装了传动机构的超声探头,超声探头的型号可根据实际场景进行变更,传动机构能够控制超声探头绕着轴线独立于高强度聚焦超声换能器旋转,且能够控制超声探头沿着轴线方向上下移动。同时,超声探头与高强度聚焦超声换能器共用一个轴心,超声侦测的平面永远包含高强度聚焦超声作用区域的某一个角度下的纵向中央切面,故超声探头在任意一个角度下均能够观测到高强度聚焦超声换能器有效作用在组织上产生的温度升高的变温区域的位置与大小,以及高强度聚焦超声换能器产生空化作用的微泡区域的位置与大小。其中变温区域和微泡区域从不同角度反映了高强度聚焦超声的作用区域。另外,上述超声探头所处的结构可以实现沿轴线上下移动及绕轴线旋转的功能,能够通过调整超声探头所处的上下位置以在更有效的位置提取更好的影像,且能够通过旋转超声探头的方式,采集不同平面内的区域情况。
此处,超声探头沿轴向上下移动的距离会通过限位器限制,超过实际能够行进的路程时限位器会限制超声探头移动,以防探头上下移动超过行程导致探头损坏或脱离。超声探头绕轴线旋转的结构设计为无极旋转结构,保证操作的便携性与安全性,避免了超声探头旋转达到限制后需要回转的繁琐操作,同时避免了传统限位器方式超过限位时可能造成的结构损坏。另外,超声探头绕轴线向某个方向持续旋转,能够覆盖360°所有的平面内高强度聚焦超声换能器的作用区域(包括变温区域和微泡区域),能够对空间中高强度聚焦超声作用区域的位置与面积进行持续的监测。
为了实现高强度聚焦超声作用区域的实时监测功能,在上述结构的基础上,可以通过预设的控制方式控制超声探头进行探测。具体而言,可以确定高强度聚焦超声换能器针对预设位置的聚焦超声波的脉冲发射序列,该脉冲发射序列的一个周期内包括输出时间和停止时间,其中输出时间内高强度聚焦超声换能器处于工作状态,停止时间内高强度聚焦超声换能器处于休息状态。在任一周期的停止时间内控制超声探头发射第一声信号,并对超声探头接收到的第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓。其中,在高强度聚焦超声换能器的停止时间的预设时间段(可以是停止时间中的任意时间段,本发明实施例对此不作具体限制),利用超声探头发出第一声信号并接受回波信号。基于该第一声信号的回波信号,可以对其进行热应变成像得到变温图像以及变温图像中各部位的温度值,继而可以根据变温图像中各部位的温度值确定变温图像中变温区域的实时轮廓。
另外,还可以根据变温图像,利用变温区域分割模型对该变温图像进行轮廓提取,得到该变温图像中变温区域的实时轮廓。其中,温度升高的程度在变温区域内是由内而外逐渐降低的,且由于高强度聚焦超声换能器的有效作用导致的温度上升比组织内热传导快,故变温图像中变温区域的轮廓相对明显,因此变温区域分割模型可以利用边缘检测算法(例如基于Sobel算子、Laplacian算子等的边缘检测算法)提取变温图像中变温区域的轮廓。此外,也可以基于卷积神经网络构建深度学习机制下的变温区域分割模型,利用样本变温图像及其变温区域轮廓标注训练变温区域分割模型,使得变温区域分割模型具备变温区域的边缘提取能力,将变温图像输入至变温区域分割模型中即可得到其输出的变温区域的轮廓,本发明实施例对变温区域的轮廓提取方式不作具体限定。
此外,得到变温区域的轮廓后,还可以基于变温区域的轮廓拟合得到变温区域的轮廓函数,并基于变温区域的轮廓函数进行积分运算,得到变温区域的面积。在一些实施例中,考虑到变温区域的轮廓较平滑,因此可以抽取变温区域的轮廓上多个轮廓点在预设坐标系(例如可以是图像坐标系或自定义的坐标系)下的坐标,并基于样条曲线拟合算法对多个轮廓点在预设坐标系下的坐标进行曲线拟合,得到变温区域的轮廓函数。随后,基于变温区域的轮廓函数进行积分运算,从而得到变温区域的面积。其中,可以利用梯形法则、辛普森法则等积分运算方式对基于变温区域的轮廓函数进行积分运算。
在该周期的输出时间内可以控制超声探头发射第二声信号,对第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像。其中,微泡图像与变温图像是采集的同一位置不同时期的超声影像。需要说明的是,对于微泡区域的监测分析,由于仅在高强度聚焦超声换能器工作期间会产生空化效应,高强度聚焦超声换能器完全停止后这种现象会消失,故在确保超声探头安全的情况下,可以在高强度聚焦超声换能器的工作时间的前期或末期,高强度聚焦超声换能器能量较低的时候启动超声探头工作,以获取微泡图像。随后,基于微泡区域分割模型,结合上述变温区域的实时轮廓对微泡图像进行微泡区域分割,得到微泡区域的实时分割结果。
针对微泡区域,同样可以采用与变温区域类似的方式,先提取微泡区域的轮廓进而利用积分运算方式计算微泡区域的面积。然而,考虑到微泡区域由微泡气泡形成,其轮廓模糊且不容易辨认,相对于变温区域而言其轮廓提取的误差相对更高,在后续确定变温区域面积时若利用积分运算的方式进行计算,其轮廓的些许误差可能导致轮廓函数拟合效果不好,从而导致积分运算结果不准确,放大了轮廓误差对于面积计算的负面影响。因此,为了进一步提升微泡区域监测的准确性,可以利用微泡区域分割模型对微泡图像进行微泡区域分割,得到微泡区域的分割结果,随后可以基于微泡区域的分割结果计算微泡区域内部的像素数,从而基于微泡区域内部的像素数确定微泡区域的面积。
此处,由于微泡区域分割的精度仍然依托于轮廓提取的精度,因此需要尽可能地提升微泡区域分割模型对于微泡图像中微泡区域边缘特征的学习能力,从而提升微泡区域分割的准确性。然而,正由于上文所述,微泡区域由微泡气泡形成,其轮廓模糊且不容易辨认,为微泡区域分割带来了较大困难,对微泡图像进行图像分割将难以达到较高精度。对此,考虑到变温图像和微泡图像是在高聚焦超声换能器的同一周期内对同一位置采集的影像,且变温区域和微泡区域从不同角度反映了高强度聚焦超声的作用区域,因此变温区域的位置和形状与微泡区域的位置和形状存在一定关联,利用较准确的变温区域的轮廓可以一定程度上辅助定位微泡区域的轮廓。故可以将变温区域的轮廓连同微泡图像一起输入至微泡区域分割模型进行微泡区域分割,提升其分割精度。
在一些实施例中,在正式应用微泡区域分割模型之前,可以基于测试位置的样本微泡图像和该样本微泡图像的微泡区域标注,以及该测试位置的样本变温图像对应的变温区域轮廓图像,对初始区域分割模型的参数进行迭代更新实现模型训练,从而得到微泡区域分割模型。即,微泡区域分割模型为训练完成后的初始区域分割模型。其中,测试位置与上述预设位置属于同一类型的生物组织,样本变温图像与样本微泡图像是在同一个周期内生成的。初始区域分割模型和微泡区域分割模型均包括多个下采样层以及与各个下采样层对应的上采样层、变温轮廓编码层、轮廓预测层、距离预测层和目标分割层。
其中,可以基于如下步骤训练初始区域分割模型,得到微泡区域分割模型:
基于所述初始区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述样本微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述样本微泡图像的辅助特征和最后一个上采样层输出的所述样本微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
基于所述初始区域分割模型的变温轮廓编码层,对所述样本变温图像对应的变温区域轮廓图像进行特征提取,得到所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征;
分别基于所述初始区域分割模型的轮廓预测层和距离预测层,利用所述样本微泡图像的辅助特征进行轮廓预测和距离预测,得到所述样本微泡图像的轮廓预测结果和距离预测结果;
基于所述初始区域分割模型的目标分割层,利用所述样本微泡图像的分割特征和所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述样本微泡图像中微泡区域的分割结果;
基于所述轮廓预测结果与所述距离预测结果之间的一致性,以及所述样本微泡图像中微泡区域的分割结果与所述微泡区域标注之间的一致性,对所述初始区域分割模型进行反向参数调整。
具体而言,初始区域分割模型/微泡区域分割模型包括多个下采样层以及与各个下采样层对应的上采样层,变温轮廓编码层,轮廓预测层、距离预测层和目标分割层。其中,下采样层和上采样层的结构是基于UNet网络构建的,变温轮廓编码层,轮廓预测层、距离预测层和目标分割层均可以基于卷积层构建得到。
在模型训练阶段,初始区域分割模型的输入为测试位置的样本微泡图像以及该测试位置的样本变温图像对应的变温区域轮廓图像,输出为样本微泡图像中微泡区域的分割结果。其中,样本变温图像对应的变温区域轮廓图像是属于样本变温图像中变温区域轮廓的像素的像素值为1的二值图像,样本微泡图像中微泡区域的分割结果中包含样本微泡图像中各像素属于微泡区域的概率。
在模型训练阶段,初始区域分割模型的多个下采样层以及与各个下采样层对应的上采样层对样本微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的样本微泡图像的辅助特征和最后一个上采样层输出的样本微泡图像的分割特征。其中,预设上采样层是不同于最后一个上采样层的上采样层,例如可以是首个或第二个上采样层,本发明实施例对此不作具体限制。此处,样本微泡图像的辅助特征会分别进入到初始区域分割模型的轮廓预测层和距离预测层,基于样本微泡图像的辅助特征分别进行轮廓预测和距离预测,得到样本微泡图像的轮廓预测结果和距离预测结果,而样本微泡图像的分割特征则会进入到初始区域分割模型的目标分割层进行目标分割。
需要说明的是,将同一上采样阶段输出的辅助特征用于进行轮廓预测和距离预测,可以使得进行轮廓预测和距离预测的结果对于目标分割的监督效果既可以作用于上采样层的参数,也可以通过跃层连接机制直接地作用于下采样层的参数,从而提升下采样层和上采样层对于目标边缘的编码能力和解码能力。此外,由于进行轮廓预测和距离预测的依据是同一阶段的特征图,因此将不会出现信息尺度差距,从而有助于保持轮廓预测层和距离预测层的梯度优化方向的一致性。进一步地,预设上采样层不同于最后一个上采样层,即辅助特征和分割特征来自不同阶段,是因为轮廓提取任务以及距离变换任务与目标分割任务的区别较为明显,如将分割特征应用于三种任务,对于神经网络而言难度很大,故最终难以将三个任务均优化到较好水平,从而影响最终的分割结果。
在一些实施例中,在利用样本微泡图像的辅助特征进行轮廓预测和距离预测时,可以基于轮廓预测层对样本微泡图像的辅助特征进行特征提取,得到样本微泡图像的微泡轮廓特征,并基于样本微泡图像的微泡轮廓特征预测得到样本微泡图像的轮廓预测结果;基于距离预测层对样本微泡图像的辅助特征进行特征提取,得到样本微泡图像的微泡距离特征,并基于样本微泡图像的微泡距离特征预测得到样本微泡图像的距离预测结果。
初始区域分割模型的变温轮廓编码层对上述样本变温图像对应的变温区域轮廓图像进行特征提取,得到样本变温图像对应的变温区域轮廓图像的变温轮廓特征。初始区域分割模型的目标分割层则利用样本微泡图像的分割特征和样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到样本微泡图像中微泡区域的分割结果。在一些实施例中,目标分割层可以对样本微泡图像的分割特征、样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及样本微泡图像的微泡轮廓特征进行融合,将变温轮廓特征以及微泡轮廓特征中包含的丰富且可靠的目标边界信息与分割特征中包含的语义信息相结合,得到样本微泡图像的特征融合结果;然后基于样本微泡图像的特征融合结果进行目标分割,得到样本微泡图像中微泡区域的分割结果,可以进一步提升微泡区域分割的准确性。
此处,在融合样本微泡图像的分割特征、样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及样本微泡图像的微泡轮廓特征时,可以基于样本微泡图像的微泡轮廓特征与样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行注意力变换,利用可靠的变温轮廓特征对微泡轮廓特征进行筛选,确定样本微泡图像的微泡轮廓特征中每个向量值的注意力权重。其中,微泡轮廓特征中任一向量值的注意力权重越高,表明该向量值的准确性越高。随后,基于样本微泡图像的微泡轮廓特征以及样本微泡图像的微泡轮廓特征中每个向量值的注意力权重进行加权,即将微泡轮廓特征中每个向量值乘以相应的注意力权重,得到样本微泡图像的注意力轮廓特征。接着将样本微泡图像的分割特征、样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及样本微泡图像的注意力轮廓特征进行融合(例如拼接),得到样本微泡图像的特征融合结果。
基于上述样本微泡图像的轮廓预测结果、距离预测结果、微泡区域的分割结果以及微泡区域的微泡区域标注,可以指导初始区域分割模型反向调整参数,完成一轮学习过程。其中,可以基于轮廓预测结果与距离预测结果之间的一致性,以及样本微泡图像中微泡区域的分割结果与微泡区域标注之间的一致性,计算损失函数的值,从而根据损失函数的值利用梯度下降法对初始区域分割模型进行反向参数更新,从而提升初始区域分割模型的分割精度、尤其是微泡区域轮廓的分割精度,降低了分割结果的假阳性概率。此处,通过引入轮廓预测结果与距离预测结果之间的一致性约束,可以避免二者梯度方向不同引起的网络性能下降问题,从而提升了轮廓预测层和距离预测层对于目标分割任务的辅助效果。
在一些实施例中,可以获取样本微泡图像中各个像素在轮廓预测结果中的轮廓预测概率(bi)与相应像素在距离预测结果中的距离值(di)之间的乘积绝对值(|bi×di|),作为各个像素的匹配结果,并将各个像素的匹配结果累加得到轮廓预测结果与距离预测结果之间的一致性评估结果。另外,基于样本微泡图像中微泡区域的分割结果与微泡区域标注计算交叉熵,作为样本微泡图像中微泡区域的分割结果与微泡区域标注之间的一致性评估结果。基于轮廓预测结果与距离预测结果之间的一致性评估结果以及样本微泡图像中微泡区域的分割结果与标注结果之间的一致性评估结果进行求和,可以得到损失函数的值,从而基于损失函数的值运用梯度下降等方法对初始区域分割模型进行反向参数调整。
初始区域分割模型训练完毕得到微泡区域分割模型后,在模型应用阶段,微泡区域分割模型的输入则为上述变温区域的轮廓以及上述微泡图像。微泡区域分割模型在应用阶段实现微泡区域分割的流程如图2所示,包括以下步骤:
步骤210,基于所述微泡区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述微泡图像的辅助特征和最后一个上采样层输出的所述微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
步骤220,基于所述微泡区域分割模型的变温轮廓编码层,对当前变温区域轮廓图像进行特征提取,得到所述当前变温区域轮廓图像的变温轮廓特征;所述当前变温区域轮廓图像是基于所述变温区域的实时轮廓生成的;
步骤230,基于所述微泡区域分割模型的目标分割层,利用所述微泡图像的分割特征和所述当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述微泡图像中微泡区域的实时分割结果。
其中,微泡区域分割模型的下采样层、上采样层、变温轮廓编码层、轮廓预测层以及目标分割层的运行机制与初始区域分割模型在模型训练阶段中的运行机制相同,各层的运行方式可以参考上述训练阶段描述的运行方式,并且轮廓预测层中用于输出轮廓预测结果的网络层以及整个距离预测层在模型应用阶段可以去除。
具体而言,基于下采样层和上采样层对微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的微泡图像的辅助特征和最后一个上采样层输出的微泡图像的分割特征。另外,基于微泡区域分割模型的变温轮廓编码层,对变温图像对应的当前变温区域轮廓图像进行特征提取,得到变温图像对应的当前变温区域轮廓图像的变温轮廓特征,其中变温图像对应的当前变温区域轮廓图像是基于变温区域的轮廓生成的。再基于微泡区域分割模型的目标分割层,利用微泡图像的分割特征和变温图像对应的当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到微泡图像中微泡区域的分割结果。
在另一些实施例中,在模型应用阶段,目标分割层会对微泡图像的分割特征、变温图像对应的当前变温区域轮廓图像的变温轮廓特征以及微泡图像的微泡轮廓特征进行融合,得到微泡图像的特征融合结果,并基于微泡图像的特征融合结果进行目标分割,得到微泡图像中微泡区域的分割结果;其中,微泡图像的微泡轮廓特征是基于轮廓预测层对微泡图像的辅助特征进行特征提取得到的。
通过上述方式得到变温区域的实时轮廓以及微泡区域的实时分割结果后,可以对变温区域的实时轮廓的变化过程和微泡区域的实时分割结果的变化过程进行可视化,或者,对变温区域的实时轮廓和实时面积的变化过程以及微泡区域的实时分割结果和实时面积的变化过程进行可视化,以方便观测组织在高强度聚焦超声换能器在治疗过程中的性质变化过程。
综上所述,本发明实施例提供的方法,确定针对预设位置的聚焦超声波的脉冲发射序列,脉冲发射序列的一个周期内包括输出时间和停止时间;在任一周期的停止时间内控制超声探头发射第一声信号,并对超声探头接收到的第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;在该周期的输出时间内控制超声探头发射第二声信号,对第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合变温区域的实时轮廓对微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;对变温区域的实时轮廓的变化过程和微泡区域的实时分割结果的变化过程进行可视化,实现组织在高强度聚焦超声换能器在治疗过程中的性质变化过程的实时观测。
下面对本发明提供的超声作用区域监测装置进行描述,下文描述的超声作用区域监测装置与上文描述的超声作用区域监测方法可相互对应参照。
基于上述任一实施例,图3是本发明提供的超声作用区域监测装置的结构示意图,如图3所示,该装置包括:
脉冲发射序列确定单元310,用于确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;
变温区域分析单元320,用于在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;
微泡区域分析单元330,用于在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;
可视化单元340,用于对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
本发明实施例提供的装置,确定针对预设位置的聚焦超声波的脉冲发射序列,脉冲发射序列的一个周期内包括输出时间和停止时间;在任一周期的停止时间内控制超声探头发射第一声信号,并对超声探头接收到的第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;在该周期的输出时间内控制超声探头发射第二声信号,对第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合变温区域的实时轮廓对微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;对变温区域的实时轮廓的变化过程和微泡区域的实时分割结果的变化过程进行可视化,实现组织在高强度聚焦超声换能器在治疗过程中的性质变化过程的实时观测。
基于上述任一实施例,所述对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化,具体包括:
对所述变温区域的实时轮廓和实时面积的变化过程以及所述微泡区域的实时分割结果和实时面积的变化过程进行可视化;
其中,所述变温区域的实时面积是将所述变温区域的实时轮廓拟合得到所述变温区域的轮廓函数,并基于所述变温区域的轮廓函数进行积分运算后得到的;所述微泡区域的实时面积是基于所述微泡区域的实时分割结果中指示的像素数量确定的。
基于上述任一实施例,该装置还包括训练装置,用于:
基于测试位置的样本微泡图像和所述样本微泡图像的微泡区域标注,以及所述测试位置的样本变温图像对应的变温区域轮廓图像,对初始区域分割模型的参数进行迭代更新,得到所述微泡区域分割模型;其中,所述样本变温图像与所述样本微泡图像是在同一个周期内生成的;所述初始区域分割模型和所述微泡区域分割模型包括多个下采样层以及与各个下采样层对应的上采样层、变温轮廓编码层、轮廓预测层、距离预测层和目标分割层。
基于上述任一实施例,所述基于测试位置的样本微泡图像和所述样本微泡图像的微泡区域标注,以及所述测试位置的样本变温图像对应的变温区域轮廓图像,对初始区域分割模型的参数进行迭代更新,具体包括:
基于所述初始区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述样本微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述样本微泡图像的辅助特征和最后一个上采样层输出的所述样本微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
基于所述初始区域分割模型的变温轮廓编码层,对所述样本变温图像对应的变温区域轮廓图像进行特征提取,得到所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征;
分别基于所述初始区域分割模型的轮廓预测层和距离预测层,利用所述样本微泡图像的辅助特征进行轮廓预测和距离预测,得到所述样本微泡图像的轮廓预测结果和距离预测结果;
基于所述初始区域分割模型的目标分割层,利用所述样本微泡图像的分割特征和所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述样本微泡图像中微泡区域的分割结果;
基于所述轮廓预测结果与所述距离预测结果之间的一致性,以及所述样本微泡图像中微泡区域的分割结果与所述微泡区域标注之间的一致性,对所述初始区域分割模型进行反向参数调整。
基于上述任一实施例,所述分别基于所述初始区域分割模型的轮廓预测层和距离预测层,利用所述样本微泡图像的辅助特征进行轮廓预测和距离预测,得到所述样本微泡图像的轮廓预测结果和距离预测结果,包括:
基于所述轮廓预测层对所述样本微泡图像的辅助特征进行特征提取,得到所述样本微泡图像的微泡轮廓特征,并基于所述样本微泡图像的微泡轮廓特征预测得到所述样本微泡图像的轮廓预测结果;
基于所述距离预测层对所述样本微泡图像的辅助特征进行特征提取,得到所述样本微泡图像的微泡距离特征,并基于所述样本微泡图像的微泡距离特征预测得到所述样本微泡图像的距离预测结果。
基于上述任一实施例,所述基于所述初始区域分割模型的目标分割层,利用所述样本微泡图像的分割特征和所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述样本微泡图像中微泡区域的分割结果,包括:
基于所述初始区域分割模型的目标分割层,对所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的微泡轮廓特征进行融合,得到所述样本微泡图像的特征融合结果,并基于所述样本微泡图像的特征融合结果进行目标分割,得到所述样本微泡图像中微泡区域的分割结果。
基于上述任一实施例,所述对所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的微泡轮廓特征进行融合,得到所述样本微泡图像的特征融合结果,包括:
基于所述样本微泡图像的微泡轮廓特征与所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行注意力变换,得到所述样本微泡图像的微泡轮廓特征中每个向量值的注意力权重;
基于所述样本微泡图像的微泡轮廓特征以及所述样本微泡图像的微泡轮廓特征中每个向量值的注意力权重,确定所述样本微泡图像的注意力轮廓特征;
将所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的注意力轮廓特征进行融合,得到所述样本微泡图像的特征融合结果。
基于上述任一实施例,所述基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果,包括:
基于所述微泡区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述微泡图像的辅助特征和最后一个上采样层输出的所述微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
基于所述微泡区域分割模型的变温轮廓编码层,对当前变温区域轮廓图像进行特征提取,得到所述当前变温区域轮廓图像的变温轮廓特征;所述当前变温区域轮廓图像是基于所述变温区域的实时轮廓生成的;
基于所述微泡区域分割模型的目标分割层,利用所述微泡图像的分割特征和所述当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述微泡图像中微泡区域的实时分割结果。
基于上述任一实施例,所述基于所述微泡区域分割模型的目标分割层,利用所述微泡图像的分割特征和所述当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述微泡图像中微泡区域的实时分割结果,包括:
基于所述微泡区域分割模型的目标分割层,对所述微泡图像的分割特征、所述当前变温区域轮廓图像的变温轮廓特征以及所述微泡图像的微泡轮廓特征进行融合,得到所述微泡图像的特征融合结果,并基于所述微泡图像的特征融合结果进行目标分割,得到所述微泡图像中微泡区域的实时分割结果;其中,所述微泡图像的微泡轮廓特征是基于所述轮廓预测层对所述微泡图像的辅助特征进行特征提取得到的。
图4是本发明提供的电子设备的结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、存储器(memory)420、通信接口(Communications Interface)430和通信总线440,其中,处理器410,存储器420,通信接口430通过通信总线440完成相互间的通信。处理器410可以调用存储器420中的逻辑指令,以执行超声作用区域监测方法,该方法包括:确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
此外,上述的存储器420中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的超声作用区域监测方法,该方法包括:确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的超声作用区域监测方法,该方法包括:确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种超声作用区域监测方法,其特征在于,包括:
确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;
在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;
在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;
对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
2.根据权利要求1所述的超声作用区域监测方法,其特征在于,所述对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化,具体包括:
对所述变温区域的实时轮廓和实时面积的变化过程以及所述微泡区域的实时分割结果和实时面积的变化过程进行可视化;
其中,所述变温区域的实时面积是将所述变温区域的实时轮廓拟合得到所述变温区域的轮廓函数,并基于所述变温区域的轮廓函数进行积分运算后得到的;所述微泡区域的实时面积是基于所述微泡区域的实时分割结果中指示的像素数量确定的。
3.根据权利要求1所述的超声作用区域监测方法,其特征在于,所述基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,之前还包括:
基于测试位置的样本微泡图像和所述样本微泡图像的微泡区域标注,以及所述测试位置的样本变温图像对应的变温区域轮廓图像,对初始区域分割模型的参数进行迭代更新,得到所述微泡区域分割模型;其中,所述样本变温图像与所述样本微泡图像是在同一个周期内生成的;所述初始区域分割模型和所述微泡区域分割模型包括多个下采样层以及与各个下采样层对应的上采样层、变温轮廓编码层、轮廓预测层、距离预测层和目标分割层。
4.根据权利要求3所述的超声作用区域监测方法,其特征在于,所述基于测试位置的样本微泡图像和所述样本微泡图像的微泡区域标注,以及所述测试位置的样本变温图像对应的变温区域轮廓图像,对初始区域分割模型的参数进行迭代更新,具体包括:
基于所述初始区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述样本微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述样本微泡图像的辅助特征和最后一个上采样层输出的所述样本微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
基于所述初始区域分割模型的变温轮廓编码层,对所述样本变温图像对应的变温区域轮廓图像进行特征提取,得到所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征;
分别基于所述初始区域分割模型的轮廓预测层和距离预测层,利用所述样本微泡图像的辅助特征进行轮廓预测和距离预测,得到所述样本微泡图像的轮廓预测结果和距离预测结果;
基于所述初始区域分割模型的目标分割层,利用所述样本微泡图像的分割特征和所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述样本微泡图像中微泡区域的分割结果;
基于所述轮廓预测结果与所述距离预测结果之间的一致性,以及所述样本微泡图像中微泡区域的分割结果与所述微泡区域标注之间的一致性,对所述初始区域分割模型进行反向参数调整。
5.根据权利要求4所述的超声作用区域监测方法,其特征在于,所述分别基于所述初始区域分割模型的轮廓预测层和距离预测层,利用所述样本微泡图像的辅助特征进行轮廓预测和距离预测,得到所述样本微泡图像的轮廓预测结果和距离预测结果,包括:
基于所述轮廓预测层对所述样本微泡图像的辅助特征进行特征提取,得到所述样本微泡图像的微泡轮廓特征,并基于所述样本微泡图像的微泡轮廓特征预测得到所述样本微泡图像的轮廓预测结果;
基于所述距离预测层对所述样本微泡图像的辅助特征进行特征提取,得到所述样本微泡图像的微泡距离特征,并基于所述样本微泡图像的微泡距离特征预测得到所述样本微泡图像的距离预测结果。
6.根据权利要求5所述的超声作用区域监测方法,其特征在于,所述基于所述初始区域分割模型的目标分割层,利用所述样本微泡图像的分割特征和所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述样本微泡图像中微泡区域的分割结果,包括:
基于所述初始区域分割模型的目标分割层,对所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的微泡轮廓特征进行融合,得到所述样本微泡图像的特征融合结果,并基于所述样本微泡图像的特征融合结果进行目标分割,得到所述样本微泡图像中微泡区域的分割结果。
7.根据权利要求6所述的超声作用区域监测方法,其特征在于,所述对所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的微泡轮廓特征进行融合,得到所述样本微泡图像的特征融合结果,包括:
基于所述样本微泡图像的微泡轮廓特征与所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征进行注意力变换,得到所述样本微泡图像的微泡轮廓特征中每个向量值的注意力权重;
基于所述样本微泡图像的微泡轮廓特征以及所述样本微泡图像的微泡轮廓特征中每个向量值的注意力权重,确定所述样本微泡图像的注意力轮廓特征;
将所述样本微泡图像的分割特征、所述样本变温图像对应的变温区域轮廓图像的变温轮廓特征以及所述样本微泡图像的注意力轮廓特征进行融合,得到所述样本微泡图像的特征融合结果。
8.根据权利要求3所述的超声作用区域监测方法,其特征在于,所述基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果,包括:
基于所述微泡区域分割模型的多个下采样层以及与各个下采样层对应的上采样层,对所述微泡图像进行连续下采样和连续上采样,获得预设上采样层输出的所述微泡图像的辅助特征和最后一个上采样层输出的所述微泡图像的分割特征;所述预设上采样层与所述最后一个上采样层不同;
基于所述微泡区域分割模型的变温轮廓编码层,对当前变温区域轮廓图像进行特征提取,得到所述当前变温区域轮廓图像的变温轮廓特征;所述当前变温区域轮廓图像是基于所述变温区域的实时轮廓生成的;
基于所述微泡区域分割模型的目标分割层,利用所述微泡图像的分割特征和所述当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述微泡图像中微泡区域的实时分割结果。
9.根据权利要求8所述的超声作用区域监测方法,其特征在于,所述基于所述微泡区域分割模型的目标分割层,利用所述微泡图像的分割特征和所述当前变温区域轮廓图像的变温轮廓特征进行目标分割,得到所述微泡图像中微泡区域的实时分割结果,包括:
基于所述微泡区域分割模型的目标分割层,对所述微泡图像的分割特征、所述当前变温区域轮廓图像的变温轮廓特征以及所述微泡图像的微泡轮廓特征进行融合,得到所述微泡图像的特征融合结果,并基于所述微泡图像的特征融合结果进行目标分割,得到所述微泡图像中微泡区域的实时分割结果;其中,所述微泡图像的微泡轮廓特征是基于所述轮廓预测层对所述微泡图像的辅助特征进行特征提取得到的。
10.一种超声作用区域监测装置,其特征在于,包括:
脉冲发射序列确定单元,用于确定针对预设位置的聚焦超声波的脉冲发射序列,所述脉冲发射序列的一个周期内包括输出时间和停止时间;
变温区域分析单元,用于在任一周期的所述停止时间内控制超声探头发射第一声信号,并对所述超声探头接收到的所述第一声信号的回波信号进行变温区域轮廓提取,得到变温区域的实时轮廓;
微泡区域分析单元,用于在所述任一周期的所述输出时间内控制超声探头发射第二声信号,对所述第二声信号的回波信号进行分析处理,提取微泡信号得到微泡图像,并基于微泡区域分割模型,结合所述变温区域的实时轮廓对所述微泡图像进行微泡区域分割,得到微泡区域的实时分割结果;
可视化单元,用于对所述变温区域的实时轮廓的变化过程和所述微泡区域的实时分割结果的变化过程进行可视化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311790910.XA CN117761671A (zh) | 2023-12-22 | 2023-12-22 | 超声作用区域监测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311790910.XA CN117761671A (zh) | 2023-12-22 | 2023-12-22 | 超声作用区域监测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117761671A true CN117761671A (zh) | 2024-03-26 |
Family
ID=90312010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311790910.XA Pending CN117761671A (zh) | 2023-12-22 | 2023-12-22 | 超声作用区域监测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117761671A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103330576A (zh) * | 2013-06-09 | 2013-10-02 | 西安交通大学 | 一种基于组织中微泡动力学模型的微弹性成像方法 |
CN111134719A (zh) * | 2019-12-19 | 2020-05-12 | 西安交通大学 | 一种聚焦超声辐照相变纳米液滴的主被动超声复合成像方法及系统 |
CN113040814A (zh) * | 2021-03-11 | 2021-06-29 | 飞依诺科技(苏州)有限公司 | 超声微泡空化设备的成像处理方法及成像处理系统 |
WO2022056394A1 (en) * | 2020-09-11 | 2022-03-17 | The Regents Of The University Of Michigan | Transcranial mr-guided histotripsy systems and methods |
CN117074529A (zh) * | 2023-08-18 | 2023-11-17 | 重庆医科大学 | 一种高度集成的空化和温度监测方法和系统 |
-
2023
- 2023-12-22 CN CN202311790910.XA patent/CN117761671A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103330576A (zh) * | 2013-06-09 | 2013-10-02 | 西安交通大学 | 一种基于组织中微泡动力学模型的微弹性成像方法 |
CN111134719A (zh) * | 2019-12-19 | 2020-05-12 | 西安交通大学 | 一种聚焦超声辐照相变纳米液滴的主被动超声复合成像方法及系统 |
WO2022056394A1 (en) * | 2020-09-11 | 2022-03-17 | The Regents Of The University Of Michigan | Transcranial mr-guided histotripsy systems and methods |
CN113040814A (zh) * | 2021-03-11 | 2021-06-29 | 飞依诺科技(苏州)有限公司 | 超声微泡空化设备的成像处理方法及成像处理系统 |
CN117074529A (zh) * | 2023-08-18 | 2023-11-17 | 重庆医科大学 | 一种高度集成的空化和温度监测方法和系统 |
Non-Patent Citations (2)
Title |
---|
丁波等: ""不同包膜材料的超声造影剂微泡的瞬态空化阈值研究"", 《科技创新与应用》, 6 December 2023 (2023-12-06) * |
赖启基等: "《高强度有源自聚焦超声及其应用》", 30 September 2022, 南京大学出版社, pages: 1 - 216 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902625B2 (ja) | 確率マップに基づいた超音波検査 | |
EP3367331A1 (en) | Deep convolutional encoder-decoder for prostate cancer detection and classification | |
CN112469340A (zh) | 具有用于引导式肝成像的人工神经网络的超声系统 | |
US20220240899A1 (en) | Super-Resolution Microvessel Imaging Using Separated Subsets of Ultrasound Data | |
Wang et al. | Automatic real-time CNN-based neonatal brain ventricles segmentation | |
Zhao et al. | Blind deconvolution of medical ultrasound images using a parametric model for the point spread function | |
CN114650778A (zh) | 诊断支援装置、诊断支援系统以及诊断支援方法 | |
CN110910335A (zh) | 一种图像处理方法、图像处理设备及计算机可读存储介质 | |
CN113040814A (zh) | 超声微泡空化设备的成像处理方法及成像处理系统 | |
US20220028067A1 (en) | Systems and Methods for Quantifying Vessel Features in Ultrasound Doppler Images | |
CN117761671A (zh) | 超声作用区域监测方法及装置 | |
CN115482223A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP7446277B2 (ja) | 網膜灌流及び視神経乳頭変形の共局在化検出 | |
CN113349819A (zh) | 用于检测医学图像中的异常的方法和系统 | |
Hassanin et al. | Automatic localization of Common Carotid Artery in ultrasound images using Deep Learning | |
CN112515705A (zh) | 用于投影轮廓启用的计算机辅助检测(cad)的方法和系统 | |
Alessandrini | Statistical methods for analysis and processing of medical ultrasound: applications to segmentation and restoration | |
CN116363038B (zh) | 超声图像融合方法、装置、计算机设备及存储介质 | |
KR102376717B1 (ko) | 딥러닝을 이용한 흑색종 진단 방법, 장치 및 프로그램 | |
CN112654301A (zh) | 一种脊柱的成像方法以及超声成像系统 | |
US20230360225A1 (en) | Systems and methods for medical imaging | |
WO2018035600A1 (en) | Inferring heart fiber geometry from ultrasound imaging | |
CN116889425A (zh) | 在心脏应变计算中排除心包膜的方法和系统 | |
Sun et al. | IRR-Net: A Joint Learning Framework for Image Reconstruction and Recognition of Photoacoustic Tomography | |
CN116363038A (zh) | 超声图像融合方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |