CN116369981B - 基于超声造影的保乳切缘状态预测方法、系统、设备及介质 - Google Patents
基于超声造影的保乳切缘状态预测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116369981B CN116369981B CN202310341420.5A CN202310341420A CN116369981B CN 116369981 B CN116369981 B CN 116369981B CN 202310341420 A CN202310341420 A CN 202310341420A CN 116369981 B CN116369981 B CN 116369981B
- Authority
- CN
- China
- Prior art keywords
- frame
- current frame
- cutting edge
- module
- contrast video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000002601 radiography Methods 0.000 title claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000003902 lesion Effects 0.000 claims abstract description 9
- 210000000481 breast Anatomy 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000002604 ultrasonography Methods 0.000 claims description 8
- 230000003211 malignant effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 239000008267 milk Substances 0.000 claims description 4
- 210000004080 milk Anatomy 0.000 claims description 4
- 235000013336 milk Nutrition 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 206010006187 Breast cancer Diseases 0.000 description 6
- 208000026310 Breast neoplasm Diseases 0.000 description 6
- 238000011282 treatment Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 206010006272 Breast mass Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 208000035346 Margins of Excision Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/481—Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Hematology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及医学图像处理技术领域，具体涉及一种基于超声造影的保乳切缘状态预测方法、系统、设备及介质，包括如下步骤：获取超声造影视频数据，并将超声造影视频帧序列依次送入特征提取网络；使用历史帧编码器和当前帧编码器分别对历史帧和当前帧进行特征提取；将历史帧与当前帧的信息同时输入至读取模块中，通过当前帧的Q结果采用注意力机制得到注意力加权特征M，后通过检测器定位，分类器进行分类；重新选择当前帧的下一帧为当前帧，重复步骤直至对超声造影视频帧序列中所有帧图像分类完成；基于SGBM立体匹配算法，对病变区域进行三维重建，本发明具有较好的敏感性和特异性、快速且成本效益高，为医生提供可靠的辅助诊断意见。
Description
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于超声造影的保乳切缘状态预测方法、系统、设备及介质。
背景技术
乳腺癌是全球女性最常见的癌症。外科手术是乳腺癌的主要治疗手段。近百年来，随着基础理论研究和治疗观念的更新，乳腺癌手术的发展从根治术、改良根治术到乳房切除术，再到保乳手术，逐渐形成了以肿瘤治愈与生活质量兼顾的个体化综合治疗模式，可使患者生理、心理、生存受益最大化。《中国早期乳腺癌保乳手术临床实践指南(2022版)》专家组推荐具有保乳意愿，临床Ⅰ期、Ⅱ期，≤T2且术后可保留良好乳房外形的早期病人适宜接受保乳手术，同时指出，保乳手术成功必须达到手术阴性切缘，因此，在精准医疗时代，选择合适的早期患者给予安全的保乳治疗是提高保乳手术率的关键问题。
术前准确测量乳腺肿瘤大小是选择适宜手术方式、制定个性化治疗方案、评估预后的首要环节和重要依据。根据美国癌症联合委员会的癌症分期手册(TNM分期)，肿瘤T分期是基于浸润癌的大小。术后病理测量是最准确的方式，但是存在严重滞后性。影像学检查是术前评估乳腺结节的重要方法。现实情况是，浸润性肿瘤的最大尺寸可能出现在斜平面上，仅通过二维平面成像，即便是通过高分辨率、容量的乳腺成像方式，如磁共振成像，仍无法获得精准的测量结果。因此，如何通过理想的成像方法术前精准测量乳腺肿瘤的大小，基于T分期筛选适宜的保乳手术患者，是提高保乳手术率的关键步骤。
提高保乳手术率的另一关键措施是确保手术成功率，即切缘阴性，切缘阳性与局部复发密切相关。早期研究已表明，保乳手术中扩大切除肿瘤周边10-20mm的正常组织，可保证95％的手术切缘阴性率。但是，由于乳腺结节不规则的三维立体结构，凭借外科医生的主观判断，难以保证标本各个切缘均达到理想状态。因此，23-38％的切缘阳性患者通过二次手术以改善局部控制,而二次手术与延长的康复时间、较差的美容效果以及增加的心理和经济负担相关。几十年来，冰冻切片病理学分析一直被用作乳腺保乳手术边界评估的金标准，通过降低切缘阳性率、局部复发风险，改善了患者的预后。但传统方法复杂且耗时，限制了其在全球范围内的广泛应用。
发明内容
本发明的目的是提供一种基于超声造影的保乳切缘状态预测方法、系统、设备及介质，进行保乳切缘状态预测，提高预测准确率，具有较好的敏感性和特异性、快速且成本效益高，为医生提供可靠的辅助诊断意见，不仅利于缓解医生的工作负荷，减少因医生经验不足或视觉疲劳等原因引起的误诊，还为病人降低了活检率，减轻痛苦。
本发明提供了如下的技术方案：
第一方面，本发明提供了一种基于超声造影的保乳切缘状态预测方法，包括如下步骤：
S1.获取超声造影视频数据，将超声造影视频进行预处理，且将超声造影视频根据帧数分为超声造影视频帧序列，并将超声造影视频帧序列依次送入特征提取网络；
S2.基于步骤S1，选择超声造影视频帧序列中其中一帧为当前帧，当前帧之前的帧序列为历史帧，使用历史帧编码器对历史帧进行特征提取，并经过编码得到一组(K，V)结果并保存，使用当前帧编码器对当前帧进行特征提取并经过编码得到一组Q结果和与其对应的V结果；
S3.基于步骤S2，将历史帧的(K，V)结果与当前帧的Q结果和V结果同时输入至读取模块中，通过当前帧的Q结果采用注意力机制得到注意力加权特征M，后通过检测器定位，分类器进行分类，此方法充分利用了视频数据的时序信息，通过结合历史帧信息，进一步提高了分类精度，避免了依赖单张图片做诊断的不足，提高了视频诊断结果的一致性；
S4.重新选择步骤S2中当前帧的下一帧为当前帧，重复步骤S2和S3,直至对超声造影视频帧序列中所有帧图像分类完成；
S5.基于步骤S3和S4，基于SGBM立体匹配算法，对病变区域进行三维重建。
优选的，所述超声造影视频包括横切面超声造影视频和纵切面超声造影视频，多个视野进行特征提取时更全面。
进一步的，步骤S3中通过当前帧的Q结果采用注意力机制得到注意力加权的特征M的具体方法为：将历史帧图像特征送入多级轴向注意力机制模块，并将得到的结果与当前帧图像特征进行加权点乘，得到注意力机制加权的特征M，多级轴向注意力机制模块可以从不同视野对图像进行特征提取，并将不同视野下的特征进行融合优化，从而使检测识别结果更加准确。
优选的，多级轴向注意力机制模块包括竖直方向注意力模块和水平方向注意力模块。
优选的，特征提取网络为ResNet50。
第二方面，本发明提供一种保乳切缘状态预测系统，用于实现如第一方面所述的保乳切缘状态预测方法，包括：
预处理模块，用于对超声造影视频进行预处理并将其根据帧数分为超声造影视频帧序列；
特征提取模块，所述特征提取模块为ResNet50特征提取网络，特征提取网络包括编码器模块，用于对超声造影视频帧序列进行分割并获取每帧图像的图像特征；
编码器模块，所述编码器模块包括历史帧编码器模块和当前帧编码器模块，用于分别对历史帧和当前帧进行特征提取并编码；
读取模块，所述读取模块包括多级轴向注意力机制模块，用于结合历史帧信息得到注意力机制加权的特征M；
分类器模块，用于对超声造影视频帧序列中所有帧图像进行良恶性分类；
三维重建模块，用于根据恶性帧图像完成病变区域的三维重建。
第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如第一方面中任一项所述的保乳切缘状态预测方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一项所述的保乳切缘状态预测方法。
本发明的有益效果是：
1)通过当前帧特征信息采用注意力机制结合历史帧特征信息，得到注意力加权特征M，后通过检测器定位，分类器进行分类，此方法充分利用了视频数据的时序信息，通过结合历史帧信息，进一步提高了分类精度，避免了依赖单张图片做诊断的不足，提高了视频诊断结果的一致性。
2)本申请对病变区域进行三维重建，具有较好的敏感性和特异性、快速且成本效益高，为医生提供可靠的辅助诊断意见，不仅利于缓解医生的工作负荷，减少因医生经验不足或视觉疲劳等原因引起的误诊，还为病人降低了活检率，减轻痛苦。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的总体框架示意图；
图2是图1中智能诊断网络示意图一；
图3是图1中智能诊断网络示意图二；
图4是沿图1中智能定位网络示意图。
具体实施方式
实施例1
如图1-4所示，本发明提供了一种基于超声造影的保乳切缘状态预测方法，包括如下步骤：
S1.获取超声造影视频数据，在一个实施例中，超声造影视频包括横切面超声造影视频和纵切面超声造影视频，将超声造影视频进行预处理，预处理方法采用常规处理方法，在此不多赘述，且将超声造影视频根据帧数分为超声造影视频帧序列，并将超声造影视频帧序列依次送入特征提取网络，在一个实施例中，特征提取网络为ResNet50。
S2.基于步骤S1，如图2所示，选择超声造影视频帧序列中其中一帧为当前帧，当前帧之前的帧序列为历史帧，使用历史帧编码器对历史帧进行特征提取，并经过编码得到一组(K，V)结果并保存，使用当前帧编码器对当前帧进行特征提取并经过编码得到一组Q结果和与其对应的V结果。
S3.基于步骤S2，如图2所示，将历史帧的(K，V)结果与当前帧的Q结果和V结果同时输入至读取模块中，通过当前帧的Q结果采用注意力机制得到注意力加权特征M，具体为如图3所示：将历史帧图像特征送入多级轴向注意力机制模块，并将得到的结果与当前帧图像特征进行加权点乘，得到注意力机制加权的特征M，多级轴向注意力机制模块可以从不同视野对图像进行特征提取，并将不同视野下的特征进行融合优化，从而使检测识别结果更加准确；再通过检测器定位，分类器进行分类，此方法充分利用了视频数据的时序信息，通过结合历史帧信息，进一步提高了分类精度，避免了依赖单张图片做诊断的不足，提高了视频诊断结果的一致性，在一个实施例中，多级轴向注意力机制模块包括竖直方向注意力模块和水平方向注意力模块。
S4.重新选择步骤S2中当前帧的下一帧为当前帧，重复步骤S2和S3,直至对超声造影视频帧序列中所有帧图像分类完成。
S5.基于步骤S3和S4，如图4所示，基于SGBM立体匹配算法，对病变区域进行三维重建，基于重建的三维信息，精准划分结节轮廓及10mm以内周边区域，通过模型的有效训练及验证，最终前瞻性指导结节周边阳性切缘取材分区及位置信息，为医生提供可靠的辅助诊断意见；
病变区域三维重建具体方法为：如图4所示，将图像分割为固定大小区域，在一个实施例中，分割区域大小为16*16，逐个区域与后帧分割结果图像进行立体匹配，获取相似度及位移量，经过刚性变换得到后帧分割结果图像相对于上一帧分割结果图像的转换矩阵，依次统计获取分割结果图像的帧间运动；为了提高距离估计的准确性，与后帧分割结果图像进行立体匹配时还使用了自适应曲线校正方法，相邻帧图像位移较小且每个区域位移存在相关性，计算运动中每个区域的位移曲线并相互比较校正。
其中，自适应曲线校正的具体步骤为：
S51.分别计算每个区域沿X轴和Y轴方向的SGBM曲线；
S52.基于步骤S51，将X轴和Y轴方向的SGBM曲线分别与预先基于散斑标定的标准SGBM曲线进行比较，分别计算得出X轴和Y轴方向的相干系数；
S53.基于步骤S52，调整X轴和Y轴方向的相干系数，再分别对X轴和Y轴方向的相干系数重新采样，对重新采样后的X轴和Y轴方向的相干系数进行平均并将平均后的相干系数作为Z轴方向的相干系数；
S54.基于步骤S53，通过Z轴方向的相干系数和预先基于散斑标定的标准SGBM曲线得出当前帧Z轴方向的SGBM曲线。
在自适应曲线校正方法中，两个相邻帧可以表示为Ai和Bi，其中i是像素索引。对于相关区域，两幅图像可以表示为Ai+eB和Bi+eA，e是从0到1的相干系数，当e为0时表示没有相干性。
其中，ex(step)为X轴方向相干系数，ρxcurrent(step)为当前X轴方向SGBM曲线，ρxstandard(step)为预先基于散斑标定的标准SGBM曲线；
然后同理计算y方向相干系数ey，对ex和ey进行重采样时重采样比例分别为及/>其中，HM为在其方向上SGBM曲线最大值处的偏移距离。
实施例2
本发明提供一种保乳切缘状态预测系统，用于实现如实施例1所述的保乳切缘状态预测方法，包括：
预处理模块，用于对超声造影视频进行预处理并将其根据帧数分为超声造影视频帧序列；
特征提取模块，所述特征提取模块为ResNet50特征提取网络，特征提取网络包括编码器模块，用于对超声造影视频帧序列进行分割并获取每帧图像的图像特征；
编码器模块，所述编码器模块包括历史帧编码器模块和当前帧编码器模块，用于分别对历史帧和当前帧进行特征提取并编码；
读取模块，所述读取模块包括多级轴向注意力机制模块，用于结合历史帧信息得到注意力机制加权的特征M；
分类器模块，用于对超声造影视频帧序列中所有帧图像进行良恶性分类；
三维重建模块，用于根据恶性帧图像完成病变区域的三维重建。
实施例3
本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如实施例1中任一项所述的步骤。
实施例4
本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1中任一项所述的步骤。
上述实施例中的术语定义如下：
在注意力机制中：K为Key,为不随意线索；V为Value，为一个值；Q为Query，为随意线索。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于超声造影的保乳切缘状态预测方法，其特征在于，包括如下步骤：
S1.获取超声造影视频，将超声造影视频进行预处理，且将超声造影视频根据帧数分为超声造影视频帧序列，并将超声造影视频帧序列依次送入特征提取网络；
S2.基于步骤S1，选择超声造影视频帧序列中其中一帧为当前帧，当前帧之前的帧序列为历史帧，使用历史帧编码器对历史帧进行特征提取，并经过编码得到一组(K，V)结果并保存，使用当前帧编码器对当前帧进行特征提取并经过编码得到一组Q结果和与其对应的V结果，其中，K为Key，为不随意线索；V为Value，为一个值；Q为Query，为随意线索；
S3.基于步骤S2，将历史帧的(K，V)结果与当前帧的Q结果和V结果同时输入至读取模块中，通过当前帧的Q结果采用注意力机制得到注意力加权特征M，后通过检测器定位，分类器进行分类；
S4.重新选择步骤S2中当前帧的下一帧为当前帧，重复步骤S2和S3,直至对超声造影视频帧序列中所有帧图像分类完成；
S5.基于步骤S3和S4，基于SGBM立体匹配算法，对病变区域进行三维重建；三维重建的具体方法为：将帧图像分割为固定大小区域，逐个区域与后帧分割的帧图像采用自适应曲线校正方法进行立体匹配，获取相似度及位移量，经过刚性变换得到后一帧图像相对于上一帧图像的转换矩阵，依次统计获取帧图像的帧间运动；
其中，自适应曲线校正的具体步骤为：
S51.分别计算每个区域沿X轴和Y轴方向的位移曲线；
S52.基于步骤S51，将X轴和Y轴方向的位移曲线分别与预先基于散斑标定的标准位移曲线进行比较，分别计算得出X轴和Y轴方向的相干系数；
S53.基于步骤S52，调整X轴和Y轴方向的相干系数，再分别对X轴和Y轴方向的相干系数重新采样，对重新采样后的X轴和Y轴方向的相干系数进行平均并将平均后的相干系数作为Z轴方向的相干系数；
S54.基于步骤S53，通过Z轴方向的相干系数和预先基于散斑标定的标准位移曲线得出当前帧Z轴方向的位移曲线。
2.根据权利要求1所述的一种基于超声造影的保乳切缘状态预测方法，其特征在于：所述超声造影视频包括横切面超声造影视频和纵切面超声造影视频。
3.根据权利要求1所述的一种基于超声造影的保乳切缘状态预测方法，其特征在于：步骤S3中通过当前帧的Q结果采用注意力机制得到注意力加权的特征M的具体方法为：将历史帧图像特征送入多级轴向注意力机制模块，并将得到的结果与当前帧图像特征进行加权点乘，得到注意力机制加权的特征M。
4.根据权利要求3所述的一种基于超声造影的保乳切缘状态预测方法，其特征在于：多级轴向注意力机制模块包括竖直方向注意力模块和水平方向注意力模块。
5.根据权利要求1所述的一种基于超声造影的保乳切缘状态预测方法，其特征在于：特征提取网络为ResNet50。
6.一种保乳切缘状态预测系统，用于实现如权利要求1-5中任一项所述的保乳切缘状态预测方法，其特征在于，包括：
预处理模块，用于对超声造影视频进行预处理并将其根据帧数分为超声造影视频帧序列；
特征提取模块，所述特征提取模块为ResNet50特征提取网络，特征提取网络包括编码器模块，用于对超声造影视频帧序列进行分割并获取每帧图像的图像特征；编码器模块，所述编码器模块包括历史帧编码器模块和当前帧编码器模块，用于分别对历史帧和当前帧进行特征提取并编码；
读取模块，所述读取模块包括多级轴向注意力机制模块，用于结合历史帧信息得到注意力机制加权的特征M；
分类器模块，用于对超声造影视频帧序列中所有帧图像进行良恶性分类；
三维重建模块，用于根据恶性帧图像完成病变区域的三维重建。
7.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如权利要求1-5中任一项所述的保乳切缘状态预测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-5中任一项所述的保乳切缘状态预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310341420.5A CN116369981B (zh) | 2023-03-31 | 2023-03-31 | 基于超声造影的保乳切缘状态预测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310341420.5A CN116369981B (zh) | 2023-03-31 | 2023-03-31 | 基于超声造影的保乳切缘状态预测方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116369981A CN116369981A (zh) | 2023-07-04 |
| CN116369981B true CN116369981B (zh) | 2024-03-22 |
Family
ID=86964046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310341420.5A Active CN116369981B (zh) | 2023-03-31 | 2023-03-31 | 基于超声造影的保乳切缘状态预测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116369981B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591648A (zh) * | 2021-07-22 | 2021-11-02 | 北京工业大学 | 无锚点实时图像目标检测方法、系统、设备及介质 |
| CN113674148A (zh) * | 2021-07-15 | 2021-11-19 | 河南工业大学 | 一种基于坐标注意力机制的ip-fsrgan-ca人脸图像超分辨率重建算法 |
| CN114359556A (zh) * | 2021-12-09 | 2022-04-15 | 中国科学院深圳先进技术研究院 | 一种乳腺超声视频病变分割方法 |
| CN114926470A (zh) * | 2022-05-13 | 2022-08-19 | 上海交通大学宁波人工智能研究院 | 一种基于深度学习的阻生齿医学图像分割系统和方法 |
-
2023
- 2023-03-31 CN CN202310341420.5A patent/CN116369981B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674148A (zh) * | 2021-07-15 | 2021-11-19 | 河南工业大学 | 一种基于坐标注意力机制的ip-fsrgan-ca人脸图像超分辨率重建算法 |
| CN113591648A (zh) * | 2021-07-22 | 2021-11-02 | 北京工业大学 | 无锚点实时图像目标检测方法、系统、设备及介质 |
| CN114359556A (zh) * | 2021-12-09 | 2022-04-15 | 中国科学院深圳先进技术研究院 | 一种乳腺超声视频病变分割方法 |
| CN114926470A (zh) * | 2022-05-13 | 2022-08-19 | 上海交通大学宁波人工智能研究院 | 一种基于深度学习的阻生齿医学图像分割系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| The Dual Form of Neural Networks Revisited: Connecting Test Time Predictions to Training Patterns via Spotlights of Attention;Kazuki Irie et al;arXiv:2202.05798v1;摘要、第2-5节 * |
| Video Object Segmentation using Space-Time Memory Networks;Seoung Wug Oh et al;arXiv:1904.00607v1;第2-5页第3-4节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116369981A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3021753B1 (en) | Systems and methods for determining hepatic function from liver scans | |
| US7935055B2 (en) | System and method of measuring disease severity of a patient before, during and after treatment | |
| US8634610B2 (en) | System and method for assessing cancer risk | |
| US8238637B2 (en) | Computer-aided diagnosis of malignancies of suspect regions and false positives in images | |
| CN111640100A (zh) | 肿瘤图像的处理方法和装置、电子设备、存储介质 | |
| CN111247592B (zh) | 用于随时间量化组织的系统和方法 | |
| CN110288698B (zh) | 基于mri的半月板三维重建系统 | |
| CN111932492B (zh) | 一种医学图像处理方法、装置及计算机可读存储介质 | |
| CN111340825A (zh) | 一种纵膈淋巴结分割模型的生成方法及系统 | |
| JP2009090094A (ja) | 画像整合のための方法および装置 | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| CN116091466A (zh) | 图像分析方法、计算机设备和存储介质 | |
| Reddy et al. | A deep learning based approach for classification of abdominal organs using ultrasound images | |
| CN116416381B (zh) | 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质 | |
| CN114881914A (zh) | 基于医学影像确定三维功能肝段的系统及方法 | |
| CN112967254A (zh) | 基于胸部ct影像肺部疾病识别和检测方法 | |
| CN116369981B (zh) | 基于超声造影的保乳切缘状态预测方法、系统、设备及介质 | |
| Benrabha et al. | Automatic ROI detection and classification of the achilles tendon ultrasound images | |
| Michopoulou | Image analysis for the diagnosis of MR images of the lumbar spine | |
| CN113139627B (zh) | 纵隔肿物识别方法、系统及装置 | |
| CN115797308A (zh) | 一种基于dce-mri的乳腺肿瘤分割方法 | |
| CN111127636B (zh) | 一种智能的复杂关节内骨折桌面级三维诊断系统 | |
| KR102258070B1 (ko) | 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스 | |
| Gerard et al. | Direct estimation of regional lung volume change from paired and single CT images using residual regression neural network | |
| CN113850816A (zh) | 一种宫颈癌mri图像的分割装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |