CN113842159A - 颈部淋巴结超声分区图像的生成系统和方法 - Google Patents
颈部淋巴结超声分区图像的生成系统和方法 Download PDFInfo
- Publication number
- CN113842159A CN113842159A CN202111072699.9A CN202111072699A CN113842159A CN 113842159 A CN113842159 A CN 113842159A CN 202111072699 A CN202111072699 A CN 202111072699A CN 113842159 A CN113842159 A CN 113842159A
- Authority
- CN
- China
- Prior art keywords
- ultrasound
- module
- lymph node
- image
- partition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001165 lymph node Anatomy 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000002604 ultrasonography Methods 0.000 claims abstract description 265
- 238000005192 partition Methods 0.000 claims abstract description 166
- 238000007781 pre-processing Methods 0.000 claims abstract description 77
- 238000010586 diagram Methods 0.000 claims abstract description 75
- 238000000638 solvent extraction Methods 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 claims abstract description 12
- 239000003550 marker Substances 0.000 claims description 24
- 238000012552 review Methods 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 210000002751 lymph Anatomy 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 description 8
- 210000004731 jugular vein Anatomy 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013316 zoning Methods 0.000 description 4
- 210000003109 clavicle Anatomy 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 210000003823 hyoid bone Anatomy 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010023825 Laryngeal cancer Diseases 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000003489 abdominal muscle Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000003685 cricoid cartilage Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 206010023841 laryngeal neoplasm Diseases 0.000 description 1
- 210000004880 lymph fluid Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000003681 parotid gland Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请涉及一种颈部淋巴结超声分区图像的生成系统和方法，该系统包括：超声图获取模块，通过对患者的检查生成颈部淋巴结超声图像；超声图预处理模块，与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理；超声图分区模块，通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；热力图加载模块，通过选择其上加载的Grad‑cam、Grad‑cam++、X‑grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；及输出模块，输出可视化颈部淋巴结超声分区图像。可用于颈部淋巴结超声的准确分区。
Description
技术领域
本申请涉及颈部淋巴结超声图的分析与处理，特别是涉及颈部淋巴结超声分区图像的生成系统和方法。
背景技术
在医学诊断方面，通过颈部超声准确评估淋巴结转移状态以及分区位置对肿瘤鉴别、寻找原发灶、颈部淋巴结清扫有重用价值。目前颈部淋巴结分区采用外科学分区标准分为六区，分区的依据来自于骨、肌肉、血管或神经等标志，由超声科医生主观判断，但是超声成像含斑点噪声、对比度低以及分区标记物未必能显示和辨认，超声科医生很难精确地对颈部淋巴结分区。随着深度学习领域的迅速发展，目前还未有基于深度学习的颈部淋巴结分区的研究。
发明内容
本申请要解决的技术问题是在超声图获取模块上获得的颈部淋巴结超声图像上如何实现对颈部淋巴结准确分区。
为解决上述技术问题，根据本申请的一个方面，提供一种颈部淋巴结超声分区图像的生成系统，包括：超声图获取模块，通过对患者的检查生成颈部淋巴结超声图像；超声图预处理模块，与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理；超声图分区模块，通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；热力图加载模块，通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及输出模块，输出可视化颈部淋巴结超声分区图像。
根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括显示模块，显示模块可显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。
根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括人工审核模块，人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。
根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括优化模块，优化模块可从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。
根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块可集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。
根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。
根据本申请的实施例，界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。
根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。
根据本申请的实施例，超声图分区模块基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。
根据本申请的实施例，超声图获取模块可包括常规B超机
根据本申请的另一方面，提供一种通过颈部淋巴结超声分区图像的生成系统生成颈部淋巴结超声分区图像的方法，颈部淋巴结超声分区图像的生成系统包括超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块和输出模块，方法包括如下步骤：S1、通过超声图获取模块生成颈部淋巴结超声图像；S2、通过加载有OpenCv软件的超声图预处理模块对颈部淋巴超声图像进行预处理；S3、通过加载有经过训练的Transformer模型的超声图分区模块对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；S4、通过热力图加载模块选择Grad-cam、Grad-cam++、X-grad热力图程序在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及S5、通过输出模块输出超声分区图像。
根据本申请的实施例，系统还可包括显示模块，并且方法还可包括通过显示模块显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。
根据本申请的实施例，系统还可包括人工审核模块，并且方法还可包括通过人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。
根据本申请的实施例，系统还可包括优化模块，并且方法还可包括通过优化模块从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。
根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。
根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。
根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。
根据本申请的实施例，超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。
根据本申请的实施例，超声图获取模块可包括常规B超机
与现有技术相比，根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法至少可实现如下有益效果：
因为根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法采用传统的超声图获取模块来获取常规的超声波图像，并且由此通过处理获得准确的颈部淋巴结分区，所以无需对超声图获取模块进行任何改造，从而对B超成像本身的成本没有增加。
超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理，从而可以获得去除各种噪声的清洗图像。
在清楚噪声的基础上，超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区，因此获得精确的颈部淋巴结超声分区图像。
通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。因此，可使颈部淋巴结超声分区图像更加清晰，大大提高了其可视性。
可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策，为医疗水平的提升提供了支持。同时，可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本申请的一些实施例，而非对本申请的限制。
图1是根据本申请实施例的颈部淋巴结超声分区图像的生成系统的模块图。
图2是示出OpenCv模块的示意图。
图3是示出Transformer模型的示意图。
图4是根据本申请实施例的颈部淋巴结超声分区图像的生成的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。
下面，结合附图描述本申请的实施例。
图1是根据本申请实施例的颈部淋巴结超声分区图像的生成系统的模块图。
参见图1，根据本申请的实施例，提供一种颈部淋巴结超声分区图像的生成系统，包括超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块和输出模块，分述如下。
超声图获取模块通过对患者的检查生成颈部淋巴结超声图像。根据本申请的实施例，超声图获取模块例如可为常规B超机。然而，本申请的实施例不限于此，而是超声图获取模块也可为通过常规B型超声获取预定位置活体组织的常规二维超声图像的任何其它装置，例如，A型超声、M型超声、D型超声、彩超等装置。
超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理。
根据本申请的实施例，界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。
图2是示出OpenCv模块的示意图。
如图2所示，OpenCV是一个跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。根据本申请的实施例，超声图预处理模块通过OpenCV软件对颈部淋巴结超声图像进行预处理。
超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区。
根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。
图3是示出Transformer模型的示意图。
如图3所示，Core是该模块包含OpenCV库的基础结构以及基本操作。因此，Transformer模型与上述的OpenCV具有良好的可兼容性。因为Transformer模型是微软公司的标准软件，所以在此不做进一步描述。
热力图加载模块通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。
输出模块，输出可视化颈部淋巴结超声分区图像。
根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括显示模块，显示模块可显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。
根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括人工审核模块，人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。
根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括优化模块，优化模块可从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。
根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块可集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。
根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。
根据本申请的实施例，超声图分区模块基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。
关于颈部淋巴结六个分区的定义如下：
第一区域，包括颏下区即颌下区淋巴结，由二腹肌前腹与后腹围绕，上界为颌骨，下界为舌骨。
第二区域，为颈内静脉淋巴结上区，即二腹肌下，相当于颅底至舌骨水平，前界为胸骨舌骨肌侧缘，后界为胸锁乳突肌后缘。该区淋巴结常是喉癌转移首发部位，在临床中具有重要的参考价值。从影像学角度，建议采用颈内静脉后缘作为A和B区的分界。
第三区域，为颈内静脉淋巴结中区，上界为舌骨水平，下界为环状软骨下缘，前后界与第二区域相同。
第四区域，为颈内静脉淋巴结下区。从肩胛舌骨肌到锁骨上，前后界与第二区域相同，上界为第三区域的下界，下界为锁骨上水平。第二、三、四区域共同构成颈内静脉淋巴结链，收纳腮腺、颌下、颏下、咽后壁及颈前淋巴结的淋巴液，因此是经廓清术中的重点区域。
第五区域，为颈后三角淋巴结，包括枕后三角区及锁骨上淋巴结。后界为斜方肌前缘，前界为胸锁乳突肌后缘，下界为锁骨。
第六区域，为颈前区淋巴结。两侧界为颈动脉鞘内侧缘，上界为舌骨，下界为胸骨上切迹。
按照当前的颈部淋巴结的分区方法，除了六个区域的定义外，还有七个区域和八个区域的分区定义。在分区定义方式变化的情况下，根据本申请实施例的颈部淋巴结超声分区图像的生成系统仍然可做相应的变化，从而适应七个区域和八个区域的分区定义，因此七个区域和八个区域的分区定义仍在本申请的保护范围之内。
图4是根据本申请实施例的颈部淋巴结超声分区图像的生成的流程图。
参见图4，根据本申请的实施例，提供一种通过颈部淋巴结超声分区图像的生成系统生成颈部淋巴结超声分区图像的方法。在下面的描述中，为了避免冗余，将省略与参照图1-3描述的根据本申请实施例的颈部淋巴结超声分区图像的生成系统重复的描述。
如前所述，根据本申请实施例的颈部淋巴结超声分区图像的生成系统包括超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块和输出模块。优选地，根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括显示模块、人工审核模块和优化模块。此外，尽管图中没有示出，但是根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括如本领域技术人员所知的其它模块，例如，打印模块、存储模块、操作系统、学习模块等，而不再赘述。
根据本申请实施例的颈部淋巴结超声分区图像的生成方法包括如下步骤：S1、通过超声图获取模块生成颈部淋巴结超声图像；S2、通过加载有OpenCv软件的超声图预处理模块对颈部淋巴超声图像进行预处理；S3、通过加载有经过训练的Transformer模型的超声图分区模块对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；S4、通过热力图加载模块选择Grad-cam、Grad-cam++、X-grad热力图程序在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及S5、通过输出模块输出超声分区图像。
根据本申请的实施例，根据本申请实施例的颈部淋巴结超声分区图像的生成系统还可包括显示模块，并且根据本申请实施例的颈部淋巴结超声分区图像的生成方法还可包括通过显示模块显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。
根据本申请的实施例，根据本申请实施例的颈部淋巴结超声分区图像的生成系统还可包括人工审核模块，并且根据本申请实施例的颈部淋巴结超声分区图像的生成方法还可包括通过人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。
根据本申请的实施例，根据本申请实施例的颈部淋巴结超声分区图像的生成系统还可包括优化模块，并且根据本申请实施例的颈部淋巴结超声分区图像的生成方法还可包括通过优化模块从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。
根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。
根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。
根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。
根据本申请的实施例，超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。
与现有技术相比，根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法至少可实现如下有益效果：
因为根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法采用传统的超声图获取模块来获取常规的超声波图像，并且由此通过处理获得准确的颈部淋巴结分区，所以无需对超声图获取模块进行任何改造，从而对B超成像本身的成本没有增加。
超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理，从而可以获得去除各种噪声的清洗图像。
在清楚噪声的基础上，超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区，因此获得精确的颈部淋巴结超声分区图像。
通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。因此，可使颈部淋巴结超声分区图像更加清晰，大大提高了其可视性。
可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策，为医疗水平的提升提供了支持。同时，可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。
以上所述仅是本申请的示范性实施方式，而非用于限制本申请的保护范围，本申请的保护范围由所附的权利要求确定。
Claims (26)
1.一种颈部淋巴结超声分区图像的生成系统，包括：
超声图获取模块，通过对患者的检查生成颈部淋巴结超声图像；
超声图预处理模块，与所述超声图获取模块通信连接，从所述超声图获取模块接收所述颈部淋巴结超声图像，并且对所述颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理；
超声图分区模块，通过其上加载的经过训练的Transformer模型对经过所述超声图预处理模块预处理的所述颈部淋巴结超声图像进行分区；
热力图加载模块，通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在所述超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及
输出模块，输出所述可视化颈部淋巴结超声分区图像。
2.如权利要求1所述的颈部淋巴结超声分区图像的生成系统，还包括显示模块，所述显示模块显示所述超声波预处理模块上预处理中的所述颈部淋巴结超声图像、所述超声图分区模块上分区过程中的颈部淋巴结超声图像、所述热力图加载模块加载热力图后的所述可视化颈部淋巴结超声分区图像、以及所述输出模块输出的所述可视化颈部淋巴结超声分区图像。
3.如权利要求2所述的颈部淋巴结超声分区图像的生成系统，还包括人工审核模块，所述人工审核模块审核所述超声图预处理模块、所述超声图分区模块、热力图加载模块和输出模块的运行情况。
4.如权利要求3所述的颈部淋巴结超声分区图像的生成系统，其中，所述人工审核模块在审核所述输出模块时包括输入对所述可视化颈部淋巴结超声分区图像的结论性报告，并且指示所述输出模块输出所述可视化颈部淋巴结超声分区图像及对所述可视化颈部淋巴结超声分区图像的结论性报告。
5.如权利要求3所述的颈部淋巴结超声分区图像的生成系统，还包括优化模块，所述优化模块从所述输出模块接收所述可视化颈部淋巴结超声分区图像及对所述可视化颈部淋巴结超声分区图像的结论性报告，并且通过机器深入学习和训练而不断优化所述超声图预处理模块、所述超声图分区模块和所述热力图加载模块。
6.如权利要求1所述的颈部淋巴结超声分区图像的生成系统，其中，所述超声图预处理模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。
7.如权利要求1所述的颈部淋巴结超声分区图像的生成系统，其中，所述超声图预处理模块、所述超声图分区模块、所述热力图加载模块和所述输出模块集成在一台PC中。
8.如权利要求5所述的颈部淋巴结超声分区图像的生成系统，其中，所述超声图预处理模块、所述超声图分区模块、所述热力图加载模块、所述输出模块、所述显示模块、所述人工审核模块和所述优化模块集成在一台PC中。
9.如权利要求1所述的颈部淋巴结超声分区图像的生成系统，其中，所述超声图预处理模块的所述预处理包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。
10.如权利要求9所述的颈部淋巴结超声分区图像的生成系统，其中，所述界面截取超声包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，所述超声边界标记清除包括通过OpenCv的图像修复算法对固定的边界标记进行清除，所述超声内部十字标记清除包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。
11.如权利要求1所述的颈部淋巴结超声分区图像的生成系统，其中，所述超声图分区模块的Transformer模型为可进行不断训练和调整模型超参数的SwinTransformer模型。
12.如权利要求1所述的颈部淋巴结超声分区图像的生成系统，其中，所述超声图分区模块基于颈部淋巴结六个分区的定义在所述颈部淋巴结超声图像上分区。
13.如权利要求1所述的颈部淋巴结超声分区图像的生成系统，其中，所述超声图获取模块包括常规B超机。
14.一种通过颈部淋巴结超声分区图像的生成系统生成颈部淋巴结超声分区图像的方法，所述颈部淋巴结超声分区图像的生成系统包括超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块和输出模块，所述方法包括如下步骤：
S1、通过超声图获取模块生成颈部淋巴结超声图像；
S2、通过加载有OpenCv软件的超声图预处理模块对颈部淋巴超声图像进行预处理；
S3、通过加载有经过训练的Transformer模型的超声图分区模块对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；
S4、通过热力图加载模块选择Grad-cam、Grad-cam++、X-grad热力图程序在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及
S5、通过输出模块输出超声分区图像。
15.如权利要求14所述的颈部淋巴结超声分区图像的生成方法，其中，所述系统还包括显示模块，并且所述方法还包括通过所述显示模块显示所述超声波预处理模块上预处理中的所述颈部淋巴结超声图像、所述超声图分区模块上分区过程中的颈部淋巴结超声图像、所述热力图加载模块加载热力图后的所述可视化颈部淋巴结超声分区图像、以及所述输出模块输出的所述可视化颈部淋巴结超声分区图像。
16.如权利要求15所述的颈部淋巴结超声分区图像的生成方法，其中，所述系统还包括人工审核模块，并且所述方法还包括通过所述人工审核模块审核所述超声图预处理模块、所述超声图分区模块、热力图加载模块和输出模块的运行情况。
17.如权利要求16所述的颈部淋巴结超声分区图像的生成方法，其中，所述人工审核模块在审核所述输出模块时包括输入对所述可视化颈部淋巴结超声分区图像的结论性报告，并且指示所述输出模块输出所述可视化颈部淋巴结超声分区图像及对所述可视化颈部淋巴结超声分区图像的结论性报告。
18.如权利要求16所述的颈部淋巴结超声分区图像的生成方法，其中，所述系统还包括优化模块，并且所述方法还包括通过所述优化模块从所述输出模块接收所述可视化颈部淋巴结超声分区图像及对所述可视化颈部淋巴结超声分区图像的结论性报告，并且通过机器深入学习和训练而不断优化所述超声图预处理模块、所述超声图分区模块和所述热力图加载模块。
19.如权利要求14所述的颈部淋巴结超声分区图像的生成方法，其中，所述超声图预处理模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。
20.如权利要求14所述的颈部淋巴结超声分区图像的生成方法，其中，所述超声图预处理模块、所述超声图分区模块、所述热力图加载模块和所述输出模块集成在一台PC中。
21.如权利要求18所述的颈部淋巴结超声分区图像的生成方法，其中，所述超声图预处理模块、所述超声图分区模块、所述热力图加载模块、所述输出模块、所述显示模块、所述人工审核模块和所述优化模块集成在一台PC中。
22.如权利要求14所述的颈部淋巴结超声分区图像的生成方法，其中，所述超声图预处理模块的所述预处理包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。
23.如权利要求22所述的颈部淋巴结超声分区图像的生成方法，其中，所述界面截取超声包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，所述超声边界标记清除包括通过OpenCv的图像修复算法对固定的边界标记进行清除，所述超声内部十字标记清除包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。
24.如权利要求14所述的颈部淋巴结超声分区图像的生成方法，其中，所述超声图分区模块的Transformer模型为可进行不断训练和调整模型超参数的SwinTransformer模型。
25.如权利要求14所述的颈部淋巴结超声分区图像的生成方法，其中，所述超声图分区模块基于颈部淋巴结六个分区的定义在所述颈部淋巴结超声图像上分区。
26.如权利要求14所述的颈部淋巴结超声分区图像的生成方法，其中，所述超声图获取模块包括常规B超机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072699.9A CN113842159B (zh) | 2021-09-14 | 2021-09-14 | 颈部淋巴结超声分区图像的生成系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072699.9A CN113842159B (zh) | 2021-09-14 | 2021-09-14 | 颈部淋巴结超声分区图像的生成系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113842159A true CN113842159A (zh) | 2021-12-28 |
| CN113842159B CN113842159B (zh) | 2023-12-15 |
Family
ID=78974108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111072699.9A Active CN113842159B (zh) | 2021-09-14 | 2021-09-14 | 颈部淋巴结超声分区图像的生成系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113842159B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768546A (zh) * | 2021-09-14 | 2021-12-10 | 上海市第六人民医院 | 超声弹性图像生成与处理系统和方法 |
| CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145149A (zh) * | 2019-12-18 | 2020-05-12 | 佛山科学技术学院 | 一种基于深度学习的图像识别方法、装置及存储介质 |
| CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
| CN111369546A (zh) * | 2020-03-10 | 2020-07-03 | 北京邮电大学 | 一种颈部淋巴结图像分类识别装置及方法 |
-
2021
- 2021-09-14 CN CN202111072699.9A patent/CN113842159B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145149A (zh) * | 2019-12-18 | 2020-05-12 | 佛山科学技术学院 | 一种基于深度学习的图像识别方法、装置及存储介质 |
| CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
| CN111369546A (zh) * | 2020-03-10 | 2020-07-03 | 北京邮电大学 | 一种颈部淋巴结图像分类识别装置及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768546A (zh) * | 2021-09-14 | 2021-12-10 | 上海市第六人民医院 | 超声弹性图像生成与处理系统和方法 |
| CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
| CN113842164B (zh) * | 2021-09-14 | 2024-02-20 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
| CN113768546B (zh) * | 2021-09-14 | 2024-02-20 | 上海市第六人民医院 | 超声弹性图像生成与处理系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113842159B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113842159A (zh) | 颈部淋巴结超声分区图像的生成系统和方法 | |
| WO2021238438A1 (zh) | 肿瘤图像的处理方法和装置、电子设备、存储介质 | |
| US8208697B2 (en) | Method and apparatus for automatically developing a high performance classifier for producing medically meaningful descriptors in medical diagnosis imaging | |
| CN100562291C (zh) | 一种针对ct图像的处理装置、方法及系统 | |
| CN101868737B (zh) | 使用3d对比增强超声的介入导航 | |
| Noble et al. | Automatic segmentation of the facial nerve and chorda tympani in CT images using spatially dependent feature values | |
| US20110311116A1 (en) | System and methods for anatomical structure labeling | |
| KR102545008B1 (ko) | 초음파 영상 장치 및 그 제어 방법 | |
| CN101066210A (zh) | 超声系统中显示信息的用户界面及方法 | |
| CN104248454B (zh) | 一种二维超声图像与穿刺针共面判断方法 | |
| JPWO2020027228A1 (ja) | 診断支援システム及び診断支援方法 | |
| US11928816B2 (en) | Image processing method, apparatus, and system, electronic device, and storage medium | |
| CN113768546B (zh) | 超声弹性图像生成与处理系统和方法 | |
| CN108492885A (zh) | 检查工作流推荐方法、装置及终端 | |
| CN1261910C (zh) | 彩色多窗ct图像的自动生成方法 | |
| WO2021087687A1 (zh) | 超声图像分析方法、超声成像系统和计算机存储介质 | |
| CN112545478B (zh) | 在mri上自动分割、测量和定位乳腺肿块的系统及方法 | |
| US20220409181A1 (en) | Method and system for identifying a tendon in ultrasound imaging data and verifying such identity in live deployment | |
| CN116385756B (zh) | 基于增强标注和深度学习的医学图像识别方法及相关装置 | |
| CN111603199B (zh) | 一种基于体表定位测量仪的三维重建超声诊断系统 | |
| Hasan et al. | A Deep Learning Algorithm to Identify Anatomical Landmarks on Computed Tomography of the Temporal Bone | |
| KR102287020B1 (ko) | 딥러닝 기반 3d 가상 시뮬레이션 시스템 및 이를 위한 동작 방법 | |
| US20220202395A1 (en) | Ultrasonic imaging system and ultrasonic imaging method | |
| WO2014097103A1 (en) | Segmentation of breast lesions in 3d ultrasound images | |
| CN114569154A (zh) | 超声成像系统和组织弹性的评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |