CN113679426A - 超声图处理系统 - Google Patents
超声图处理系统 Download PDFInfo
- Publication number
- CN113679426A CN113679426A CN202111072619.XA CN202111072619A CN113679426A CN 113679426 A CN113679426 A CN 113679426A CN 202111072619 A CN202111072619 A CN 202111072619A CN 113679426 A CN113679426 A CN 113679426A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- ultrasound
- ultrasonic
- sonogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 58
- 238000002604 ultrasonography Methods 0.000 claims abstract description 139
- 230000011218 segmentation Effects 0.000 claims abstract description 66
- 102200055464 rs113488022 Human genes 0.000 claims abstract description 62
- 210000001519 tissue Anatomy 0.000 claims abstract description 62
- 238000005192 partition Methods 0.000 claims abstract description 52
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000002091 elastography Methods 0.000 claims abstract description 12
- 210000002751 lymph Anatomy 0.000 claims abstract description 10
- 238000012550 audit Methods 0.000 claims abstract description 8
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 6
- 210000002307 prostate Anatomy 0.000 claims abstract description 5
- 210000001165 lymph node Anatomy 0.000 claims description 58
- 238000010586 diagram Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000000638 solvent extraction Methods 0.000 claims description 23
- 208000009453 Thyroid Nodule Diseases 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 18
- 208000024770 Thyroid neoplasm Diseases 0.000 claims description 16
- 206010064571 Gene mutation Diseases 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000035772 mutation Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 12
- 230000001926 lymphatic effect Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 108090000623 proteins and genes Proteins 0.000 claims description 7
- 238000012552 review Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000002113 ultrasound elastography Methods 0.000 claims description 6
- 238000002099 shear wave elastography Methods 0.000 claims description 4
- 210000000481 breast Anatomy 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 17
- 210000000056 organ Anatomy 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 2
- 210000004185 liver Anatomy 0.000 abstract description 2
- 210000005075 mammary gland Anatomy 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract 1
- 206010054107 Nodule Diseases 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000003902 lesion Effects 0.000 description 9
- 201000002510 thyroid cancer Diseases 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000012285 ultrasound imaging Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010827 pathological analysis Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000008733 trauma Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 101150048834 braF gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 208000015914 Non-Hodgkin lymphomas Diseases 0.000 description 1
- 108700020978 Proto-Oncogene Proteins 0.000 description 1
- 102000052575 Proto-Oncogene Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请涉及一种超声图处理系统,包括:超声图获取模块,通过超声获取预定位置活体组织的超声图像;子系统选择模块,与超声图获取模块通信连接,接收来自超声图获取模块成像的超声图像,并且根据超声图像的性质,选择进入淋巴分区系统、弹性图像系统、BRAF‑V600E系统、结节定位分割系统之一:人工审核模块,对来自淋巴分区系统、弹性图像系统、BRAF‑V600E系统、结节定位分割系统之一的系统信息进行人工审核,并且给出人工审核报告;以及输出模块,输出人工审核模块给出的人工审核报告。根据本申请的超声图处理系统和方法可用于甲状腺、肝脏、乳腺、前列腺等组织、脏器需进行超声弹性成像评估时的辅助诊断。
Description
技术领域
本申请涉及超声波成像及其处理,特别是,涉及一种超声图处理系统。
背景技术
超声弹性成像是利用声波检测组织的硬度属性。目前,临床上有两种常用超声弹性成像方式:即应力式弹性成像和剪切波弹性成像。应力式弹性成像时,运用特定探头对组织表面施加一定压力,使检查组织发生形变和位移,再通过超声成像测量形变及位移的大小,从而间接反映组织硬度。剪切波弹性成像时,经超声探头发射声辐射脉冲波,作用于检测靶组织,靶目标受声辐射脉冲波作用产生形变,进而在组织内形成剪切波,其方向与探头脉冲波方向垂直。该剪切波在组织中传导速度较慢,易被探头接收进行分析。剪切波速度与组织硬度呈正比,因此,可利用剪切波速度来评估组织硬度。生成的弹性成像图为一张具有不同颜色的彩色图,通过特定颜色的比例来确定靶组织的硬度,从而获得弹性评分或弹性硬度值。多种疾病的早期阶段,病变组织和健康组织的常规二维超声回声相似,难以区分,而超声弹性成像技术通过测量病变组织的弹性参数,可显示出二者的差异,为疾病早期诊断提供更多信息。该技术已广泛应用于临床多种疾病的超声诊断与鉴别诊断,如甲状腺、肝脏、乳腺、前列腺、骨肌等组织、器官病变的评估。
超声弹性成像具有很高的临床应用价值,但进行超声弹性成像获得靶组织、器官弹性评分需要一个额外的弹性成像设备,而且需要依赖医生进过专业训练后具备相关的经验后才能达到好的效果。
在医学诊断方面,通过颈部超声准确评估淋巴结转移状态以及分区位置对肿瘤鉴别、寻找原发灶、颈部淋巴结清扫有重用价值。目前颈部淋巴结分区采用外科学分区标准分为六区,分区的依据来自于骨、肌肉、血管或神经等标志,由超声科医生主观判断,但是超声成像含斑点噪声、对比度低以及分区标记物未必能显示和辨认,超声科医生很难精确地对颈部淋巴结分区。随着深度学习领域的迅速发展,目前还未有基于深度学习的颈部淋巴结分区的研究。
BRAF基因是一种原癌基因,V600E代表的是BRAF基因中最容易突变的一个位点,常在黑色素瘤、非霍奇金淋巴瘤、大肠癌、甲状腺癌、非小细胞肺癌中发生突变。
近年来,随着甲状腺癌发病率的增高,对其诊断准确性及治疗个体化提出了更高的要求。BRAF-V600E突变是甲状腺癌最常见的基因突变形式,其对甲状腺癌的高度特异性及其与高危临床病理特征的显著相关性使其在辅助甲状腺癌病理诊断和预测患者预后等方面发挥着重要作用。
目前,BRAF-V600E突变的检测主要通过超声引导下的细针穿刺或手术切除后癌组织切片病理来实现,这种病理诊断方法具有创伤大、花费高、耗时长等缺点。甲状腺结节超声图像特征与BRAFV600E突变存在一定的关联,这使得通过超声图像预测BRAFV600E突变以减少患者创伤、降低就医成本成为可能,但超声图像特征判断的主观性使得这种预测模式的实现难度较大。目前深度学习在辅助甲状腺结节良恶性诊断方面发展迅猛,然而基于深度学习的神经网络检测预测甲状腺结节BRAFV600E突变的系统尚未出现。
近年来活体组织结节,特别是甲状腺癌发病率有增高趋势,人们对其诊断准确性及治疗个体化提出了更高的要求。目前甲状腺癌的检测手段主要是通过医生进行B超影像,从B超影像中根据自身经验判断活体组织结节,并且手动标记结节的长短径。这种方法不仅费时费力,其准确程度大大依赖与医生的经验判断,随着检测人数不断增加,将大大消耗医生的经历,从而可能造成诊断准确率下降。
甲状腺癌的B超图像辅助诊断,关键在于对病灶进行定位和分割,从而进行重点定位上的分析和判断。
发明内容
本申请要解决的技术问题是通过B超机与PC机的联网,在PC机上对超声图像进行相应的有效处理,以实现就地或远程对超声图像进行分析判断而对各种病变进行高效排查。
为解决上述技术问题,根据本申请的实施例,提供一种超声图处理系统,包括:超声图获取模块,通过超声获取预定位置活体组织的超声图像;子系统选择模块,与超声图获取模块通信连接,接收来自超声图获取模块成像的超声图像,并且根据超声图像的性质,选择进入淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一:人工审核模块,对来自淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一的系统信息进行人工审核,并且给出人工审核报告;以及输出模块,输出人工审核模块给出的人工审核报告。
根据本申请的实施例,超声图处理系统还可包括显示模块,显示模块显示子系统选择模块、淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一、以及输出模块的运行情况。
根据本申请的实施例,超声图处理系统还可包括优化模块,优化模块从输出模块接收人工审核报告,并且通过机器深入学习和训练而不断优化淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统的每一个。
根据本申请的实施例,子系统选择模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例,淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统、人工审核模块和输出模块可集成在一台PC中。
根据本申请的实施例,超声图获取模块与PC之间可为远程通信连接。
根据本申请的实施例,超声图获取模块可包括常规B超机。
根据本申请的实施例,活体组织的超声图像可包括颈部淋巴结超声图像、甲状腺超声图像、女性乳腺超声图像、男性前列腺超声图像。
根据本申请的实施例,弹性图像系统可包括具有USE-GAN图像生成模型的弹性图像生成模块,USE-GAN图像生成模型包括通过空间注意力模块对超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样,最后通过通道注意力模块后的整合输出通道输出结果。
根据本申请的实施例,超声图处理系统还可包括在USE-GAN图像生成模型上选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定,其中,GAN损失函数用以生成更真实的图像,L1损失函数关注图像每个像素的相似程度,Color损失函数关注图像上的颜色分布相似程度,VGG19损失函数关注图像整体结构相似程度。
根据本申请的实施例,弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的应力式弹性成像。
根据本申请的实施例,弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的剪切波弹性成像。
根据本申请的实施例,淋巴分区系统可包括:超声图预处理模块,从超声图获取模块接收颈部淋巴结超声图像,并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理;超声图分区模块,通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区;热力图加载模块,通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序,在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图,以形成可视化颈部淋巴结超声分区图像。
根据本申请的实施例,超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。
根据本申请的实施例,界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像,超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除,超声内部十字标记清除可包括通过分析连通区域的像素信息,定位超声图像中的十字标记位置,通过OpenCv图像修复算法对十字标记进行清除。
根据本申请的实施例,超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。
根据本申请的实施例,超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。
根据本申请的实施例,BRAF-V600E系统可包括:定位分割模块,接收来自超声图获取模块生成的活性组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;BRAF-V600E模块,通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。
根据本申请的实施例,TransU-Net模型可为卷积神经网络的TransU-Net网络。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
根据本申请的实施例,活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为一个或多个待查结节区域图像。
根据本申请的实施例,超声图处理系统还可包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
根据本申请的实施例,超声图处理系统还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
根据本申请的实施例,DenseNet网路可采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
根据本申请的实施例,结节定位分割系统包括定位分割模块,定位分割模块接收来自超声图获取模块生成的活体组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性,图像大小调整至256*256。
根据本申请的实施例,Unet++网络可为粗分割网络,计算结节的最小外接正方形,如果外接正方形大小大于80,那么外扩20个像素,否则外扩30个像素,以将截取的结节缩放至512*512大小。
根据本申请的实施例,Medical Transformer网络采用卷积神经网络和Transformer模块相结合,包括局部训练模块、全局训练模块和整合模块。
根据本申请的实施例,局部训练模块可使用卷积模块,对输入模型进行两次下采样后进行上采样,以获取到图像的局部特征;全局训练模块可使用Transformer模块来增加网络的感受野,以获取图像的全局特征;整合模块可将全局特征和局部特征叠加,得到最终的分割结果。
根据本申请的实施例,超声图处理系统还可包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
与现有技术相比,本申请的实施例所提供的技术方案至少可实现如下有益效果:
无需改变现有的B超机和PC机,而是将B超机和PC机通过互联网连接而实现信息共享,无论B超机和PC机二者之间彼此相邻或彼此远离的远程操作。
B超机上形成的超声图像通过PC机的存储模块上存储的软件利用USE-GAN图像生成模型而生成超声图像的超声弹性图像,该超声弹性图像是虚拟图像,可呈现超声弹性图像所代表的被检测活性组织的弹性评分。弹性评分代表被检测活性组织的硬度。因此,弹性评分超过某阈值时,医生可在此基础上结合其它参数对患者的病灶进行比较准确的诊断。
因为B超成像是相对比较便宜的成像技术,并且可应用于各种软组织的超声波检查,所以在对超声图像自动形成超声弹性图像后,可直接确定其弹性评分而对医生评估病变具有极大帮助。这可及时且快捷地筛查各种病变,从而降低了筛查成本。
在远程医疗的情况下,PC端上可清楚地接收来自远方的B超机传输的超声图像,因此如同在同地一样实现远程医疗。
因为根据本申请实施例的颈部淋巴结超声分区系统采用传统的超声图获取模块来获取常规的超声波图像,并且由此通过处理获得准确的颈部淋巴结分区,所以无需对超声图获取模块进行任何改造,从而对B超成像本身的成本没有增加。
超声图预处理模块与超声图获取模块通信连接,从超声图获取模块接收颈部淋巴结超声图像,并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理,从而可以获得去除各种噪声的清洗图像。
在清楚噪声的基础上,超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区,因此获得精确的颈部淋巴结超声分区图像。
通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序,在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图,以形成可视化颈部淋巴结超声分区图像。因此,可使颈部淋巴结超声分区图像更加清晰,大大提高了其可视性。
可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策,为医疗水平的提升提供了支持。同时,可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。
因为根据本申请实施例的BRAF-V600E系统中,采用超声图获取模块,通过对患者的检查生成活性组织的超声图像,超声图获取模块可为常规B超机,所以对传统的B超机不需要做任何改变,因此免去了对现有设备的改造成本。
定位分割模块与超声图获取模块通信连接,并且该通信连接可为有线连接或无线连接。这样,以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置,或者二者之间可为远程连接。在远程连接的情况下,方便了远程医疗诊断。
定位分割模块在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像,因此不会漏掉任何可能的病灶。
BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。DenseNet网络在经过一定的训练后,对BRAF-V600E基因突变具有较好的识别能力,因此可以给出相对准确的智能机器判断,而不是完全依赖于人为的主观判断。这大大提高了对BRAF-V600E基因突变的检测效率和准确性。
输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果,同时也可输出人工审核的结论性报告。这样的结果和报告除了可以打印成书面报告外,还可将其反馈给优化模块,从而对定位分割模块和BRAF-V600E模块上的软件进行不断训练、深入学习和优化。
BRAF-V600E系统可为医生提供快速、准确的BRAFV600E基因预测的辅助诊断结果,同时对病人可以省去进行传统的BRAFV600E病理诊断方法所带来的的创伤大、花费高、耗时长等缺点,因此具有良好的医用价值和很好的社会价值。
活体组织结节定位分割系统中,采用超声图获取模块,通过对患者的检查生成活体组织的超声图像,超声图获取模块可为常规B超机,所以对传统的B超机不需要做任何改变,因此免去了对现有设备的改造成本。
定位分割模块与超声图获取模块通信连接,并且该通信连接可为有线连接或无线连接。这样,以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置,或者二者之间可为远程连接。在远程连接的情况下,方便了远程医疗诊断。
定位分割模块在对超声图像进行预处理后,通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像,因此不会漏掉任何可能的病灶。
人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断。定位分割模块所生成的一个或多个待查结节区域图像对于人工审核模块或超声波医生来说具有较好的识别性,因此可以给出相对准确的判断。这大大提高了检测效率和准确性。
输出模块输出人工审核模块形成的人工判断的结果,同时也可输出人工判断的结论性报告。这样的结果和报告除了可以打印成书面报告外,还可将其反馈给优化模块,从而对定位分割模块上的软件进行不断训练、深入学习和优化。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本申请的一些实施例,而非对本申请的限制。
图1是根据本申请实施例的超声图处理系统的模块图。
图2是根据本申请实施例的超声图处理系统的模型采样架构图。
图3是示出OpenCv模块的示意图。
图4是示出Transformer模型的示意图。
图5是根据本申请实施例的用于检测BRAF-V600E突变的系统的定位分割模块的示意图。
图6是根据本申请实施例的用于检测BRAF-V600E突变的系统的BRAF-V600E模块的示意图。
图7是根据本申请实施例的用于检测活体组织结节的系统的分割网络流程图。
图8是根据本申请实施例的用于检测活体组织结节的系统的Unet++网络模型图。
图9是根据本申请实施例的用于检测活体组织结节的系统的MedicalTransformer网络模型结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例的附图,对本申请实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于所描述的本申请的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
除非另作定义,此处使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。
下面,将结合附图详细描述本申请的实施例。
图1是根据本申请实施例的超声图处理系统的模块图。
参见图1,本申请提供一种超声图处理系统,包括:超声图获取模块,通过超声获取预定位置活体组织的超声图像;子系统选择模块,与超声图获取模块通信连接,接收来自超声图获取模块成像的超声图像,并且根据超声图像的性质,选择进入淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一:人工审核模块,对来自淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一的系统信息进行人工审核,并且给出人工审核报告;以及输出模块,输出人工审核模块给出的人工审核报告。
根据本申请的实施例,超声图处理系统还可包括显示模块,显示模块显示子系统选择模块、淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一、以及输出模块的运行情况。
根据本申请的实施例,超声图处理系统还可包括优化模块,优化模块从输出模块接收人工审核报告,并且通过机器深入学习和训练而不断优化淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统的每一个。
根据本申请的实施例,子系统选择模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例,淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统、人工审核模块和输出模块可集成在一台PC中。
根据本申请的实施例,超声图获取模块与PC之间可为远程通信连接。
根据本申请的实施例,超声图获取模块可包括常规B超机。
根据本申请的实施例,活体组织的超声图像可包括颈部淋巴结超声图像、甲状腺超声图像、女性乳腺超声图像、男性前列腺超声图像。
图2是根据本申请实施例的超声图处理系统的模型采样架构图。
如图2所示,根据本申请的实施例,弹性图像系统可包括具有USE-GAN图像生成模型的弹性图像生成模块,USE-GAN图像生成模型包括通过空间注意力模块对超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样,最后通过通道注意力模块后的整合输出通道输出结果。
根据本申请的实施例,超声图处理系统还可包括在USE-GAN图像生成模型上选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定,其中,GAN损失函数用以生成更真实的图像,L1损失函数关注图像每个像素的相似程度,Color损失函数关注图像上的颜色分布相似程度,VGG19损失函数关注图像整体结构相似程度。
根据本申请的实施例,弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的应力式弹性成像。
根据本申请的实施例,弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的剪切波弹性成像。
根据本申请的实施例,淋巴分区系统可包括:超声图预处理模块,从超声图获取模块接收颈部淋巴结超声图像,并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理;超声图分区模块,通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区;热力图加载模块,通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序,在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图,以形成可视化颈部淋巴结超声分区图像。
根据本申请的实施例,超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。
根据本申请的实施例,界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像,超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除,超声内部十字标记清除可包括通过分析连通区域的像素信息,定位超声图像中的十字标记位置,通过OpenCv图像修复算法对十字标记进行清除。
图3是示出OpenCv模块的示意图。
如图3所示,OpenCV是一个跨平台计算机视觉和机器学习软件库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效,由一系列C函数和少量C++类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。根据本申请的实施例,超声图预处理模块通过OpenCV软件对颈部淋巴结超声图像进行预处理。
超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区。
根据本申请的实施例,超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。
图4是示出Transformer模型的示意图。
如图4所示,Core是该模块包含OpenCV库的基础结构以及基本操作。因此,Transformer模型与上述的OpenCV具有良好的可兼容性。因为Transformer模型是微软公司的标准软件,所以在此不做进一步描述。
热力图加载模块通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序,在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图,以形成可视化颈部淋巴结超声分区图像。
根据本申请的实施例,超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。
根据本申请的实施例,超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。
图5是根据本申请实施例的用于检测BRAF-V600E突变的系统的定位分割模块的示意图。
如图5所示,模型可以分为编码器和解码器两部分,解码器部分为CNN-Transformer混合部分。该模型的具体工作原理为:先由三层CNN提取出粗粒度的图像特征,将该特征作为Transformer模块的输入,Transformer模块通过Patch Embedding操作,将二维图像转换为一维的Patch Embedding,使用attention机制对图像特征进行进一步的提取,提取出分割目标的细粒度的特征,attention机制是根据当前查询对输入信息赋予不同的权重来聚合信息,从操作上看就是一种“加权平均”。attention中共有3个概念:query、key和value,其中key和value是成对的,对于一个给定的query向量,通过内积计算来匹配k个key向量,得到的内积通过softmax来归一化得到k个权重,那么对于query其attention的输出就是k个key向量对应的value向量的加权平均值。对于一系列的N个query,可以通过矩阵计算它们的attention输出:
Q,K,Y对应query,key,value三个向量,d是query向量的维度,k是query匹配的key向量的个数。
CNN-Transformer作为编码器较于之前的纯CNN编码器,它可以获得更多的长程信息,拥有更大尺度的视野,可以整合更大范围内的特征,而相较于纯Transformer编码器,它可以获取更多的细节信息,使得器官的形状和边界信息更加明显。
解码器部分使用了级联的上采样器,它拥有三次上采样过程,用于解码隐藏特征以输出最终的分割结果,解码器中的每一层都采用skip-connect操作,增加了之前编码器部分CNN提取的特征,使得不同层次的特征可以更好的混合在一起,提高模型的精确度。
根据本申请的实施例,TransU-Net模型可为卷积神经网络的TransU-Net网络。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
根据本申请的实施例,活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为一个或多个待查结节区域图像。
图6是根据本申请实施例的用于检测BRAF-V600E突变的系统的BRAF-V600E模块的示意图。
如图6所示,BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。
DenseNet结构上是由一层层的卷积模块提取特征,最后经过全连接层,将卷积提取的特征映射到样本标记的空间中。在卷积模块中,使用到了密集连接的操作,在参数量不增加太多的情况下,加强了特征的传递,使得特征的传递更为有效。
在深度学习中,随着网络的加深,梯度消失的问题会愈加明显。在该模型中,使用了密集连接的策略来缓解梯度消失的情况出现。如图所示,对于第N层,它都会将自己的特征直接连接到后续的各层,而自己也将直接接收到之前N层之前的所有特征。如公式描述的:
xl=Hl(x0,x1...xn-1)
其中xl代表第l层的输出,Hl表示第l层等的操作。这样的设计可以使得每一层都可以直接访问到来自损失函数和原始输入信号的梯度,从而实现隐式的深度监督,自然可以减轻梯度消失的情况。同时,也更为有效的利用了各层的特征;并且,由于只是增加了密集连接的操作,对于网络的深度和宽度并没有改变太多,因此DenseNet网络训练起来较为容易,参数量也更小。
根据本申请的实施例,BRAF-V600E系统可包括:定位分割模块,接收来自超声图获取模块生成的活性组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;BRAF-V600E模块,通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。
根据本申请的实施例,TransU-Net模型可为卷积神经网络的TransU-Net网络。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
根据本申请的实施例,活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为一个或多个待查结节区域图像。
根据本申请的实施例,超声图处理系统还可包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
根据本申请的实施例,超声图处理系统还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
根据本申请的实施例,DenseNet网路可采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
图7是根据本申请实施例的用于检测活体组织结节的系统的分割网络流程图。图8是根据本申请实施例的用于检测活体组织结节的系统的Unet++网络模型图。图9是根据本申请实施例的用于检测活体组织结节的系统的Medical Transformer网络模型结构图。
如图7和8所示,将上传的甲状腺B超图像,先对图像进行预处理,去掉与超声影像无关的部分,并且调整图像大小为256*256,利用分割模型对B超图片进行第一阶段的分割,一阶段的网络为粗分割网络,目的在于得到甲状腺结节的位置以及大致的形状信息,以便下一步精分割中缩小感兴趣视野,以期望得到更好的分割效果。
在得到粗分割结果后,计算结节的最小外接正方形,如果外接正方形大小大于80,那么外扩20个像素,否则外扩30个像素。截取的结节,并且缩放至512*512大小,作为二阶段分割网络的输入。二阶段网络是一个精分割网络。
本申请的粗分割网络Unet++网络,具体描述如下:
该网络采用了卷积神经网络Unet++网络,该模型是分割经典网络Unet的改进版本,相较于Unet,其将Unet网络中间的空缺部分,用多个小的Unet结构来填充,这样可以提高网络的学习能力。输入模型的图像会经过四次卷积和降采样过程,获取输入图像不同层次特征。随后,各级网络均进行多次上采样,直至恢复至原来的尺寸。在各级的卷积节点中,同级的特征会通过skip-connect操作将其特征传递至同级的后续卷积模块中,用来丰富各级特征,并且避免出现梯度消失的情况。当网络训练结束之后,可以在X12、X13、X14、X15后增加1x1的卷积模块,对各个输出情况进行监督,获取每个分支的输出。根据学习的能力,可以进行不同程度的剪枝,在不过多影响网络性能的情况下,来减小最终模型大小,增加模型的可移植性。
如图9所示,本申请的细分割网络采用了Medical Transformer网络,具体描述如下:
该网络采用了卷积神经网络和Transformer模块相结合。该模型采取了局部-全局训练的策略,有两条并行的训练网络同时对图片特征进行学习、提取。上面的是局部训练模块,使用的是卷积模块,对输入模型进行两次的下采样后进行上采样,这样可以获取到的图像的局部特征。下方的训练模为全局训练模块,使用了Transformer模块来增加网络的感受野。它使用了首先会经过一个卷积层以进行特征提取,接下来通过Transformer模块,对图像中的特征进行整合,细化特征,解码器部分使用了级联的上采样器,它拥有四次上采样过程,用于解码隐藏特征以输出最终的分割结果,解码器中的每一层都采用skip-connect操作,增加了Transformer的特征,使得不同层次的特征可以更好的混合在一起,提高模型的精确度。最终,将全局分支和局部分支的结果相加,得到最终的分割结果。
训练中采用了dice系数和交叉熵的混合的方法,既可以集中于目标区域,又解决了类别不平衡(背景多、结节小)的问题。
综上所述:
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性,图像大小调整至256*256。
根据本申请的实施例,Unet++网络可为粗分割网络,计算结节的最小外接正方形,如果外接正方形大小大于80,那么外扩20个像素,否则外扩30个像素,以将截取的结节缩放至512*512大小。
根据本申请的实施例,Medical Transformer网络采用卷积神经网络和Transformer模块相结合,可包括局部训练模块、全局训练模块和整合模块。
根据本申请的实施例,局部训练模块可使用卷积模块,对输入模型进行两次下采样后进行上采样,以获取到图像的局部特征;全局训练模块可使用Transformer模块来增加网络的感受野,以获取图像的全局特征;整合模块可将全局特征和局部特征叠加,得到最终的分割结果。
与现有技术相比,本申请的实施例所提供的技术方案至少可实现如下有益效果:
无需改变现有的B超机和PC机,而是将B超机和PC机通过互联网连接而实现信息共享,无论B超机和PC机二者之间彼此相邻或彼此远离的远程操作。
B超机上形成的超声图像通过PC机的存储模块上存储的软件利用USE-GAN图像生成模型而生成超声图像的超声弹性图像,该超声弹性图像是虚拟图像,可呈现超声弹性图像所代表的被检测活性组织的弹性评分。弹性评分代表被检测活性组织的硬度。因此,弹性评分超过某阈值时,医生可在此基础上结合其它参数对患者的病灶进行比较准确的诊断。
因为B超成像是相对比较便宜的成像技术,并且可应用于各种软组织的超声波检查,所以在对超声图像自动形成超声弹性图像后,可直接确定其弹性评分而对医生评估病变具有极大帮助。这可及时且快捷地筛查各种病变,从而降低了筛查成本。
在远程医疗的情况下,PC端上可清楚地接收来自远方的B超机传输的超声图像,因此如同在同地一样实现远程医疗。
因为根据本申请实施例的颈部淋巴结超声分区系统采用传统的超声图获取模块来获取常规的超声波图像,并且由此通过处理获得准确的颈部淋巴结分区,所以无需对超声图获取模块进行任何改造,从而对B超成像本身的成本没有增加。
超声图预处理模块与超声图获取模块通信连接,从超声图获取模块接收颈部淋巴结超声图像,并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理,从而可以获得去除各种噪声的清洗图像。
在清楚噪声的基础上,超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区,因此获得精确的颈部淋巴结超声分区图像。
通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序,在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图,以形成可视化颈部淋巴结超声分区图像。因此,可使颈部淋巴结超声分区图像更加清晰,大大提高了其可视性。
可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策,为医疗水平的提升提供了支持。同时,可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。
因为根据本申请实施例的BRAF-V600E系统中,采用超声图获取模块,通过对患者的检查生成活性组织的超声图像,超声图获取模块可为常规B超机,所以对传统的B超机不需要做任何改变,因此免去了对现有设备的改造成本。
定位分割模块与超声图获取模块通信连接,并且该通信连接可为有线连接或无线连接。这样,以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置,或者二者之间可为远程连接。在远程连接的情况下,方便了远程医疗诊断。
定位分割模块在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像,因此不会漏掉任何可能的病灶。
BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。DenseNet网络在经过一定的训练后,对BRAF-V600E基因突变具有较好的识别能力,因此可以给出相对准确的智能机器判断,而不是完全依赖于人为的主观判断。这大大提高了对BRAF-V600E基因突变的检测效率和准确性。
输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果,同时也可输出人工审核的结论性报告。这样的结果和报告除了可以打印成书面报告外,还可将其反馈给优化模块,从而对定位分割模块和BRAF-V600E模块上的软件进行不断训练、深入学习和优化。
BRAF-V600E系统可为医生提供快速、准确的BRAFV600E基因预测的辅助诊断结果,同时对病人可以省去进行传统的BRAFV600E病理诊断方法所带来的的创伤大、花费高、耗时长等缺点,因此具有良好的医用价值和很好的社会价值。
活体组织结节定位分割系统中,采用超声图获取模块,通过对患者的检查生成活体组织的超声图像,超声图获取模块可为常规B超机,所以对传统的B超机不需要做任何改变,因此免去了对现有设备的改造成本。
定位分割模块与超声图获取模块通信连接,并且该通信连接可为有线连接或无线连接。这样,以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置,或者二者之间可为远程连接。在远程连接的情况下,方便了远程医疗诊断。
定位分割模块在对超声图像进行预处理后,通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像,因此不会漏掉任何可能的病灶。
人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断。定位分割模块所生成的一个或多个待查结节区域图像对于人工审核模块或超声波医生来说具有较好的识别性,因此可以给出相对准确的判断。这大大提高了检测效率和准确性。
输出模块输出人工审核模块形成的人工判断的结果,同时也可输出人工判断的结论性报告。这样的结果和报告除了可以打印成书面报告外,还可将其反馈给优化模块,从而对定位分割模块上的软件进行不断训练、深入学习和优化。
以上所述仅是本申请的示范性实施方式,而非用于限制本申请的保护范围,本申请的保护范围由所附的权利要求确定。
Claims (30)
1.一种超声图处理系统,包括:
超声图获取模块,通过超声获取预定位置活体组织的超声图像;
子系统选择模块,与所述超声图获取模块通信连接,接收来自所述超声图获取模块成像的超声图像,并且根据所述超声图像的性质,选择进入淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一:
人工审核模块,对来自所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一的系统信息进行人工审核,并且给出人工审核报告;以及
输出模块,输出所述人工审核模块给出的人工审核报告。
2.如权利要求1所述的超声图处理系统,还包括显示模块,所述显示模块显示所述子系统选择模块、所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一、以及所述输出模块的运行情况。
3.如权利要求2所述的超声图处理系统,还包括优化模块,所述优化模块从所述输出模块接收所述所述人工审核报告,并且通过机器深入学习和训练而不断优化所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统的每一个。
4.如权利要求3所述的超声图处理系统,其中,所述子系统选择模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。
5.如权利要求4所述的超声图处理系统,其中,所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统、所述人工审核模块和所述输出模块集成在一台PC中。
6.如权利要求5所述的超声图处理系统,其中,所述超声图获取模块与所述PC之间为远程通信连接。
7.如权利要求6所述的超声图处理系统,其中,所述超声图获取模块包括常规B超机。
8.如权利要求7所述的超声图处理系统,其中,所述活体组织的超声图像包括颈部淋巴结超声图像、甲状腺超声图像、女性乳腺超声图像、男性前列腺超声图像。
9.如权利要求8所述的超声图处理系统,其中,所述弹性图像系统包括具有USE-GAN图像生成模型的弹性图像生成模块,USE-GAN图像生成模型包括通过空间注意力模块对所述超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样,最后通过通道注意力模块后的整合输出通道输出结果。
10.如权利要求9所述的超声图处理系统,还包括在所述USE-GAN图像生成模型上选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定,其中,GAN损失函数用以生成更真实的图像,L1损失函数关注图像每个像素的相似程度,Color损失函数关注图像上的颜色分布相似程度,VGG19损失函数关注图像整体结构相似程度。
11.如权利要求10所述的超声图处理系统,其中,所述弹性图像系统基于USE-GAN图像生成模型对所述超声图像生成超声弹性图像包括模拟的应力式弹性成像。
12.如权利要求10所述的超声图处理系统,其中,所述弹性图像系统基于USE-GAN图像生成模型对所述超声图像生成超声弹性图像包括模拟的剪切波弹性成像。
13.如权利要求8所述的超声图处理系统,其中,所述淋巴分区系统包括:超声图预处理模块,从所述超声图获取模块接收所述颈部淋巴结超声图像,并且对所述颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理;超声图分区模块,通过其上加载的经过训练的Transformer模型对经过所述超声图预处理模块预处理的所述颈部淋巴结超声图像进行分区;热力图加载模块,通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序,在所述超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图,以形成可视化颈部淋巴结超声分区图像。
14.如权利要求13所述的超声图处理系统,其中,所述超声图预处理模块的所述预处理包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。
15.如权利要求14所述的超声图处理系统,其中,所述界面截取超声包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像,所述超声边界标记清除包括通过OpenCv的图像修复算法对固定的边界标记进行清除,所述超声内部十字标记清除包括通过分析连通区域的像素信息,定位超声图像中的十字标记位置,通过OpenCv图像修复算法对十字标记进行清除。
16.如权利要求13所述的超声图处理系统,其中,所述超声图分区模块的Transformer模型为可进行不断训练和调整模型超参数的Swin Transformer模型。
17.如权利要求13所述的超声图处理系统,其中,所述超声图分区模块基于颈部淋巴结六个分区的定义在所述颈部淋巴结超声图像上分区。
18.如权利要求8所述的超声图处理系统,其中,所述BRAF-V600E系统包括:定位分割模块,接收来自所述超声图获取模块生成的活性组织的超声图像,并且在对所述超声图像进行预处理后,通过其上加载的TransU-Net模型对所述活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;BRAF-V600E模块,通过其上加载的DenseNet网络对所述定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。
19.如权利要求18所述的超声图处理系统,其中,所述TransU-Net模型为卷积神经网络的TransU-Net网络。
20.如权利要求18所述的超声图处理系统,其中,所述超声图像的预处理包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
21.如权利要求18所述的超声图处理系统,其中,所述活性组织的超声图像上的结节定位和分割包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为所述一个或多个待查结节区域图像。
22.如权利要求18所述的超声图处理系统,还包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
23.如权利要求21所述的超声图处理系统,还包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
24.如权利要求23所述的超声图处理系统,其中,所述DenseNet网路采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
25.如权利要求8所述的超声图处理系统,其中,所述结节定位分割系统包括定位分割模块,所述定位分割模块接收来自所述超声图获取模块生成的活体组织的超声图像,并且在对所述超声图像进行预处理后,通过其上加载的Unet++网络和Medical Transformer网络对所述活体组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。
26.如权利要求25所述的超声图处理系统,其中,所述超声图像的预处理包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性,图像大小调整至256*256。
27.如权利要求25所述的超声图处理系统,其中,所述Unet++网络为粗分割网络,计算结节的最小外接正方形,如果外接正方形大小大于80,那么外扩20个像素,否则外扩30个像素,以将截取的结节缩放至512*512大小。
28.如权利要求25所述的超声图处理系统,其中,所述Medical Transformer网络采用卷积神经网络和Transformer模块相结合,包括局部训练模块、全局训练模块和整合模块。
29.如权利要求28所述的超声图处理系统,其中,所述局部训练模块使用卷积模块,对输入模型进行两次下采样后进行上采样,以获取到图像的局部特征;所述全局训练模块使用Transformer模块来增加网络的感受野,以获取图像的全局特征;整合模块将全局特征和局部特征叠加,得到最终的分割结果。
30.如权利要求25所述的超声图处理系统,还包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111072619.XA CN113679426B (zh) | 2021-09-14 | 2021-09-14 | 超声图处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111072619.XA CN113679426B (zh) | 2021-09-14 | 2021-09-14 | 超声图处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113679426A true CN113679426A (zh) | 2021-11-23 |
CN113679426B CN113679426B (zh) | 2024-02-20 |
Family
ID=78586350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111072619.XA Active CN113679426B (zh) | 2021-09-14 | 2021-09-14 | 超声图处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113679426B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113768546A (zh) * | 2021-09-14 | 2021-12-10 | 上海市第六人民医院 | 超声弹性图像生成与处理系统和方法 |
CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
CN114052762A (zh) * | 2021-11-30 | 2022-02-18 | 燕山大学 | 基于Swin-T预测狭窄血管尺寸和器械尺寸的方法 |
CN114419449A (zh) * | 2022-03-28 | 2022-04-29 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
CN116739992A (zh) * | 2023-05-17 | 2023-09-12 | 福州大学 | 一种甲状腺被膜侵犯智能辅助判读方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200074271A1 (en) * | 2018-08-29 | 2020-03-05 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
CN112107332A (zh) * | 2020-10-10 | 2020-12-22 | 高慧强 | 医疗超声影像的处理方法、设备和系统 |
CN112992338A (zh) * | 2021-02-08 | 2021-06-18 | 青岛大学附属医院 | 一种超声检查技术与人工智能技术相结合的学习系统 |
CN113243933A (zh) * | 2021-05-20 | 2021-08-13 | 张涛 | 一种远程超声诊断系统及使用方法 |
-
2021
- 2021-09-14 CN CN202111072619.XA patent/CN113679426B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200074271A1 (en) * | 2018-08-29 | 2020-03-05 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
CN112107332A (zh) * | 2020-10-10 | 2020-12-22 | 高慧强 | 医疗超声影像的处理方法、设备和系统 |
CN112992338A (zh) * | 2021-02-08 | 2021-06-18 | 青岛大学附属医院 | 一种超声检查技术与人工智能技术相结合的学习系统 |
CN113243933A (zh) * | 2021-05-20 | 2021-08-13 | 张涛 | 一种远程超声诊断系统及使用方法 |
Non-Patent Citations (1)
Title |
---|
JEYA MARIA JOSE VALANARASU ETAL.: "Medical Transformer: Gated Axial-Attention for Medical Image Segmentation", pages 1 - 7, Retrieved from the Internet <URL:https://arxiv.org/abs/2102.10662> * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113768546A (zh) * | 2021-09-14 | 2021-12-10 | 上海市第六人民医院 | 超声弹性图像生成与处理系统和方法 |
CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
CN113842164B (zh) * | 2021-09-14 | 2024-02-20 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
CN113768546B (zh) * | 2021-09-14 | 2024-02-20 | 上海市第六人民医院 | 超声弹性图像生成与处理系统和方法 |
CN114052762A (zh) * | 2021-11-30 | 2022-02-18 | 燕山大学 | 基于Swin-T预测狭窄血管尺寸和器械尺寸的方法 |
CN114419449A (zh) * | 2022-03-28 | 2022-04-29 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
CN116739992A (zh) * | 2023-05-17 | 2023-09-12 | 福州大学 | 一种甲状腺被膜侵犯智能辅助判读方法 |
CN116739992B (zh) * | 2023-05-17 | 2023-12-22 | 福州大学 | 一种甲状腺被膜侵犯智能辅助判读方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113679426B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113679426B (zh) | 超声图处理系统 | |
US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
CN110930367B (zh) | 多模态超声影像分类方法以及乳腺癌诊断装置 | |
CN113633315A (zh) | 采用超声图处理系统的超声图处理方法 | |
CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
CN103720489B (zh) | 病变组织生长监测方法和系统 | |
CN111539930A (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
CN107582097A (zh) | 一种基于多模态超声组学的智能辅助决策系统 | |
CN112086197B (zh) | 基于超声医学的乳腺结节检测方法及系统 | |
CN113781439B (zh) | 超声视频病灶分割方法及装置 | |
Horng et al. | DeepNerve: a new convolutional neural network for the localization and segmentation of the median nerve in ultrasound image sequences | |
CN111227864A (zh) | 使用超声图像利用计算机视觉进行病灶检测的方法与装置 | |
CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
Wang et al. | A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network | |
CN114398979A (zh) | 一种基于特征解耦的超声图像甲状腺结节分类方法 | |
CN103169506A (zh) | 一种自动识别肝癌的超声诊断装置和方法 | |
CN113647987B (zh) | 用于检测活体组织结节的系统和方法 | |
Lu et al. | PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation | |
Xing et al. | Automatic detection of A‐line in lung ultrasound images using deep learning and image processing | |
CN113764101A (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 | |
CN113842164B (zh) | 用于检测braf-v600e突变的系统和方法 | |
CN113379691B (zh) | 一种基于先验引导的乳腺病灶深度学习分割方法 | |
Mani | Deep learning models for semantic multi-modal medical image segmentation | |
Valarmathi et al. | Deep learning model for automated kidney stone detection using VGG16 | |
CN113744234A (zh) | 一种基于gan的多模态脑部图像配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |