CN113633315A - 采用超声图处理系统的超声图处理方法 - Google Patents

Abstract

本申请涉及超声弹性图像生成与处理系统和方法，该系统包括：超声图获取模块，通过超声获取预定位置活体组织的超声图像；超声弹性图像生成模块，与超声图获取模块通信连接，基于USE‑GAN图像生成模型对超声图像生成超声弹性图像；显示模块，显示超声弹性图像和超声图像；人工审核模块，依据算法程序对超声弹性图像进行弹性评分预评价，且在人工核对的情况下，确定超声弹性图像生成模块生成的超声弹性图像的弹性评分；以及输出模块，输出人工审核模块确定的超声弹性图像的弹性评分以及人工确定的与弹性评分相关的结论性报告。本申请的系统和方法可用于甲状腺、肝脏、乳腺、前列腺等组织、脏器需进行超声弹性成像评估时的辅助诊断。

Description

采用超声图处理系统的超声图处理方法

技术领域

本申请涉及超声波成像及其处理，特别是，涉及一种采用超声图处理系统的超声图处理方法。

背景技术

超声弹性成像是利用声波检测组织的硬度属性。目前，临床上有两种常用超声弹性成像方式：即应力式弹性成像和剪切波弹性成像。应力式弹性成像时，运用特定探头对组织表面施加一定压力，使检查组织发生形变和位移，再通过超声成像测量形变及位移的大小，从而间接反映组织硬度。剪切波弹性成像时，经超声探头发射声辐射脉冲波，作用于检测靶组织，靶目标受声辐射脉冲波作用产生形变，进而在组织内形成剪切波，其方向与探头脉冲波方向垂直。该剪切波在组织中传导速度较慢，易被探头接收进行分析。剪切波速度与组织硬度呈正比，因此，可利用剪切波速度来评估组织硬度。生成的弹性成像图为一张具有不同颜色的彩色图，通过特定颜色的比例来确定靶组织的硬度，从而获得弹性评分或弹性硬度值。多种疾病的早期阶段，病变组织和健康组织的常规二维超声回声相似，难以区分，而超声弹性成像技术通过测量病变组织的弹性参数，可显示出二者的差异，为疾病早期诊断提供更多信息。该技术已广泛应用于临床多种疾病的超声诊断与鉴别诊断，如甲状腺、肝脏、乳腺、前列腺、骨肌等组织、器官病变的评估。

超声弹性成像具有很高的临床应用价值，但进行超声弹性成像获得靶组织、器官弹性评分需要一个额外的弹性成像设备，而且需要依赖医生进过专业训练后具备相关的经验后才能达到好的效果。

在医学诊断方面，通过颈部超声准确评估淋巴结转移状态以及分区位置对肿瘤鉴别、寻找原发灶、颈部淋巴结清扫有重用价值。目前颈部淋巴结分区采用外科学分区标准分为六区，分区的依据来自于骨、肌肉、血管或神经等标志，由超声科医生主观判断，但是超声成像含斑点噪声、对比度低以及分区标记物未必能显示和辨认，超声科医生很难精确地对颈部淋巴结分区。随着深度学习领域的迅速发展，目前还未有基于深度学习的颈部淋巴结分区的研究。

BRAF基因是一种原癌基因，V600E代表的是BRAF基因中最容易突变的一个位点，常在黑色素瘤、非霍奇金淋巴瘤、大肠癌、甲状腺癌、非小细胞肺癌中发生突变。

近年来，随着甲状腺癌发病率的增高，对其诊断准确性及治疗个体化提出了更高的要求。BRAF-V600E突变是甲状腺癌最常见的基因突变形式，其对甲状腺癌的高度特异性及其与高危临床病理特征的显著相关性使其在辅助甲状腺癌病理诊断和预测患者预后等方面发挥着重要作用。

目前，BRAF-V600E突变的检测主要通过超声引导下的细针穿刺或手术切除后癌组织切片病理来实现，这种病理诊断方法具有创伤大、花费高、耗时长等缺点。甲状腺结节超声图像特征与BRAFV600E突变存在一定的关联，这使得通过超声图像预测BRAFV600E突变以减少患者创伤、降低就医成本成为可能，但超声图像特征判断的主观性使得这种预测模式的实现难度较大。目前深度学习在辅助甲状腺结节良恶性诊断方面发展迅猛，然而基于深度学习的神经网络检测预测甲状腺结节BRAFV600E突变的系统尚未出现。

近年来活体组织结节，特别是甲状腺癌发病率有增高趋势，人们对其诊断准确性及治疗个体化提出了更高的要求。目前甲状腺癌的检测手段主要是通过医生进行B超影像，从B超影像中根据自身经验判断活体组织结节，并且手动标记结节的长短径。这种方法不仅费时费力，其准确程度大大依赖与医生的经验判断，随着检测人数不断增加，将大大消耗医生的经历，从而可能造成诊断准确率下降。

甲状腺癌的B超图像辅助诊断，关键在于对病灶进行定位和分割，从而进行重点定位上的分析和判断。

发明内容

本申请要解决的技术问题是通过B超机与PC机的联网，在PC机上对超声图像进行相应的有效处理，以实现就地或远程对超声图像进行分析判断而对各种病变进行高效排查。

为解决上述技术问题，根据本申请的实施例，提供一种采用超声图处理系统的超声图处理方法，所述超声图处理系统包括超声图获取模块、子系统选择模块、可供选择的淋巴分区系统、弹性图像系统、BRAF-V600E系统或结节定位分割系统、人工审核模块和输出模块，所述方法包括如下步骤：通过超声图获取模块获取预定位置活体组织的超声图像；通过与所述超声图获取模块通信连接的子系统选择模块接收来自所述超声图获取模块成像的超声图像，并且根据所述超声图像的性质，选择进入淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一；通过人工审核模块对来自所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一的系统信息进行人工审核，并且给出人工审核报告；以及通过输出模块输出所述人工审核模块给出的人工审核报告。

根据本申请的实施例，超声图处理系统还可包括显示模块，超声图处理方法还可包括通过显示模块显示子系统选择模块、淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一、以及输出模块的运行情况。

根据本申请的实施例，超声图处理系统还可包括优化模块，超声图处理方法还可包括通过优化模块从输出模块接收人工审核报告，并且通过机器深入学习和训练而不断优化淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统的每一个。

根据本申请的实施例，子系统选择模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统、人工审核模块和输出模块可集成在一台PC中。

根据本申请的实施例，超声图获取模块与PC之间可为远程通信连接。

根据本申请的实施例，超声图获取模块可包括常规B超机。

根据本申请的实施例，活体组织的超声图像可包括颈部淋巴结超声图像、甲状腺超声图像、女性乳腺超声图像、男性前列腺超声图像。

根据本申请的实施例，弹性图像系统可包括具有USE-GAN图像生成模型的弹性图像生成模块，USE-GAN图像生成模型包括通过空间注意力模块对超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。

根据本申请的实施例，超声图处理系统还可包括在USE-GAN图像生成模型上选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。

根据本申请的实施例，弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的应力式弹性成像。

根据本申请的实施例，弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的剪切波弹性成像。

根据本申请的实施例，淋巴分区系统可包括：超声图预处理模块，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理；超声图分区模块，通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；热力图加载模块，通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。

根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。

根据本申请的实施例，界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。

根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。

根据本申请的实施例，超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。

根据本申请的实施例，BRAF-V600E系统可包括：定位分割模块，接收来自超声图获取模块生成的活性组织的超声图像，并且在对超声图像进行预处理后，通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像；BRAF-V600E模块，通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。

根据本申请的实施例，TransU-Net模型可为卷积神经网络的TransU-Net网络。

根据本申请的实施例，超声图像的预处理可包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性。

根据本申请的实施例，活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测，得到甲状腺结节的位置与形状信息，以甲状腺结节为边界向外延一定像素，截取图像作为一个或多个待查结节区域图像。

根据本申请的实施例，超声图处理系统还可包括针对分割中类别不均匀的情况，使用Dice系数结合二进制交叉熵函数作为训练的损失函数。

根据本申请的实施例，超声图处理系统还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测，并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。

根据本申请的实施例，DenseNet网路可采用卷积神经网络进行分割，首先对图像进行预处理，利用线性插值算法，将所有甲状腺结节图像缩放为同一个尺寸，输入网络；对于输入的图像，首先使用卷积模块和密集连接模块交替提取特征，重复四次，最终得的特征经过两个密集连接层，得到一个权重值，通过该权重值与之前训练得到的值进行对比，来预测BRAFV600E基因是否突变。

根据本申请的实施例，结节定位分割系统包括定位分割模块，定位分割模块接收来自超声图获取模块生成的活体组织的超声图像，并且在对超声图像进行预处理后，通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。

根据本申请的实施例，超声图像的预处理可包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性，图像大小调整至256*256。

根据本申请的实施例，Unet++网络可为粗分割网络，计算结节的最小外接正方形，如果外接正方形大小大于80，那么外扩20个像素，否则外扩30个像素，以将截取的结节缩放至512*512大小。

根据本申请的实施例，Medical Transformer网络采用卷积神经网络和Transformer模块相结合，包括局部训练模块、全局训练模块和整合模块。

根据本申请的实施例，局部训练模块可使用卷积模块，对输入模型进行两次下采样后进行上采样，以获取到图像的局部特征；全局训练模块可使用Transformer模块来增加网络的感受野，以获取图像的全局特征；整合模块可将全局特征和局部特征叠加，得到最终的分割结果。

根据本申请的实施例，超声图处理系统还可包括针对分割中类别不均匀的情况，使用Dice系数结合二进制交叉熵函数作为训练的损失函数。

与现有技术相比，本申请的实施例所提供的技术方案至少可实现如下有益效果：

无需改变现有的B超机和PC机，而是将B超机和PC机通过互联网连接而实现信息共享，无论B超机和PC机二者之间彼此相邻或彼此远离的远程操作。

B超机上形成的超声图像通过PC机的存储模块上存储的软件利用USE-GAN图像生成模型而生成超声图像的超声弹性图像，该超声弹性图像是虚拟图像，可呈现超声弹性图像所代表的被检测活性组织的弹性评分。弹性评分代表被检测活性组织的硬度。因此，弹性评分超过某阈值时，医生可在此基础上结合其它参数对患者的病灶进行比较准确的诊断。

因为B超成像是相对比较便宜的成像技术，并且可应用于各种软组织的超声波检查，所以在对超声图像自动形成超声弹性图像后，可直接确定其弹性评分而对医生评估病变具有极大帮助。这可及时且快捷地筛查各种病变，从而降低了筛查成本。

在远程医疗的情况下，PC端上可清楚地接收来自远方的B超机传输的超声图像，因此如同在同地一样实现远程医疗。

因为根据本申请实施例的颈部淋巴结超声分区系统采用传统的超声图获取模块来获取常规的超声波图像，并且由此通过处理获得准确的颈部淋巴结分区，所以无需对超声图获取模块进行任何改造，从而对B超成像本身的成本没有增加。

超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理，从而可以获得去除各种噪声的清洗图像。

在清楚噪声的基础上，超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区，因此获得精确的颈部淋巴结超声分区图像。

通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。因此，可使颈部淋巴结超声分区图像更加清晰，大大提高了其可视性。

可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策，为医疗水平的提升提供了支持。同时，可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。

因为根据本申请实施例的BRAF-V600E系统中，采用超声图获取模块，通过对患者的检查生成活性组织的超声图像，超声图获取模块可为常规B超机，所以对传统的B超机不需要做任何改变，因此免去了对现有设备的改造成本。

定位分割模块与超声图获取模块通信连接，并且该通信连接可为有线连接或无线连接。这样，以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置，或者二者之间可为远程连接。在远程连接的情况下，方便了远程医疗诊断。

定位分割模块在对超声图像进行预处理后，通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像，因此不会漏掉任何可能的病灶。

BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。DenseNet网络在经过一定的训练后，对BRAF-V600E基因突变具有较好的识别能力，因此可以给出相对准确的智能机器判断，而不是完全依赖于人为的主观判断。这大大提高了对BRAF-V600E基因突变的检测效率和准确性。

输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果，同时也可输出人工审核的结论性报告。这样的结果和报告除了可以打印成书面报告外，还可将其反馈给优化模块，从而对定位分割模块和BRAF-V600E模块上的软件进行不断训练、深入学习和优化。

BRAF-V600E系统可为医生提供快速、准确的BRAFV600E基因预测的辅助诊断结果，同时对病人可以省去进行传统的BRAFV600E病理诊断方法所带来的的创伤大、花费高、耗时长等缺点，因此具有良好的医用价值和很好的社会价值。

活体组织结节定位分割系统中，采用超声图获取模块，通过对患者的检查生成活体组织的超声图像，超声图获取模块可为常规B超机，所以对传统的B超机不需要做任何改变，因此免去了对现有设备的改造成本。

定位分割模块与超声图获取模块通信连接，并且该通信连接可为有线连接或无线连接。这样，以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置，或者二者之间可为远程连接。在远程连接的情况下，方便了远程医疗诊断。

定位分割模块在对超声图像进行预处理后，通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像，因此不会漏掉任何可能的病灶。

人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断。定位分割模块所生成的一个或多个待查结节区域图像对于人工审核模块或超声波医生来说具有较好的识别性，因此可以给出相对准确的判断。这大大提高了检测效率和准确性。

输出模块输出人工审核模块形成的人工判断的结果，同时也可输出人工判断的结论性报告。这样的结果和报告除了可以打印成书面报告外，还可将其反馈给优化模块，从而对定位分割模块上的软件进行不断训练、深入学习和优化。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本申请的一些实施例，而非对本申请的限制。

图1是根据本申请实施例的超声图处理系统的模块图。

图2是根据本申请实施例的超声图处理系统的模型采样架构图。

图3是示出OpenCv模块的示意图。

图4是示出Transformer模型的示意图。

图5是根据本申请实施例的用于检测BRAF-V600E突变的系统的定位分割模块的示意图。

图6是根据本申请实施例的用于检测BRAF-V600E突变的系统的BRAF-V600E模块的示意图。

图7是根据本申请实施例的用于检测活体组织结节的系统的分割网络流程图。

图8是根据本申请实施例的用于检测活体组织结节的系统的Unet++网络模型图。

图9是根据本申请实施例的用于检测活体组织结节的系统的MedicalTransformer网络模型结构图。

图10是根据本申请实施例的超声图处理方法的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。

下面，将结合附图详细描述本申请的实施例。

图1是根据本申请实施例的超声图处理系统的模块图。

参见图1，本申请提供一种超声图处理系统，包括：超声图获取模块，通过超声获取预定位置活体组织的超声图像；子系统选择模块，与超声图获取模块通信连接，接收来自超声图获取模块成像的超声图像，并且根据超声图像的性质，选择进入淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一：人工审核模块，对来自淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一的系统信息进行人工审核，并且给出人工审核报告；以及输出模块，输出人工审核模块给出的人工审核报告。

图10是根据本申请实施例的超声图处理方法的示意图。

如图10所示并结合图1，根据本申请的实施例，提供一种采用超声图处理系统的超声图处理方法，包括如下步骤：通过超声图获取模块获取预定位置活体组织的超声图像；通过与超声图获取模块通信连接的子系统选择模块接收来自超声图获取模块成像的超声图像，并且根据超声图像的性质，选择进入淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一；通过人工审核模块对来自所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一的系统信息进行人工审核，并且给出人工审核报告；以及通过输出模块输出人工审核模块给出的人工审核报告。

根据本申请的实施例，超声图处理系统还可包括显示模块，超声图处理方法还可包括通过显示模块显示子系统选择模块、淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一、以及输出模块的运行情况。

根据本申请的实施例，超声图处理系统还可包括优化模块，超声图处理方法还可包括通过优化模块从输出模块接收人工审核报告，并且通过机器深入学习和训练而不断优化淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统的每一个。

根据本申请的实施例，子系统选择模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统、人工审核模块和输出模块可集成在一台PC中。

根据本申请的实施例，超声图获取模块与PC之间可为远程通信连接。

根据本申请的实施例，超声图获取模块可包括常规B超机。

根据本申请的实施例，活体组织的超声图像可包括颈部淋巴结超声图像、甲状腺超声图像、女性乳腺超声图像、男性前列腺超声图像。

图2是根据本申请实施例的超声图处理系统的模型采样架构图。

如图2所示，根据本申请的实施例，弹性图像系统可包括具有USE-GAN图像生成模型的弹性图像生成模块，USE-GAN图像生成模型包括通过空间注意力模块对超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。

根据本申请的实施例，超声图处理系统还可包括在USE-GAN图像生成模型上选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。

根据本申请的实施例，弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的应力式弹性成像。

根据本申请的实施例，弹性图像系统基于USE-GAN图像生成模型对超声图像生成超声弹性图像可包括模拟的剪切波弹性成像。

根据本申请的实施例，淋巴分区系统可包括：超声图预处理模块，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理；超声图分区模块，通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；热力图加载模块，通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。

根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。

根据本申请的实施例，界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。

图3是示出OpenCv模块的示意图。

如图3所示，OpenCV是一个跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。根据本申请的实施例，超声图预处理模块通过OpenCV软件对颈部淋巴结超声图像进行预处理。

超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区。

根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。

图4是示出Transformer模型的示意图。

如图4所示，Core是该模块包含OpenCV库的基础结构以及基本操作。因此，Transformer模型与上述的OpenCV具有良好的可兼容性。因为Transformer模型是微软公司的标准软件，所以在此不做进一步描述。

热力图加载模块通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。

根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。

根据本申请的实施例，超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。

图5是根据本申请实施例的用于检测BRAF-V600E突变的系统的定位分割模块的示意图。

如图5所示，模型可以分为编码器和解码器两部分，解码器部分为CNN-Transformer混合部分。该模型的具体工作原理为：先由三层CNN提取出粗粒度的图像特征，将该特征作为Transformer模块的输入，Transformer模块通过Patch Embedding操作，将二维图像转换为一维的Patch Embedding，使用attention机制对图像特征进行进一步的提取，提取出分割目标的细粒度的特征，attention机制是根据当前查询对输入信息赋予不同的权重来聚合信息，从操作上看就是一种“加权平均”。attention中共有3个概念：query、key和value，其中key和value是成对的，对于一个给定的query向量，通过内积计算来匹配k个key向量，得到的内积通过softmax来归一化得到k个权重，那么对于query其attention的输出就是k个key向量对应的value向量的加权平均值。对于一系列的N个query，可以通过矩阵计算它们的attention输出：

Q,K,Y对应query，key，value三个向量，d是query向量的维度，k是query匹配的key向量的个数。

CNN-Transformer作为编码器较于之前的纯CNN编码器，它可以获得更多的长程信息，拥有更大尺度的视野，可以整合更大范围内的特征，而相较于纯Transformer编码器，它可以获取更多的细节信息，使得器官的形状和边界信息更加明显。

解码器部分使用了级联的上采样器，它拥有三次上采样过程，用于解码隐藏特征以输出最终的分割结果，解码器中的每一层都采用skip-connect操作，增加了之前编码器部分CNN提取的特征，使得不同层次的特征可以更好的混合在一起，提高模型的精确度。

根据本申请的实施例，TransU-Net模型可为卷积神经网络的TransU-Net网络。

根据本申请的实施例，超声图像的预处理可包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性。

根据本申请的实施例，活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测，得到甲状腺结节的位置与形状信息，以甲状腺结节为边界向外延一定像素，截取图像作为一个或多个待查结节区域图像。

图6是根据本申请实施例的用于检测BRAF-V600E突变的系统的BRAF-V600E模块的示意图。

如图6所示，BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。

DenseNet结构上是由一层层的卷积模块提取特征，最后经过全连接层，将卷积提取的特征映射到样本标记的空间中。在卷积模块中，使用到了密集连接的操作，在参数量不增加太多的情况下，加强了特征的传递，使得特征的传递更为有效。

在深度学习中，随着网络的加深，梯度消失的问题会愈加明显。在该模型中，使用了密集连接的策略来缓解梯度消失的情况出现。如图所示，对于第N层，它都会将自己的特征直接连接到后续的各层，而自己也将直接接收到之前N层之前的所有特征。如公式描述的：

x_l＝H_l(x₀，x₁...x_n-1)

其中x_l代表第l层的输出，H_l表示第l层等的操作。这样的设计可以使得每一层都可以直接访问到来自损失函数和原始输入信号的梯度，从而实现隐式的深度监督，自然可以减轻梯度消失的情况。同时，也更为有效的利用了各层的特征；并且，由于只是增加了密集连接的操作，对于网络的深度和宽度并没有改变太多，因此DenseNet网络训练起来较为容易，参数量也更小。

根据本申请的实施例，BRAF-V600E系统可包括：定位分割模块，接收来自超声图获取模块生成的活性组织的超声图像，并且在对超声图像进行预处理后，通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像；BRAF-V600E模块，通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。

根据本申请的实施例，TransU-Net模型可为卷积神经网络的TransU-Net网络。

根据本申请的实施例，超声图像的预处理可包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性。

根据本申请的实施例，活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测，得到甲状腺结节的位置与形状信息，以甲状腺结节为边界向外延一定像素，截取图像作为一个或多个待查结节区域图像。

根据本申请的实施例，超声图处理系统还可包括针对分割中类别不均匀的情况，使用Dice系数结合二进制交叉熵函数作为训练的损失函数。

根据本申请的实施例，超声图处理系统还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测，并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。

根据本申请的实施例，DenseNet网路可采用卷积神经网络进行分割，首先对图像进行预处理，利用线性插值算法，将所有甲状腺结节图像缩放为同一个尺寸，输入网络；对于输入的图像，首先使用卷积模块和密集连接模块交替提取特征，重复四次，最终得的特征经过两个密集连接层，得到一个权重值，通过该权重值与之前训练得到的值进行对比，来预测BRAFV600E基因是否突变。

图7是根据本申请实施例的用于检测活体组织结节的系统的分割网络流程图。图8是根据本申请实施例的用于检测活体组织结节的系统的Unet++网络模型图。图9是根据本申请实施例的用于检测活体组织结节的系统的Medical Transformer网络模型结构图。

如图7和8所示，将上传的甲状腺B超图像，先对图像进行预处理，去掉与超声影像无关的部分，并且调整图像大小为256*256，利用分割模型对B超图片进行第一阶段的分割，一阶段的网络为粗分割网络，目的在于得到甲状腺结节的位置以及大致的形状信息，以便下一步精分割中缩小感兴趣视野，以期望得到更好的分割效果。

在得到粗分割结果后，计算结节的最小外接正方形，如果外接正方形大小大于80，那么外扩20个像素，否则外扩30个像素。截取的结节，并且缩放至512*512大小，作为二阶段分割网络的输入。二阶段网络是一个精分割网络。

本申请的粗分割网络Unet++网络，具体描述如下：

该网络采用了卷积神经网络Unet++网络，该模型是分割经典网络Unet的改进版本，相较于Unet，其将Unet网络中间的空缺部分，用多个小的Unet结构来填充，这样可以提高网络的学习能力。输入模型的图像会经过四次卷积和降采样过程，获取输入图像不同层次特征。随后，各级网络均进行多次上采样，直至恢复至原来的尺寸。在各级的卷积节点中，同级的特征会通过skip-connect操作将其特征传递至同级的后续卷积模块中，用来丰富各级特征，并且避免出现梯度消失的情况。当网络训练结束之后，可以在X12、X13、X14、X15后增加1x1的卷积模块，对各个输出情况进行监督，获取每个分支的输出。根据学习的能力，可以进行不同程度的剪枝，在不过多影响网络性能的情况下，来减小最终模型大小，增加模型的可移植性。

如图9所示，本申请的细分割网络采用了Medical Transformer网络，具体描述如下：

该网络采用了卷积神经网络和Transformer模块相结合。该模型采取了局部-全局训练的策略，有两条并行的训练网络同时对图片特征进行学习、提取。上面的是局部训练模块，使用的是卷积模块，对输入模型进行两次的下采样后进行上采样，这样可以获取到的图像的局部特征。下方的训练模为全局训练模块，使用了Transformer模块来增加网络的感受野。它使用了首先会经过一个卷积层以进行特征提取，接下来通过Transformer模块，对图像中的特征进行整合，细化特征，解码器部分使用了级联的上采样器，它拥有四次上采样过程，用于解码隐藏特征以输出最终的分割结果，解码器中的每一层都采用skip-connect操作，增加了Transformer的特征，使得不同层次的特征可以更好的混合在一起，提高模型的精确度。最终，将全局分支和局部分支的结果相加，得到最终的分割结果。

训练中采用了dice系数和交叉熵的混合的方法，既可以集中于目标区域，又解决了类别不平衡(背景多、结节小)的问题。

综上所述：

根据本申请的实施例，超声图像的预处理可包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性，图像大小调整至256*256。

根据本申请的实施例，Unet++网络可为粗分割网络，计算结节的最小外接正方形，如果外接正方形大小大于80，那么外扩20个像素，否则外扩30个像素，以将截取的结节缩放至512*512大小。

根据本申请的实施例，Medical Transformer网络采用卷积神经网络和Transformer模块相结合，可包括局部训练模块、全局训练模块和整合模块。

根据本申请的实施例，局部训练模块可使用卷积模块，对输入模型进行两次下采样后进行上采样，以获取到图像的局部特征；全局训练模块可使用Transformer模块来增加网络的感受野，以获取图像的全局特征；整合模块可将全局特征和局部特征叠加，得到最终的分割结果。

与现有技术相比，根据本申请实施例的采用超声图处理系统的超声图处理方法至少可实现如下有益效果：

无需改变现有的B超机和PC机，而是将B超机和PC机通过互联网连接而实现信息共享，无论B超机和PC机二者之间彼此相邻或彼此远离的远程操作。

B超机上形成的超声图像通过PC机的存储模块上存储的软件利用USE-GAN图像生成模型而生成超声图像的超声弹性图像，该超声弹性图像是虚拟图像，可呈现超声弹性图像所代表的被检测活性组织的弹性评分。弹性评分代表被检测活性组织的硬度。因此，弹性评分超过某阈值时，医生可在此基础上结合其它参数对患者的病灶进行比较准确的诊断。

因为B超成像是相对比较便宜的成像技术，并且可应用于各种软组织的超声波检查，所以在对超声图像自动形成超声弹性图像后，可直接确定其弹性评分而对医生评估病变具有极大帮助。这可及时且快捷地筛查各种病变，从而降低了筛查成本。

在远程医疗的情况下，PC端上可清楚地接收来自远方的B超机传输的超声图像，因此如同在同地一样实现远程医疗。

因为根据本申请实施例的颈部淋巴结超声分区系统采用传统的超声图获取模块来获取常规的超声波图像，并且由此通过处理获得准确的颈部淋巴结分区，所以无需对超声图获取模块进行任何改造，从而对B超成像本身的成本没有增加。

超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理，从而可以获得去除各种噪声的清洗图像。

在清楚噪声的基础上，超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区，因此获得精确的颈部淋巴结超声分区图像。

通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。因此，可使颈部淋巴结超声分区图像更加清晰，大大提高了其可视性。

可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策，为医疗水平的提升提供了支持。同时，可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。

因为根据本申请实施例的BRAF-V600E系统中，采用超声图获取模块，通过对患者的检查生成活性组织的超声图像，超声图获取模块可为常规B超机，所以对传统的B超机不需要做任何改变，因此免去了对现有设备的改造成本。

定位分割模块与超声图获取模块通信连接，并且该通信连接可为有线连接或无线连接。这样，以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置，或者二者之间可为远程连接。在远程连接的情况下，方便了远程医疗诊断。

定位分割模块在对超声图像进行预处理后，通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像，因此不会漏掉任何可能的病灶。

BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。DenseNet网络在经过一定的训练后，对BRAF-V600E基因突变具有较好的识别能力，因此可以给出相对准确的智能机器判断，而不是完全依赖于人为的主观判断。这大大提高了对BRAF-V600E基因突变的检测效率和准确性。

输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果，同时也可输出人工审核的结论性报告。这样的结果和报告除了可以打印成书面报告外，还可将其反馈给优化模块，从而对定位分割模块和BRAF-V600E模块上的软件进行不断训练、深入学习和优化。

BRAF-V600E系统可为医生提供快速、准确的BRAFV600E基因预测的辅助诊断结果，同时对病人可以省去进行传统的BRAFV600E病理诊断方法所带来的的创伤大、花费高、耗时长等缺点，因此具有良好的医用价值和很好的社会价值。

活体组织结节定位分割系统中，采用超声图获取模块，通过对患者的检查生成活体组织的超声图像，超声图获取模块可为常规B超机，所以对传统的B超机不需要做任何改变，因此免去了对现有设备的改造成本。

定位分割模块与超声图获取模块通信连接，并且该通信连接可为有线连接或无线连接。这样，以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置，或者二者之间可为远程连接。在远程连接的情况下，方便了远程医疗诊断。

定位分割模块在对超声图像进行预处理后，通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像，因此不会漏掉任何可能的病灶。

人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断。定位分割模块所生成的一个或多个待查结节区域图像对于人工审核模块或超声波医生来说具有较好的识别性，因此可以给出相对准确的判断。这大大提高了检测效率和准确性。

输出模块输出人工审核模块形成的人工判断的结果，同时也可输出人工判断的结论性报告。这样的结果和报告除了可以打印成书面报告外，还可将其反馈给优化模块，从而对定位分割模块上的软件进行不断训练、深入学习和优化。

以上所述仅是本申请的示范性实施方式，而非用于限制本申请的保护范围，本申请的保护范围由所附的权利要求确定。

Claims (30)

1.一种采用超声图处理系统的超声图处理方法，所述超声图处理系统包括超声图获取模块、子系统选择模块、可供选择的淋巴分区系统、弹性图像系统、BRAF-V600E系统或结节定位分割系统、人工审核模块和输出模块，所述方法包括如下步骤：

通过超声图获取模块获取预定位置活体组织的超声图像；

通过与所述超声图获取模块通信连接的子系统选择模块接收来自所述超声图获取模块成像的超声图像，并且根据所述超声图像的性质，选择进入淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一；

通过人工审核模块对来自所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一的系统信息进行人工审核，并且给出人工审核报告；以及

通过输出模块输出所述人工审核模块给出的人工审核报告。

2.如权利要求1所述的超声图处理方法，其中，所述系统还包括显示模块，所述方法还包括通过显示模块显示所述子系统选择模块、所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统之一、以及所述输出模块的运行情况。

3.如权利要求2所述的超声图处理方法，其中，所述系统还包括优化模块，所述方法还包括通过所述优化模块从所述输出模块接收所述所述人工审核报告，并且通过机器深入学习和训练而不断优化所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统的每一个。

4.如权利要求3所述的超声图处理方法，其中，所述子系统选择模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。

5.如权利要求4所述的超声图处理方法，其中，所述淋巴分区系统、弹性图像系统、BRAF-V600E系统、结节定位分割系统、所述人工审核模块和所述输出模块集成在一台PC中。

6.如权利要求5所述的超声图处理方法，其中，所述超声图获取模块与所述PC之间为远程通信连接。

7.如权利要求6所述的超声图处理方法，其中，所述超声图获取模块包括常规B超机。

8.如权利要求7所述的超声图处理方法，其中，所述活体组织的超声图像包括颈部淋巴结超声图像、甲状腺超声图像、女性乳腺超声图像、男性前列腺超声图像。

9.如权利要求8所述的超声图处理方法，其中，所述弹性图像系统包括具有USE-GAN图像生成模型的弹性图像生成模块，USE-GAN图像生成模型包括通过空间注意力模块对所述超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。

10.如权利要求9所述的超声图处理方法，还包括在所述USE-GAN图像生成模型上选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。

11.如权利要求10所述的超声图处理方法，其中，所述弹性图像系统基于USE-GAN图像生成模型对所述超声图像生成超声弹性图像包括模拟的应力式弹性成像。

12.如权利要求10所述的超声图处理方法，其中，所述弹性图像系统基于USE-GAN图像生成模型对所述超声图像生成超声弹性图像包括模拟的剪切波弹性成像。

13.如权利要求8所述的超声图处理方法，其中，所述淋巴分区系统包括：超声图预处理模块，从所述超声图获取模块接收所述颈部淋巴结超声图像，并且对所述颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理；超声图分区模块，通过其上加载的经过训练的Transformer模型对经过所述超声图预处理模块预处理的所述颈部淋巴结超声图像进行分区；热力图加载模块，通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在所述超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。

14.如权利要求13所述的超声图处理方法，其中，所述超声图预处理模块的所述预处理包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。

15.如权利要求14所述的超声图处理方法，其中，所述界面截取超声包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，所述超声边界标记清除包括通过OpenCv的图像修复算法对固定的边界标记进行清除，所述超声内部十字标记清除包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。

16.如权利要求13所述的超声图处理方法，其中，所述超声图分区模块的Transformer模型为可进行不断训练和调整模型超参数的Swin Transformer模型。

17.如权利要求13所述的超声图处理方法，其中，所述超声图分区模块基于颈部淋巴结六个分区的定义在所述颈部淋巴结超声图像上分区。

18.如权利要求8所述的超声图处理方法，其中，所述BRAF-V600E系统包括：定位分割模块，接收来自所述超声图获取模块生成的活性组织的超声图像，并且在对所述超声图像进行预处理后，通过其上加载的TransU-Net模型对所述活性组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像；BRAF-V600E模块，通过其上加载的DenseNet网络对所述定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。

19.如权利要求18所述的超声图处理方法，其中，所述TransU-Net模型为卷积神经网络的TransU-Net网络。

20.如权利要求18所述的超声图处理方法，其中，所述超声图像的预处理包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性。

21.如权利要求18所述的超声图处理方法，其中，所述活性组织的超声图像上的结节定位和分割包括利用TransU-Net模型对B超图像进行检测，得到甲状腺结节的位置与形状信息，以甲状腺结节为边界向外延一定像素，截取图像作为所述一个或多个待查结节区域图像。

22.如权利要求18所述的超声图处理方法，还包括针对分割中类别不均匀的情况，使用Dice系数结合二进制交叉熵函数作为训练的损失函数。

23.如权利要求21所述的超声图处理方法，还包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测，并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。

24.如权利要求23所述的超声图处理方法，其中，所述DenseNet网路采用卷积神经网络进行分割，首先对图像进行预处理，利用线性插值算法，将所有甲状腺结节图像缩放为同一个尺寸，输入网络；对于输入的图像，首先使用卷积模块和密集连接模块交替提取特征，重复四次，最终得的特征经过两个密集连接层，得到一个权重值，通过该权重值与之前训练得到的值进行对比，来预测BRAFV600E基因是否突变。

25.如权利要求8所述的超声图处理方法，其中，所述结节定位分割系统包括定位分割模块，所述定位分割模块接收来自所述超声图获取模块生成的活体组织的超声图像，并且在对所述超声图像进行预处理后，通过其上加载的Unet++网络和Medical Transformer网络对所述活体组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。

26.如权利要求25所述的超声图处理方法，其中，所述超声图像的预处理包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性，图像大小调整至256*256。

27.如权利要求25所述的超声图处理方法，其中，所述Unet++网络为粗分割网络，计算结节的最小外接正方形，如果外接正方形大小大于80，那么外扩20个像素，否则外扩30个像素，以将截取的结节缩放至512*512大小。

28.如权利要求25所述的超声图处理方法，其中，所述Medical Transformer网络采用卷积神经网络和Transformer模块相结合，包括局部训练模块、全局训练模块和整合模块。

29.如权利要求28所述的超声图处理方法，其中，所述局部训练模块使用卷积模块，对输入模型进行两次下采样后进行上采样，以获取到图像的局部特征；所述全局训练模块使用Transformer模块来增加网络的感受野，以获取图像的全局特征；整合模块将全局特征和局部特征叠加，得到最终的分割结果。

30.如权利要求25所述的超声图处理方法，还包括针对分割中类别不均匀的情况，使用Dice系数结合二进制交叉熵函数作为训练的损失函数。

Images