CN113842164A - 用于检测braf-v600e突变的系统和方法 - Google Patents

用于检测braf-v600e突变的系统和方法 Download PDF

Info

Publication number
CN113842164A
CN113842164A CN202111072624.0A CN202111072624A CN113842164A CN 113842164 A CN113842164 A CN 113842164A CN 202111072624 A CN202111072624 A CN 202111072624A CN 113842164 A CN113842164 A CN 113842164A
Authority
CN
China
Prior art keywords
module
braf
mutation
detecting
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111072624.0A
Other languages
English (en)
Other versions
CN113842164B (zh
Inventor
沈晨天
罗全勇
王韧
丁雪海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sixth Peoples Hospital
Original Assignee
Shanghai Sixth Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sixth Peoples Hospital filed Critical Shanghai Sixth Peoples Hospital
Priority to CN202410063798.8A priority Critical patent/CN117883118A/zh
Priority to CN202111072624.0A priority patent/CN113842164B/zh
Publication of CN113842164A publication Critical patent/CN113842164A/zh
Application granted granted Critical
Publication of CN113842164B publication Critical patent/CN113842164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种用于检测BRAF‑V600E突变的系统和方法,所述系统包括:超声图获取模块,通过对患者的检查生成活性组织的超声图像;定位分割模块,与超声图获取模块通信连接,接收来自超声图获取模块生成的活性组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的TransU‑Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;BRAF‑V600E模块,通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF‑V600E基因突变预测;以及输出模块,输出BRAF‑V600E模块形成的BRAF‑V600E基因突变预测的结果。根据本申请的用于检测BRAF‑V600E突变的系统和方法可用于黑色素瘤、非霍奇金淋巴瘤、大肠癌、甲状腺癌、非小细胞肺癌的辅助诊断。

Description

用于检测BRAF-V600E突变的系统和方法
技术领域
本申请涉及对超声图的处理与分析,特别是涉及一种用于检测BRAF-V600E突变的系统和方法。
背景技术
BRAF基因是一种原癌基因,V600E代表的是BRAF基因中最容易突变的一个位点,常在黑色素瘤、非霍奇金淋巴瘤、大肠癌、甲状腺癌、非小细胞肺癌中发生突变。
近年来,随着甲状腺癌发病率的增高,对其诊断准确性及治疗个体化提出了更高的要求。BRAF-V600E突变是甲状腺癌最常见的基因突变形式,其对甲状腺癌的高度特异性及其与高危临床病理特征的显著相关性使其在辅助甲状腺癌病理诊断和预测患者预后等方面发挥着重要作用。
目前,BRAF-V600E突变的检测主要通过超声引导下的细针穿刺或手术切除后癌组织切片病理来实现,这种病理诊断方法具有创伤大、花费高、耗时长等缺点。甲状腺结节超声图像特征与BRAFV600E突变存在一定的关联,这使得通过超声图像预测BRAFV600E突变以减少患者创伤、降低就医成本成为可能,但超声图像特征判断的主观性使得这种预测模式的实现难度较大。目前深度学习在辅助甲状腺结节良恶性诊断方面发展迅猛,然而基于深度学习的神经网络检测预测甲状腺结节BRAFV600E突变的系统尚未出现。
发明内容
本申请要解决的技术问题是提供一种基于计算机软件处理的用于检测BRAF-V600E突变的系统和方法。
为解决上述技术问题,根据本申请的一个方面,提供一种用于检测BRAF-V600E突变的系统,包括:超声图获取模块,通过对患者的检查生成活性组织的超声图像;定位分割模块,与超声图获取模块通信连接,接收来自超声图获取模块生成的活性组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;BRAF-V600E模块,通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测;以及输出模块,输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括显示模块,显示模块可显示定位分割模块对活性组织的超声图像上的结节进行定位和分割的过程、BRAF-V600E模块对一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测的过程、以及输出模块输出的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括人工审核模块,人工审核模块可审核定位分割模块、BRAF-V600E模块和输出模块的运行情况。
根据本申请的实施例,人工审核模块在审核输出模块时可包括输入对BRAF-V600E基因突变预测的结论性报告,并且指示输出模块输出BRAF-V600E基因突变预测的结论性报告。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括优化模块,优化模块可从输出模块接收BRAF-V600E基因突变预测的结论性报告,并且通过机器深入学习和训练而不断优化定位分割模块和BRAF-V600E模块。
根据本申请的实施例,定位分割模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例,定位分割模块、BRAF-V600E模块和输出模块可集成在一台PC中。优选地,定位分割模块、BRAF-V600E模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。
根据本申请的实施例,活性组织的超声图像可为甲状腺超声图像。
根据本申请的实施例,TransU-Net模型可为卷积神经网络的TransU-Net网络。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
根据本申请的实施例,活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为一个或多个待查结节区域图像。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
根据本申请的实施例,DenseNet网路可采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
根据本申请的实施例,超声图获取模块可包括常规B超机。
根据本申请的另一方面,提供一种通过用于检测BRAF-V600E突变的系统进行用于检测BRAF-V600E突变的方法,用于检测BRAF-V600E突变的系统包括超声图获取模块、定位分割模块、BRAF-V600E模块和输出模块,用于检测BRAF-V600E突变的方法包括如下步骤:采用超声图获取模块通过对患者的检查生成活性组织的超声图像;采用与超声图获取模块通信连接的定位分割模块接收来自超声图获取模块生成的活性组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;采用BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测;以及采用输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括显示模块,用于检测BRAF-V600E突变的方法还可包括采用显示模块显示定位分割模块对活性组织的超声图像上的结节进行定位和分割的过程、BRAF-V600E模块对一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测的过程、以及输出模块输出的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括人工审核模块,用于检测BRAF-V600E突变的方法还包括采用人工审核模块审核定位分割模块、BRAF-V600E模块和输出模块的运行情况。
根据本申请的实施例,人工审核模块在审核输出模块时可包括输入对BRAF-V600E基因突变预测的结论性报告,并且指示输出模块输出BRAF-V600E基因突变预测的结论性报告。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括优化模块,用于检测BRAF-V600E突变的方法还可包括采用优化模块从输出模块接收BRAF-V600E基因突变预测的结论性报告,并且通过机器深入学习和训练而不断优化定位分割模块和BRAF-V600E模块。
根据本申请的实施例,定位分割模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例,定位分割模块、BRAF-V600E模块和输出模块可集成在一台PC中。优选地,定位分割模块、BRAF-V600E模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。
根据本申请的实施例,活性组织的超声图像可为甲状腺超声图像。
根据本申请的实施例,TransU-Net模型可为卷积神经网络的TransU-Net网络。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
根据本申请的实施例,活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为一个或多个待查结节区域图像。
根据本申请的实施例,用于检测BRAF-V600E突变的方法还可包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
根据本申请的实施例,用于检测BRAF-V600E突变的方法还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
根据本申请的实施例,DenseNet网路采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
根据本申请的实施例,超声图获取模块可包括常规B超机。
与现有技术相比,根据本申请实施例的用于检测BRAF-V600E突变的系统和方法至少可实现如下有益效果:
因为根据本申请实施例的用于检测BRAF-V600E突变的系统和方法中,采用超声图获取模块,通过对患者的检查生成活性组织的超声图像,超声图获取模块可为常规B超机,所以对传统的B超机不需要做任何改变,因此免去了对现有设备的改造成本。
定位分割模块与超声图获取模块通信连接,并且该通信连接可为有线连接或无线连接。这样,以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置,或者二者之间可为远程连接。在远程连接的情况下,方便了远程医疗诊断。
定位分割模块在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像,因此不会漏掉任何可能的病灶。
BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。DenseNet网络在经过一定的训练后,对BRAF-V600E基因突变具有较好的识别能力,因此可以给出相对准确的智能机器判断,而不是完全依赖于人为的主观判断。这大大提高了对BRAF-V600E基因突变的检测效率和准确性。
输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果,同时也可输出人工审核的结论性报告。这样的结果和报告除了可以打印成书面报告外,还可将其反馈给优化模块,从而对定位分割模块和BRAF-V600E模块上的软件进行不断训练、深入学习和优化。
根据本申请实施例的用于检测BRAF-V600E突变的系统和方法可为医生提供快速、准确的BRAFV600E基因预测的辅助诊断结果,同时对病人可以省去进行传统的BRAFV600E病理诊断方法所带来的的创伤大、花费高、耗时长等缺点,因此具有良好的医用价值和很好的社会价值。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本申请的一些实施例,而非对本申请的限制。
图1是根据本申请实施例的用于检测BRAF-V600E突变的系统的模块图。
图2是根据本申请实施例的用于检测BRAF-V600E突变的系统的定位分割模块的示意图。
图3是根据本申请实施例的用于检测BRAF-V600E突变的系统的BRAF-V600E模块的示意图。
图4是根据本申请实施例的用于检测BRAF-V600E突变的方法的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例的附图,对本申请实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于所描述的本申请的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
除非另作定义,此处使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。
下面,结合附图描述本申请的实施例。
图1是根据本申请实施例的用于检测BRAF-V600E突变的系统的模块图。
参见图1,根据本申请的实施例,提供一种用于检测BRAF-V600E突变的系统,包括超声图获取模块、定位分割模块、BRAF-V600E模块和输出模块,现分述如下。
超声图获取模块通过对患者的检查生成活性组织的超声图像。根据本申请的实施例,超声图获取模块例如可为常规B超机。然而,本申请的实施例不限于此,而是超声图获取模块也可为通过常规B型超声获取预定位置活体组织的常规二维超声图像的任何其它装置,例如,A型超声、M型超声、D型超声、彩超等装置。
对于超声图获取模块来说,常见的对活性组织的检查为甲状腺、颈部淋巴结、女性乳腺、腹腔B超、肝脏B超、前列腺B超等。为了描述的方便起见,下面仅以甲状腺B超为例进行描述。因此,根据本申请的实施例,活性组织的超声图像可为甲状腺超声图像。
定位分割模块与超声图获取模块通信连接,接收来自超声图获取模块生成的活性组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。
图2是根据本申请实施例的用于检测BRAF-V600E突变的系统的定位分割模块的示意图。
如图2所示,模型可以分为编码器和解码器两部分,解码器部分为CNN-Transformer混合部分。该模型的具体工作原理为:先由三层CNN提取出粗粒度的图像特征,将该特征作为Transformer模块的输入,Transformer模块通过Patch Embedding操作,将二维图像转换为一维的Patch Embedding,使用attention机制对图像特征进行进一步的提取,提取出分割目标的细粒度的特征,attention机制是根据当前查询对输入信息赋予不同的权重来聚合信息,从操作上看就是一种“加权平均”。attention中共有3个概念:query、key和value,其中key和value是成对的,对于一个给定的query向量,通过内积计算来匹配k个key向量,得到的内积通过softmax来归一化得到k个权重,那么对于query其attention的输出就是k个key向量对应的value向量的加权平均值。对于一系列的N个query,可以通过矩阵计算它们的attention输出:
Figure BDA0003260953020000081
Q,K,Y对应query,key,value三个向量,d是query向量的维度,k是query匹配的key向量的个数。
CNN-Transformer作为编码器较于之前的纯CNN编码器,它可以获得更多的长程信息,拥有更大尺度的视野,可以整合更大范围内的特征,而相较于纯Transformer编码器,它可以获取更多的细节信息,使得器官的形状和边界信息更加明显。
解码器部分使用了级联的上采样器,它拥有三次上采样过程,用于解码隐藏特征以输出最终的分割结果,解码器中的每一层都采用skip-connect操作,增加了之前编码器部分CNN提取的特征,使得不同层次的特征可以更好的混合在一起,提高模型的精确度。
根据本申请的实施例,TransU-Net模型可为卷积神经网络的TransU-Net网络。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
根据本申请的实施例,活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为一个或多个待查结节区域图像。
图3是根据本申请实施例的用于检测BRAF-V600E突变的系统的BRAF-V600E模块的示意图。
如图3所示,BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。
DenseNet结构上是由一层层的卷积模块提取特征,最后经过全连接层,将卷积提取的特征映射到样本标记的空间中。在卷积模块中,使用到了密集连接的操作,在参数量不增加太多的情况下,加强了特征的传递,使得特征的传递更为有效。
在深度学习中,随着网络的加深,梯度消失的问题会愈加明显。在该模型中,使用了密集连接的策略来缓解梯度消失的情况出现。如图所示,对于第N层,它都会将自己的特征直接连接到后续的各层,而自己也将直接接收到之前N层之前的所有特征。如公式描述的:
xl=Hl(x0,x1…xn-1)
其中xl代表第l层的输出,Hl表示第l层等的操作。这样的设计可以使得每一层都可以直接访问到来自损失函数和原始输入信号的梯度,从而实现隐式的深度监督,自然可以减轻梯度消失的情况。同时,也更为有效的利用了各层的特征;并且,由于只是增加了密集连接的操作,对于网络的深度和宽度并没有改变太多,因此DenseNet网络训练起来较为容易,参数量也更小。
回过来参见图1,输出模块,输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括显示模块,显示模块可显示定位分割模块对活性组织的超声图像上的结节进行定位和分割的过程、BRAF-V600E模块对一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测的过程、以及输出模块输出的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括人工审核模块,人工审核模块可审核定位分割模块、BRAF-V600E模块和输出模块的运行情况。
根据本申请的实施例,人工审核模块在审核输出模块时可包括输入对BRAF-V600E基因突变预测的结论性报告,并且指示输出模块输出BRAF-V600E基因突变预测的结论性报告。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括优化模块,优化模块可从输出模块接收BRAF-V600E基因突变预测的结论性报告,并且通过机器深入学习和训练而不断优化定位分割模块和BRAF-V600E模块。
根据本申请的实施例,定位分割模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例,定位分割模块、BRAF-V600E模块和输出模块可集成在一台PC中。优选地,定位分割模块、BRAF-V600E模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
根据本申请的实施例,用于检测BRAF-V600E突变的系统还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
根据本申请的实施例,DenseNet网路可采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
图4是根据本申请实施例的用于检测BRAF-V600E突变的方法的流程图。
参见图4,根据本申请的实施例,提供一种通过用于检测BRAF-V600E突变的系统进行用于检测BRAF-V600E突变的方法。在下面的描述中,为了避免冗余,将省略与参照图1-3描述的根据本申请实施例的用于检测BRAF-V600E突变的系统重复的描述。
用于检测BRAF-V600E突变的系统包括超声图获取模块、定位分割模块、BRAF-V600E模块输出模块,优选地,还可包括显示模块、人工审核模块和优化模块。
用于检测BRAF-V600E突变的方法包括如下步骤:采用超声图获取模块通过对患者的检查生成活性组织的超声图像;采用与超声图获取模块通信连接的定位分割模块接收来自超声图获取模块生成的活性组织的超声图像,并且在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;采用BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测;以及采用输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的方法还可包括采用显示模块显示定位分割模块对活性组织的超声图像上的结节进行定位和分割的过程、BRAF-V600E模块对一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测的过程、以及输出模块输出的BRAF-V600E基因突变预测的结果。
根据本申请的实施例,用于检测BRAF-V600E突变的方法还包括采用人工审核模块审核定位分割模块、BRAF-V600E模块和输出模块的运行情况。
根据本申请的实施例,人工审核模块在审核输出模块时可包括输入对BRAF-V600E基因突变预测的结论性报告,并且指示输出模块输出BRAF-V600E基因突变预测的结论性报告。
根据本申请的实施例,用于检测BRAF-V600E突变的方法还可包括采用优化模块从输出模块接收BRAF-V600E基因突变预测的结论性报告,并且通过机器深入学习和训练而不断优化定位分割模块和BRAF-V600E模块。
根据本申请的实施例,定位分割模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例,定位分割模块、BRAF-V600E模块和输出模块可集成在一台PC中。优选地,定位分割模块、BRAF-V600E模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。
根据本申请的实施例,活性组织的超声图像可为甲状腺超声图像。
根据本申请的实施例,TransU-Net模型可为卷积神经网络的TransU-Net网络。
根据本申请的实施例,超声图像的预处理可包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
根据本申请的实施例,活性组织的超声图像上的结节定位和分割可包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为一个或多个待查结节区域图像。
根据本申请的实施例,用于检测BRAF-V600E突变的方法还可包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
根据本申请的实施例,用于检测BRAF-V600E突变的方法还可包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
根据本申请的实施例,DenseNet网路采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
BRAF基因是一种原癌基因,V600E代表的是BRAF基因中最容易突变的一个位点,常在黑色素瘤、非霍奇金淋巴瘤、大肠癌、甲状腺癌、非小细胞肺癌中发生突变,目前最常应用于甲状腺癌的辅助诊断。甲状腺穿刺检查,是诊断甲状腺癌的重要方法,不过也会有大约20%-30%的患者不能完全确诊,检测BRAF-V600E突变,能够提高甲状腺穿刺检查恶性病变的敏感性,也就是如果检测到基因突变,基本就可以确诊甲状腺乳头状癌。有关专家共识指出,有甲状腺结节的患者,在细胞学检查不能确定时,推荐使用分子标志物BRAF基因进行辅助诊断。
与现有技术相比,根据本申请实施例的用于检测BRAF-V600E突变的系统和方法至少可实现如下有益效果:
因为根据本申请实施例的用于检测BRAF-V600E突变的系统和方法中,采用超声图获取模块,通过对患者的检查生成活性组织的超声图像,所以对传统的B超机不需要做任何改变,因此免去了对现有设备的改造成本。
定位分割模块与超声图获取模块通信连接,并且该通信连接可为有线连接或无线连接。这样,以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置,或者二者之间可为远程连接。在远程连接的情况下,方便了远程医疗诊断。
定位分割模块在对超声图像进行预处理后,通过其上加载的TransU-Net模型对活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像,因此不会漏掉任何可能的病灶。
BRAF-V600E模块通过其上加载的DenseNet网络对定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测。DenseNet网络在经过一定的训练后,对BRAF-V600E基因突变具有较好的识别能力,因此可以给出相对准确的智能机器判断,而不是完全依赖于人为的主观判断。这大大提高了对BRAF-V600E基因突变的检测效率和准确性。
输出模块输出BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果,同时也可输出人工审核的结论性报告。这样的结果和报告除了可以打印成书面报告外,还可将其反馈给优化模块,从而对定位分割模块和BRAF-V600E模块上的软件进行不断训练、深入学习和优化。
根据本申请实施例的用于检测BRAF-V600E突变的系统和方法可为医生提供快速、准确的BRAFV600E基因预测的辅助诊断结果,同时对病人可以省去进行传统的BRAFV600E病理诊断方法所带来的的创伤大、花费高、耗时长等缺点,因此具有良好的医用价值和很好的社会价值。
以上所述仅是本申请的示范性实施方式,而非用于限制本申请的保护范围,本申请的保护范围由所附的权利要求确定。

Claims (32)

1.一种用于检测BRAF-V600E突变的系统,包括:
超声图获取模块,通过对患者的检查生成活性组织的超声图像;
定位分割模块,与所述超声图获取模块通信连接,接收来自所述超声图获取模块生成的活性组织的超声图像,并且在对所述超声图像进行预处理后,通过其上加载的TransU-Net模型对所述活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;
BRAF-V600E模块,通过其上加载的DenseNet网络对所述定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测;以及
输出模块,输出所述BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果。
2.如权利要求1所述的用于检测BRAF-V600E突变的系统,还包括显示模块,所述显示模块显示所述定位分割模块对所述活性组织的超声图像上的结节进行定位和分割的过程、所述BRAF-V600E模块对一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测的过程、以及输出模块输出的BRAF-V600E基因突变预测的结果。
3.如权利要求2所述的用于检测BRAF-V600E突变的系统,还包括人工审核模块,所述人工审核模块审核所述定位分割模块、所述BRAF-V600E模块和所述输出模块的运行情况。
4.如权利要求3所述的用于检测BRAF-V600E突变的系统,其中,所述人工审核模块在审核所述输出模块时包括输入对所述BRAF-V600E基因突变预测的结论性报告,并且指示所述输出模块输出所述BRAF-V600E基因突变预测的结论性报告。
5.如权利要求4所述的用于检测BRAF-V600E突变的系统,还包括优化模块,所述优化模块从所述输出模块接收所述BRAF-V600E基因突变预测的结论性报告,并且通过机器深入学习和训练而不断优化所述定位分割模块和所述BRAF-V600E模块。
6.如权利要求1所述的用于检测BRAF-V600E突变的系统,其中,所述定位分割模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。
7.如权利要求1所述的用于检测BRAF-V600E突变的系统,其中,所述定位分割模块、所述BRAF-V600E模块和所述输出模块集成在一台PC中。
8.如权利要求5所述的用于检测BRAF-V600E突变的系统,其中,所述定位分割模块、所述BRAF-V600E模块、所述输出模块、所述显示模块、所述人工审核模块和所述优化模块集成在一台PC中。
9.如权利要求5所述的用于检测BRAF-V600E突变的系统,其中,所述活性组织的超声图像为甲状腺超声图像。
10.如权利要求1所述的用于检测BRAF-V600E突变的系统,其中,所述TransU-Net模型为卷积神经网络的TransU-Net网络。
11.如权利要求1所述的用于检测BRAF-V600E突变的系统,其中,所述超声图像的预处理包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
12.如权利要求9所述的用于检测BRAF-V600E突变的系统,其中,所述活性组织的超声图像上的结节定位和分割包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为所述一个或多个待查结节区域图像。
13.如权利要求1所述的用于检测BRAF-V600E突变的系统,还包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
14.如权利要求9所述的用于检测BRAF-V600E突变的系统,还包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
15.如权利要求14所述的用于检测BRAF-V600E突变的系统,其中,所述DenseNet网路采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
16.如权利要求1所述的用于检测BRAF-V600E突变的系统,其中,所述超声图获取模块包括常规B超机。
17.一种通过用于检测BRAF-V600E突变的系统进行用于检测BRAF-V600E突变的方法,所述用于检测BRAF-V600E突变的系统包括超声图获取模块、定位分割模块、BRAF-V600E模块和输出模块,所述方法包括如下步骤:采用超声图获取模块通过对患者的检查生成活性组织的超声图像;采用与所述超声图获取模块通信连接的定位分割模块接收来自所述超声图获取模块生成的活性组织的超声图像,并且在对所述超声图像进行预处理后,通过其上加载的TransU-Net模型对所述活性组织的超声图像上的结节进行定位和分割,以形成一个或多个待查结节区域图像;采用BRAF-V600E模块通过其上加载的DenseNet网络对所述定位分割模块上形成的一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测;以及采用输出模块输出所述BRAF-V600E模块形成的BRAF-V600E基因突变预测的结果。
18.如权利要求17所述的用于检测BRAF-V600E突变的方法,其中,所述系统还包括显示模块,所述方法还包括采用所述显示模块显示所述定位分割模块对所述活性组织的超声图像上的结节进行定位和分割的过程、所述BRAF-V600E模块对一个或多个待查结节区域图像的每一个进行BRAF-V600E基因突变预测的过程、以及输出模块输出的BRAF-V600E基因突变预测的结果。
19.如权利要求18所述的用于检测BRAF-V600E突变的方法,其中,所述系统还包括人工审核模块,所述方法还包括采用所述人工审核模块审核所述定位分割模块、所述BRAF-V600E模块和所述输出模块的运行情况。
20.如权利要求19所述的用于检测BRAF-V600E突变的方法,其中,所述人工审核模块在审核所述输出模块时包括输入对所述BRAF-V600E基因突变预测的结论性报告,并且指示所述输出模块输出所述BRAF-V600E基因突变预测的结论性报告。
21.如权利要求20所述的用于检测BRAF-V600E突变的方法,其中,所述系统还包括优化模块,所述方法还包括采用所述优化模块从所述输出模块接收所述BRAF-V600E基因突变预测的结论性报告,并且通过机器深入学习和训练而不断优化所述定位分割模块和所述BRAF-V600E模块。
22.如权利要求17所述的用于检测BRAF-V600E突变的方法,其中,所述定位分割模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。
23.如权利要求17所述的用于检测BRAF-V600E突变的方法,其中,所述定位分割模块、所述BRAF-V600E模块和所述输出模块集成在一台PC中。
24.如权利要求21所述的用于检测BRAF-V600E突变的方法,其中,所述定位分割模块、所述BRAF-V600E模块、所述输出模块、所述显示模块、所述人工审核模块和所述优化模块集成在一台PC中。
25.如权利要求21所述的用于检测BRAF-V600E突变的方法,其中,所述活性组织的超声图像为甲状腺超声图像。
26.如权利要求17所述的用于检测BRAF-V600E突变的方法,其中,所述TransU-Net模型为卷积神经网络的TransU-Net网络。
27.如权利要求17所述的用于检测BRAF-V600E突变的方法,其中,所述超声图像的预处理包括去除与超声波影像无关的部分,并且调整图像大小与灰度等图像属性。
28.如权利要求25所述的用于检测BRAF-V600E突变的方法,其中,所述活性组织的超声图像上的结节定位和分割包括利用TransU-Net模型对B超图像进行检测,得到甲状腺结节的位置与形状信息,以甲状腺结节为边界向外延一定像素,截取图像作为所述一个或多个待查结节区域图像。
29.如权利要求17所述的用于检测BRAF-V600E突变的方法,还包括针对分割中类别不均匀的情况,使用Dice系数结合二进制交叉熵函数作为训练的损失函数。
30.如权利要求25所述的用于检测BRAF-V600E突变的方法,还包括利用DenseNet网络对甲状腺结节进行BRAFV600E基因突变预测,并且通过人工审核模块根据BRAFV600E突变与否指定不同的治疗方案和预后恢复方案。
31.如权利要求30所述的用于检测BRAF-V600E突变的方法,其中,所述DenseNet网路采用卷积神经网络进行分割,首先对图像进行预处理,利用线性插值算法,将所有甲状腺结节图像缩放为同一个尺寸,输入网络;对于输入的图像,首先使用卷积模块和密集连接模块交替提取特征,重复四次,最终得的特征经过两个密集连接层,得到一个权重值,通过该权重值与之前训练得到的值进行对比,来预测BRAFV600E基因是否突变。
32.如权利要求17所述的用于检测BRAF-V600E突变的方法,其中,所述超声图获取模块包括常规B超机。
CN202111072624.0A 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法 Active CN113842164B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202410063798.8A CN117883118A (zh) 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法
CN202111072624.0A CN113842164B (zh) 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111072624.0A CN113842164B (zh) 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410063798.8A Division CN117883118A (zh) 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法

Publications (2)

Publication Number Publication Date
CN113842164A true CN113842164A (zh) 2021-12-28
CN113842164B CN113842164B (zh) 2024-02-20

Family

ID=78974101

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111072624.0A Active CN113842164B (zh) 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法
CN202410063798.8A Pending CN117883118A (zh) 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410063798.8A Pending CN117883118A (zh) 2021-09-14 2021-09-14 用于检测braf-v600e突变的系统和方法

Country Status (1)

Country Link
CN (2) CN113842164B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768546A (zh) * 2021-09-14 2021-12-10 上海市第六人民医院 超声弹性图像生成与处理系统和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
US20200315589A1 (en) * 2018-08-31 2020-10-08 Seno Medical Instruments, Inc. Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images
WO2020257482A1 (en) * 2019-06-19 2020-12-24 Seno Medical Instruments, Inc. Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images
CN112215842A (zh) * 2020-11-04 2021-01-12 上海市瑞金康复医院 基于良性甲状腺模板的恶性结节边缘检测图像处理方法
US20210219944A1 (en) * 2018-05-31 2021-07-22 Mayo Foundation For Medical Education And Research Systems and Media for Automatically Diagnosing Thyroid Nodules
CN113633315A (zh) * 2021-09-14 2021-11-12 上海市第六人民医院 采用超声图处理系统的超声图处理方法
CN113647987A (zh) * 2021-09-14 2021-11-16 上海市第六人民医院 用于检测活体组织结节的系统和方法
CN113679426A (zh) * 2021-09-14 2021-11-23 上海市第六人民医院 超声图处理系统
CN113768546A (zh) * 2021-09-14 2021-12-10 上海市第六人民医院 超声弹性图像生成与处理系统和方法
CN113842159A (zh) * 2021-09-14 2021-12-28 上海市第六人民医院 颈部淋巴结超声分区图像的生成系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210219944A1 (en) * 2018-05-31 2021-07-22 Mayo Foundation For Medical Education And Research Systems and Media for Automatically Diagnosing Thyroid Nodules
US20200315589A1 (en) * 2018-08-31 2020-10-08 Seno Medical Instruments, Inc. Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
WO2020257482A1 (en) * 2019-06-19 2020-12-24 Seno Medical Instruments, Inc. Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images
CN112215842A (zh) * 2020-11-04 2021-01-12 上海市瑞金康复医院 基于良性甲状腺模板的恶性结节边缘检测图像处理方法
CN113633315A (zh) * 2021-09-14 2021-11-12 上海市第六人民医院 采用超声图处理系统的超声图处理方法
CN113647987A (zh) * 2021-09-14 2021-11-16 上海市第六人民医院 用于检测活体组织结节的系统和方法
CN113679426A (zh) * 2021-09-14 2021-11-23 上海市第六人民医院 超声图处理系统
CN113768546A (zh) * 2021-09-14 2021-12-10 上海市第六人民医院 超声弹性图像生成与处理系统和方法
CN113842159A (zh) * 2021-09-14 2021-12-28 上海市第六人民医院 颈部淋巴结超声分区图像的生成系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768546A (zh) * 2021-09-14 2021-12-10 上海市第六人民医院 超声弹性图像生成与处理系统和方法
CN113768546B (zh) * 2021-09-14 2024-02-20 上海市第六人民医院 超声弹性图像生成与处理系统和方法

Also Published As

Publication number Publication date
CN113842164B (zh) 2024-02-20
CN117883118A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
Moon et al. Computer‐aided diagnosis of breast ultrasound images using ensemble learning from convolutional neural networks
CN113679426A (zh) 超声图处理系统
Mittal et al. Neural network based focal liver lesion diagnosis using ultrasound images
CN111415342A (zh) 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
Horng et al. DeepNerve: a new convolutional neural network for the localization and segmentation of the median nerve in ultrasound image sequences
CN113633315A (zh) 采用超声图处理系统的超声图处理方法
CN112990344B (zh) 一种肺结节多视图分类方法
Huang et al. Attention-VGG16-UNet: a novel deep learning approach for automatic segmentation of the median nerve in ultrasound images
CN111260639A (zh) 多视角信息协作的乳腺良恶性肿瘤分类方法
CN112071418B (zh) 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法
Kim et al. Breast mass classification using eLFA algorithm based on CRNN deep learning model
CN113842164B (zh) 用于检测braf-v600e突变的系统和方法
CN113647987B (zh) 用于检测活体组织结节的系统和方法
Gómez-Flores et al. Texture analysis based on auto-mutual information for classifying breast lesions with ultrasound
Ou et al. RTSeg-Net: a lightweight network for real-time segmentation of fetal head and pubic symphysis from intrapartum ultrasound images
Liu et al. Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer
Chen et al. Dual-mode ultrasound radiomics and intrinsic imaging phenotypes for diagnosis of lymph node lesions
Dai et al. More reliable AI solution: Breast ultrasound diagnosis using multi-AI combination
CN114037709B (zh) 一种磨玻璃肺结节分割方法及装置
Padma et al. Texture feature based analysis of segmenting soft tissues from brain CT images using BAM-type artificial neural network
Zhang et al. Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation
Bayani et al. Quality improvement of liver ultrasound images using fuzzy techniques
Zhang et al. SMTF: Sparse transformer with multiscale contextual fusion for medical image segmentation
Xie et al. Analysis of the diagnosis model of peripheral non-small-cell lung cancer under computed tomography images
Ding et al. A novel wavelet-transform-based convolution classification network for cervical lymph node metastasis of papillary thyroid carcinoma in ultrasound images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant