CN110276740A - 乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法 - Google Patents
乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法 Download PDFInfo
- Publication number
- CN110276740A CN110276740A CN201810244244.2A CN201810244244A CN110276740A CN 110276740 A CN110276740 A CN 110276740A CN 201810244244 A CN201810244244 A CN 201810244244A CN 110276740 A CN110276740 A CN 110276740A
- Authority
- CN
- China
- Prior art keywords
- mammary tumor
- image
- referring
- breast ultrasound
- ultrasound image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法,乳房肿瘤辅助检测系统,其包含影像撷取单元和非暂态机器可读媒体。所述非暂态机器可读媒体储存程序,当程序由处理单元执行时用以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。所述程序包含参照数据库取得模块、第一影像前处理模块、自编码模块、分类模块、第二影像前处理模块以及比对模块。借此所述乳房肿瘤辅助检测系统可用以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。
Description
技术领域
本发明是有关于一种医疗信息分析模型、系统以及方法,特别是一种乳房肿瘤辅助检测模型、乳房肿瘤辅助检测系统以及乳房肿瘤辅助检测方法。
背景技术
乳房肿瘤是因乳房腺泡细胞或乳腺管细胞不正常分裂增生所形成。大部份的乳房肿瘤是良性的纤维腺瘤、纤维囊肿或囊肿等,只有十分之一的乳房肿瘤有恶性肿瘤的可能,但即使是良性肿瘤,肿瘤过大或是产生临床症状还是需要治疗的。各年龄层出现的硬块属性不尽相同。一般而言,30岁之前,出现的乳房肿瘤多为良性纤维腺瘤或囊肿。30岁至50岁,出现的乳房肿瘤通常是纤维囊肿或乳癌。停经之后出现的乳房肿瘤则多为乳癌。
乳癌患者日趋增多,乳房含丰富血管、淋巴管、淋巴结,因此乳癌细胞容易扩散到其他器官,乳癌预后的好坏与“癌细胞的种类”、“发现的时机”及“治疗的方式”三个因素皆有关,但只要能尽可能早期发现和早期治疗,治疗效果就越好。临床统计显示,早期乳癌5年存活率可达80%以上,第0期发现治愈率更可达97%以上。美国医界积极推广乳房自我检查及乳房X光摄影检查,使得早期乳癌的发现率高达60%,然而国人因个性保守,以致早期乳癌只占15-20%。
乳房肿瘤检查与临床辨别良恶性的方式,包含有特殊放射线摄影(乳房摄影)、乳房超声波、血液检验与活体组织取样。由于东方女性乳腺通常较为密集,因此在乳房摄影需要通过强力挤压乳房的方式进行,容易造成患者不适,且有因挤压造成癌细胞扩散的可能性。若经过乳房摄影或乳房超声波检查,专科医师尚无法确认肿瘤状态时,便会以侵入性方式进行活体组织采样进行确诊。
由此可知,惯用技术缺乏具有高指标性、较佳灵敏度及可应用于临床辅助乳房肿瘤分群的工具,因此,有必要针对惯用技术加以改进,以提升乳房超声波影像用于确诊乳房肿瘤类型的准确性,减少后患者因进行其他侵入性检查时所造成的不适感与降低可能因检查所造成的癌细胞扩散。
发明内容
本发明的目的在于提供一种一种乳房肿瘤辅助检测模型、乳房肿瘤辅助检测系统以及乳房肿瘤辅助检测方法,其可用以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。
本发明的一方面是在提供一种乳房肿瘤辅助检测模型,包含下列建立步骤:取得参照数据库、进行影像前处理步骤、进行特征选取步骤以及进行分类步骤。所述参照数据库包含多个参照乳房超声波影像。所述影像前处理步骤是将参照乳房超声波影像的影像矩阵数值除以第一归一化因数,以得到参照数值区间,其中参照数值区间介于0到1。所述特征选取步骤,是利用自编码模块根据参照数据库选取特征矩阵。自编码模块包含编码器和解码器,所述编码器用以压缩参照数值区间以得到特征矩阵,其中编码器包含多个卷积层和多个池化层。所述解码器用以还原特征矩阵并与参照乳房超声波影像进行比对,以确认特征矩阵包含参照乳房超声波影像中的关键信息,其中解码器包含多个卷积层和多个升采样层。所述分类步骤系将特征矩阵利用深度学习分类器训练达到收敛,以得到乳房肿瘤辅助检测模型,而乳房肿瘤辅助检测模型可用以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。
依据前述的乳房肿瘤辅助检测模型,其中所述第一归一化因数可为255。所述池化层的池化函数可为最大池化。所述深度学习分类器可为卷积神经网络。
依据前述的乳房肿瘤辅助检测模型,其中所述乳房肿瘤类型可包含无肿瘤、良性肿瘤及恶性肿瘤。
依据前述的乳房肿瘤辅助检测模型,所述影像前处理步骤可还包含:将参照乳房超声波影像进行切边,以及重设切边后参照乳房超声波影像的影像大小。
本发明的另一方面是在提供一种乳房肿瘤辅助检测方法,其包含下列步骤。提供如前段所述的乳房肿瘤辅助检测模型。提供受试者的目标乳房超声波影像。将目标乳房超声波影像的影像矩阵数值除以第二归一化因数,以得到目标数值区间。利用所述乳房肿瘤辅助检测模型分析所述目标数值区间,以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。
依据前述的乳房肿瘤辅助检测方法,其中所述第二归一化因数可为255。
依据前述的乳房肿瘤辅助检测方法,其中所述乳房肿瘤类型可包含无肿瘤、良性肿瘤及恶性肿瘤。
本发明的再一方面是在提供一种乳房肿瘤辅助检测系统,包含影像撷取单元和非暂态机器可读媒体。所述影像撷取单元用以取得受试者的目标乳房超声波影像。所述非暂态机器可读媒体储存程序,当程序由至少一个处理单元执行时,所述程序判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率,所述程序包含:参照数据库取得模块、第一影像前处理模块、自编码模块、分类模块、第二影像前处理模块和比对模块。所述参照数据库取得模块用以取得参照数据库,所述参照数据库包含多个参照乳房超声波影像。所述第一影像前处理模块,用以归一化参照乳房超声波影像的影像矩阵数值,以得到参照数值区间,其中所述参照数值区间介于0到1。所述自编码模块用以根据参照数据库选取特征矩阵,其中自编码模块包含编码器和解码器。所述编码器用以压缩参照数值区间以得到特征矩阵,其中编码器包含多个卷积层和多个池化层。所述解码器用以还原特征矩阵并与参照乳房超声波影像进行比对,以确认特征矩阵包含参照乳房超声波影像中的关键信息,其中解码器包含多个卷积层和多个升采样层。所述分类模块用以将特征矩阵利用深度学习分类器训练达到收敛,以得到乳房肿瘤辅助检测模型。所述第二影像前处理模块,用以归一化目标乳房超声波影像的影像矩阵数值,以得到目标数值区间,其中目标数值区间介于0到1。所述比对模块用以将目标数值区间以乳房肿瘤辅助检测模型进行分析,以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。
依据前述的乳房肿瘤辅助检测系统,其中所述第一影像前处理模块可包含多组指令,用以将参照乳房超声波影像进行切边;将参照乳房超声波影像的影像矩阵数值除以第一归一化因数,以得到参照数值区间;以及重设切边后参照乳房超声波影像的影像大小。优选地,所述第一归一化因数可为255。
依据前述的乳房肿瘤辅助检测系统,其中所述池化层的池化函数可为最大池化。所述深度学习分类器可为卷积神经网络。
依据前述的乳房肿瘤辅助检测系统,其中所述第二影像前处理模块包含多组指令,用以将目标乳房超声波影像进行切边;将目标乳房超声波影像的影像矩阵数值除以第二归一化因数,以得到目标数值区间;以及重设切边后目标乳房超声波影像的影像大小。优选地,所述第二归一化因数可为255。
依据前述的乳房肿瘤辅助检测系统,其中所述乳房肿瘤类型可包含无肿瘤、良性肿瘤及恶性肿瘤。
借此,本发明提供一种乳房肿瘤辅助检测模型、一种乳房肿瘤辅助检测系统以及一种乳房肿瘤辅助检测方法,通过基于自编码深度神经网络的乳房肿瘤辅助检测模型,能有效提升超声波在良性肿瘤和恶性肿瘤辨识的敏感度与特异性,用于确诊乳房肿瘤类型的准确性,可提供第二意见给专科医师,减少患者因进行其他侵入性检查时所造成的不适感,以及降低可能因检查所造成的癌细胞扩散。此外,本发明的乳房肿瘤辅助检测模型可自动针对乳房肿瘤位置进行标注,提供医师肿瘤位置信息,辅助医师拟定肿瘤治疗方式。因此通过本发明的乳房肿瘤辅助检测系统和乳房肿瘤辅助检测方法,医师能根据乳房肿瘤的良恶性与位置来拟定患者的疗程。
上述发明内容旨在提供本揭示内容的简化摘要,以使阅读者对本揭示内容具备基本的理解。此发明内容并非本揭示内容的完整概述,且其用意并非在指出本发明实施例的重要/关键元件或界定本发明的范围。
附图说明
为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂,结合附图说明如下:
图1绘示依照本发明的一实施方式的一种乳房肿瘤辅助检测模型的建立步骤流程图;
图2绘示依照本发明另一实施方式的一种乳房肿瘤辅助检测方法的步骤流程图;
图3绘示依照本发明再一实施方式的一种乳房肿瘤辅助检测系统的方块图;
图4为本发明的乳房肿瘤辅助检测模型的架构图;
图5为本发明的乳房肿瘤辅助检测模型用于判断受试者的乳房肿瘤类型的接收者操作特征曲线图;以及
图6A、图6B以及图6C为本发明的乳房肿瘤辅助检测模型用于判断受试者的肿瘤位置机率的分析结果图。
具体实施方式
下述将更详细讨论本发明各实施方式。然而,此实施方式可为各种发明概念的应用,可被具体实行在各种不同的特定范围内。特定的实施方式是仅以说明为目的,且不受限于公开的范围。
请参照图1,绘示依照本发明的一实施方式的一种乳房肿瘤辅助检测模型的建立步骤100流程图。本发明的乳房肿瘤辅助检测模型的建立步骤100包含步骤110、步骤120、步骤130和步骤140,建立后的乳房肿瘤辅助检测模型可用以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率,所述乳房肿瘤类型包含无肿瘤、良性肿瘤及恶性肿瘤。
步骤110是取得参照数据库,所述参照数据库包含多个参照乳房超声波影像。
步骤120是进行影像前处理步骤,是将参照乳房超声波影像的影像矩阵数值除以第一归一化因数,以得到参照数值区间,参照数值区间介于0到1。其中所述第一归一化因数可为255。影像前处理步骤可还包含将参照乳房超声波影像进行切边,以及重设切边后参照乳房超声波影像的影像大小。进一步地说,进行影像前处理步骤时,先将参照乳房超声波影像进行切边,去除参照乳房超声波影像外围的文字标记。再将参照乳房超声波影像的影像矩阵数值除以数值为255的第一归一化因数,以得到介于0到1的参照数值区间。最后将切边后参照乳房超声波影像的影像大小重设为128像素(pixel)×128像素。
步骤130是进行特征选取步骤,是利用自编码(autoencoder)模块根据参照数据库选取特征矩阵。自编码模块包含编码器(encoder)和解码器(decoder),所述编码器用以压缩参照数值区间以得到特征矩阵,其中编码器包含多个卷积层(convolution layer)和多个池化层(pooling layer)。所述解码器用以还原特征矩阵并与参照乳房超声波影像进行比对,以确认特征矩阵包含参照乳房超声波影像中的关键信息,其中解码器包含多个卷积层和多个升采样层(upsampling layer)。其中池化层的池化函数为最大池化(maxpooling)。
步骤140是进行分类步骤,是将特征矩阵利用深度学习分类器训练达到收敛,以得到乳房肿瘤辅助检测模型,而乳房肿瘤辅助检测模型可通过乳房超声波影像,判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率,其中所述乳房肿瘤类型包含无肿瘤、良性肿瘤及恶性肿瘤。所述深度学习分类器可为深度神经网络(deep neural networks,DNN)、卷积神经网络(convolutional neural networks,CNN)或深度置信网络(deep beliefnetworks,DBN)。优选地,所述深度学习分类器可为卷积神经网络。
请参照图2,绘示依照本发明另一实施方式的一种乳房肿瘤辅助检测方法200的步骤流程图。本发明的乳房肿瘤辅助检测方法200包含步骤210、步骤220、步骤230和步骤240。
步骤210是提供乳房肿瘤辅助检测模型,而乳房肿瘤辅助检测模型系经由前述步骤110至步骤140所建立。
步骤220是提供受试者的目标乳房超声波影像。
步骤230是将目标乳房超声波影像的影像矩阵数值除以第二归一化因数,以得到目标数值区间。所述第二归一化因数可为255。进一步地说,目标乳房超声波影像可先进行切边,去除目标乳房超声波影像外围的文字标记。再将目标乳房超声波影像的影像矩阵数值除以数值为255的第二归一化因数,以得到介于0到1的目标数值区间。最后将切边后目标乳房超声波影像的影像大小重设为128像素×128像素。
步骤240是利用所述乳房肿瘤辅助检测模型分析目标数值区间,以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。其中乳房肿瘤类型可包含无肿瘤、良性肿瘤和恶性肿瘤。
请再参照图3,绘示依照本发明再一实施方式的一种乳房肿瘤辅助检测系统300的方块图。本发明的乳房肿瘤辅助检测系统300包含影像撷取单元400和非暂态机器可读媒体500。乳房肿瘤辅助检测系统300可用以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率,其中所述乳房肿瘤类型可包含无肿瘤、良性肿瘤和恶性肿瘤。
影像撷取单元400用以取得受试者的目标乳房超声波影像,以及取得参照乳房超声波影像。影像撷取单元可为乳房超声波影像撷取装置,利用回传的音波可依组织的物理特性,检测高致密度的乳房。优选地,影像撷取单元400可为手持式超声波扫描器或自动乳房超声波系统(Automated breast ultrasound system,ABUS)。
非暂态机器可读媒体500储存程序,其中当所述程序由至少一个处理单元执行时,所述程序判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。所述程序包含参照数据库取得模块510、第一影像前处理模块520、自编码模块530、分类模块540、第二影像前处理模块550以及比对模块560。
参照数据库取得模块510用以取得参照数据库,所述参照数据库包含多个参照乳房超声波影像。
第一影像前处理模块520用以归一化参照乳房超声波影像的影像矩阵数值,以得到参照数值区间,其中参照数值区间介于0到1。第一影像前处理模块520可包含多组指令,用以将参照乳房超声波影像进行切边;将参照乳房超声波影像的影像矩阵数值除以第一归一化因数,以得到参照数值区间;以及重设切边后参照乳房超声波影像的影像大小。其中第一归一化因数可为255。进一步地说,第一影像前处理模块520先将参照乳房超声波影像进行切边,去除参照乳房超声波影像外围的文字标记。再将参照乳房超声波影像的影像矩阵数值除以数值为255的第一归一化因数,以得到介于0到1的参照数值区间。最后将切边后参照乳房超声波影像的影像大小重设为128像素×128像素。
自编码模块530用以根据参照数据库选取特征矩阵,其中自编码模块530包含编码器532和解码器534。编码器532用以压缩参照数值区间以得到特征矩阵,其中编码器532包含多个卷积层和多个池化层。解码器534用以还原特征矩阵并与参照乳房超声波影像进行比对,以确认特征矩阵包含参照乳房超声波影像中的关键信息,其中解码器534包含多个卷积层和多个升采样层。
分类模块540用以将特征矩阵利用深度学习分类器训练达到收敛,以得到乳房肿瘤辅助检测模型。所述深度学习分类器可为深度神经网络、卷积神经网络或深度置信网络。优选地,所述深度学习分类器可为卷积神经网络。
第二影像前处理模块550用以归一化目标乳房超声波影像的影像矩阵数值,以得到目标数值区间,其中目标数值区间介于0到1。第二影像前处理模块可包含多组指令,用以将目标乳房超声波影像进行切边;将目标乳房超声波影像的影像矩阵数值除以第二归一化因数,以得到目标数值区间;以及重设切边后目标乳房超声波影像的影像大小,其中第二归一化因数可为255。进一步地说,第二影像前处理模块550先将目标乳房超声波影像进行切边,去除目标乳房超声波影像外围的文字标记。再将目标乳房超声波影像的影像矩阵数值除以数值为255的第二归一化因数,以得到介于0到1的目标数值区间。最后将切边后目标乳房超声波影像的影像大小重设为128像素×128像素。
比对模块560用以将目标数值区间以乳房肿瘤辅助检测模型进行分析,以判断受试者的乳房肿瘤类型和预测受试者的肿瘤位置机率。
<试验例>
一、参照数据库
本发明所使用的参照数据库为中国医药大学暨附设医院所搜集的回溯性乳房超声波影像数据,为经中国医药大学暨附设医院研究伦理委员会(China MedicalUniversity&Hospital Research Ethics Committee)核准的临床试验计划,其编号为:CMUH106-REC1-087。参照受试者包含无肿瘤的参照受试者88位、具有良性乳房肿瘤的参照受试者148位,以及具有恶性乳房肿瘤的参照受试者94位,共计330位参照受试者。其中肿瘤良恶性以切片检查结果做为参照。
二、建立本发明的乳房肿瘤辅助检测模型
在本试验例中,先建立最佳化的乳房肿瘤辅助检测模型。请参照图4,为本发明的乳房肿瘤辅助检测模型的架构图。
首先取得参照数据库,参照数据库包含多个参照乳房超声波影像610。将参照乳房超声波影像610利用第一影像前处理模块(未另标号)进行影像前处理,其是将不同型号的原始乳房超声波影像进行标准化,标准化流程为先进行切边以去除参照乳房超声波影像外围的文字标记。再将参照乳房超声波影像的影像矩阵数值除以数值为255的第一归一化因数,以得到介于0到1的参照数值区间。最后将切边后参照乳房超声波影像的影像大小重设为128像素×128像素以完成标准化。
再将所得到的参照数值区间输入自编码模块(未另标号)中,其中自编码模块包含编码器620和解码器630。编码器620用以压缩参照数值区间以得到特征矩阵,其中编码器620包含多个卷积层和多个池化层,详细地说,是经由两层卷积层的卷积运算(Conv2D)提取输入的不同特征后,经由一层池化层以最大池化(MaxPooling2D)将输入的参照超声波影像划分为若干个矩形区域,对每个子区域输出最大值。再重复两次两层卷积层的卷积运算和一层池化层输出最大值,以得到特征矩阵。
所得到的特征矩阵分别以解码器630还原并与参照乳房超声波影像进行比对,以确认特征矩阵包含参照乳房超声波影像中的关键信息,以及利用深度学习分类器650训练达到收敛,以得到乳房肿瘤辅助检测模型。
解码器630包含多个卷积层和多个升采样层,详细地说,是经由两层卷积层的卷积运算(Conv2D)提取输入的不同特征后,以一层升采样层(UpSampling2D)提高取样频率。再重复两次两层卷积层的卷积运算和一层升采样层提高取样频率后,再以一层卷积层的卷积运算得到参照乳房超声波还原影像640。比对参照乳房超声波影像610和参照乳房超声波还原影像640,可见参照乳房超声波影像610经由自编码模块处理后,参照乳房超声波还原影像640包含了参照乳房超声波影像610中所有的关键信息。
而深度学习分类器650是利用卷积神经网络进行训练,详细地说,将前述选取的特征矩阵输入后,卷积神经网络的卷积层的卷积运算和池化层的最大值输出的训练流程如下所示:承接编码器620所提取的特征矩阵分别进行1x1卷积层(Conv)、1x1和3x3卷积层(Conv)、1x1和5x5卷积层(Conv)以及3x3池化层(MaxPooling)和1x1卷积层(Conv)运算后,将各组运算的特征矩阵数值进行深层叠合(DepthConcat)。之后再重复分别进行1x1卷积层、1x1和3x3卷积层、1x1和5x5卷积层以及3x3池化层和1x1卷积层运算,并将各组运算的特征矩阵数值进行深层叠合后,再进行全局平均池化(Global Average Pooling 2D),以得到训练好的乳房肿瘤辅助检测模型。所得到的乳房肿瘤辅助检测模型可用以判断受试者的乳房肿瘤类型和以及预测受试者的肿瘤位置机率。
三、用于判断受试者的乳房肿瘤类型
在本试验例中进一步将所建立的乳房肿瘤辅助检测模型用于判断受试者的乳房肿瘤类型。其步骤如下:提供前述建立好的乳房肿瘤辅助检测模型。提供受试者的目标乳房超声波影像。将目标乳房超声波影像的影像矩阵数值除以数值为255的第二归一化因数,以得到目标数值区间,所得到的目标数值区间介于0到1。最后利用乳房肿瘤辅助检测模型判断受试者的乳房肿瘤类型为无肿瘤、良性肿瘤或恶性肿瘤。判断标准为通过已建立好的乳房肿瘤辅助检测模型中参照数据库的肿瘤类型分类数据进行相似性比对,并针对每张影像给出一个以机率值表示的分类判断,以判断受试者的乳房肿瘤类型为无肿瘤、良性肿瘤或恶性肿瘤。
请参照图5,为本发明的乳房肿瘤辅助检测模型用于判断受试者的乳房肿瘤类型的接收者操作特征曲线(receiver operating characteristic curve,ROC)图。结果显示,当以本发明的乳房肿瘤辅助检测模型判断受试者的乳房肿瘤类型时,其宏平均(macro-average)和微平均(micro-average)曲线下面积(Area under the Curve,AUC)皆为0.98,其中乳房肿瘤类型为无肿瘤(class 0)的AUC=1,乳房肿瘤类型为良性肿瘤(class 1)的AUC=0.96,乳房肿瘤类型为恶性肿瘤(class 2)的AUC=0.97。显示本发明的乳房肿瘤辅助检测模型、乳房肿瘤辅助检测系统和乳房肿瘤辅助检测方法,可以精准地以乳房超声波影像判断受试者的乳房肿瘤类型。
四、用于预测受试者的肿瘤位置机率
在本试验例中进一步将所建立的乳房肿瘤辅助检测模型用于预测受试者的肿瘤位置机率。其步骤如下:提供前述建立好的乳房肿瘤辅助检测模型。提供受试者的目标乳房超声波影像。将目标乳房超声波影像的影像矩阵数值除以数值为255的第二归一化因数,以得到目标数值区间,所得到的目标数值区间介于0到1。最后利用乳房肿瘤辅助检测模型预测受试者的肿瘤位置机率。其系通过已建立好的乳房肿瘤辅助检测模型中参照数据库的肿瘤位置标注数据进行相似性比对,针对每张影像产生预测肿瘤位置机率分布热图,以预测受试者的肿瘤位置机率。
请参照图6A至图6C,为本发明的乳房肿瘤辅助检测模型用于判断受试者的肿瘤位置机率的分析结果图,其中分别包含目标乳房超声波影像710、肿瘤位置圈选影像720、肿瘤位置预测影像730、肿瘤位置圈选影像和肿瘤位置预测影像的叠合影像740,以及目标乳房超声波影像、肿瘤位置圈选影像和肿瘤位置预测影像的叠合影像750。此外,为求图6A至图6C的肿瘤位置预测影像730清楚明白,可参阅附件1至附件3的彩色图,其中附件1为图6A的彩色图,附件2为图6B的彩色图,附件3为图6C。目标乳房超声波影像710为受试者的原始目标超声波影像,肿瘤位置圈选影像720为医师依据目标乳房超声波影像710中所出现的肿瘤位置进行圈选所得到的影像,肿瘤位置预测影像730为将目标乳房超声波影像710经由本发明的乳房肿瘤辅助检测模型分析后所产生的肿瘤位置机率分布热图,其中不同颜色表示不同的肿瘤出现位置机率,请参见附件1至附件3中肿瘤位置预测影像730旁的颜色对应表。
在图6A中,目标乳房超声波影像710中无肿瘤存在,因此在肿瘤位置圈选影像720中无任何圈选影像区块。而经由本发明的乳房肿瘤辅助检测模型分析后所产生的肿瘤位置预测影像730中,亦未显示有任何肿瘤出现位置的机率。在图6B中,目标乳房超声波影像710中于上方偏左的位置存在肿瘤,因此在肿瘤位置圈选影像720中有一乳房肿瘤影像区块701。而经由本发明的乳房肿瘤辅助检测模型分析后所产生的肿瘤位置预测影像730中显示有不同的肿瘤出现位置机率。由肿瘤位置圈选影像和肿瘤位置预测影像的叠合影像740中可见,肿瘤位置预测影像730中肿瘤出现位置机率最高的区域与肿瘤位置圈选影像720中的乳房肿瘤影像区块701有高度的重叠。在图6C中,目标乳房超声波影像710中于上方中间的位置存在肿瘤,因此在肿瘤位置圈选影像720中有一乳房肿瘤影像区块701。而经由本发明的乳房肿瘤辅助检测模型分析后所产生的肿瘤位置预测影像730中显示有不同的肿瘤出现位置机率。由肿瘤位置圈选影像和肿瘤位置预测影像的叠合影像740中可见,肿瘤位置预测影像730中肿瘤出现位置机率最高的区域与肿瘤位置圈选影像720中的乳房肿瘤影像区块701有高度的重叠。显示本发明的乳房肿瘤辅助检测模型、乳房肿瘤辅助检测系统和乳房肿瘤辅助检测方法,可以用以预测受试者的肿瘤位置机率,以作为乳房肿瘤检测的辅助工具。
借此,本发明提供一种乳房肿瘤辅助检测模型、一种乳房肿瘤辅助检测系统以及一种乳房肿瘤辅助检测方法,通过基于自编码深度神经网络的乳房肿瘤辅助检测模型,能有效提升超声波在良性肿瘤和恶性肿瘤辨识的敏感度与特异性,用于确诊乳房肿瘤类型的准确性,可提供第二意见给专科医师,减少患者因进行其他侵入性检查时所造成的不适感,以及降低可能因检查所造成的癌细胞扩散。是以本发明的乳房肿瘤辅助检测模型、一种乳房肿瘤辅助检测系统以及一种乳房肿瘤辅助检测方法,可以非侵入性的检测方式,通过个案的乳房超声波影像数据进行自动化且快速的数据分析,辅助医事人员进行判读而即早确诊,提高早期乳癌的发现率。
此外,本发明的乳房肿瘤辅助检测模型可自动针对乳房肿瘤位置进行标注,提供医师肿瘤位置信息,辅助医师拟定肿瘤治疗方式。因此通过本发明的乳房肿瘤辅助检测系统和乳房肿瘤辅助检测方法,医师能根据乳房肿瘤的良恶性与位置来拟定患者的疗程。其进一步的治疗方式可包含手术治疗、放射线治疗、贺尔蒙控制治疗、化学治疗与标把治疗。通过本发明的乳房肿瘤辅助检测模型、一种乳房肿瘤辅助检测系统以及一种乳房肿瘤辅助检测方法,医师能根据乳房肿瘤的良恶性与位置来拟定患者的后续疗程。
虽然本发明已以实施方式公开如上,然其并非用以限定本发明,任何本领域的一般技术人员,在不脱离本发明的精神和范围内,当可作各种的更动与润饰,因此本发明的保护范围当视权利要求所界定的为准。
Claims (17)
1.一种乳房肿瘤辅助检测模型,其特征在于,包含下列建立步骤:
取得参照数据库,其中所述参照数据库包含多个参照乳房超声波影像;
进行影像前处理步骤,是将所述多个参照乳房超声波影像的影像矩阵数值除以第一归一化因数,以得到参照数值区间,其中所述参照数值区间介于0到1;
进行特征选取步骤,是利用自编码模块根据所述参照数据库选取特征矩阵,其中所述自编码模块包含:
编码器,用以压缩所述参照数值区间以得到所述特征矩阵,其中所述编码器包含多个卷积层和多个池化层;以及
解码器,用以还原所述特征矩阵并与所述多个参照乳房超声波影像进行比对,以确认所述特征矩阵包含各所述参照乳房超声波影像中的关键信息,其中所述解码器包含多个卷积层和多个升采样层;以及
进行分类步骤,是将所述特征矩阵利用深度学习分类器训练达到收敛,以得到所述乳房肿瘤辅助检测模型,其中所述乳房肿瘤辅助检测模型能用以判断受试者的乳房肿瘤类型以及预测所述受试者的肿瘤位置机率。
2.如权利要求1所述的乳房肿瘤辅助检测模型,其特征在于,所述第一归一化因数为255。
3.如权利要求1所述的乳房肿瘤辅助检测模型,其特征在于,所述影像前处理步骤还包含:
将所述多个参照乳房超声波影像进行切边;以及
重设所述多个切边后参照乳房超声波影像的影像大小。
4.如权利要求1所述的乳房肿瘤辅助检测模型,其特征在于,所述池化层的池化函数为最大池化。
5.如权利要求1所述的乳房肿瘤辅助检测模型,其特征在于,所述深度学习分类器为卷积神经网络。
6.如权利要求1所述的乳房肿瘤辅助检测模型,其特征在于,所述乳房肿瘤类型包含无肿瘤、良性肿瘤及恶性肿瘤。
7.一种乳房肿瘤辅助检测方法,其特征在于,包含:
提供如权利要求1所述的乳房肿瘤辅助检测模型;
提供受试者的目标乳房超声波影像;
将所述目标乳房超声波影像的影像矩阵数值除以第二归一化因数,以得到目标数值区间;以及
利用所述乳房肿瘤辅助检测模型分析所述目标数值区间,以判断所述受试者的乳房肿瘤类型和预测所述受试者的肿瘤位置机率。
8.如权利要求7所述的乳房肿瘤辅助检测方法,其特征在于,所述第二归一化因数为255。
9.如权利要求7所述的乳房肿瘤辅助检测方法,其特征在于,所述乳房肿瘤类型为无肿瘤、良性肿瘤及恶性肿瘤。
10.一种乳房肿瘤辅助检测系统,其特征在于,包含:
影像撷取单元,用以取得受试者的目标乳房超声波影像;以及
非暂态机器可读媒体,其储存程序,其中当所述程序由至少一个处理单元执行时,所述程序判断所述受试者的乳房肿瘤类型和预测所述受试者的肿瘤位置机率,所述程序包含:
参照数据库取得模块,用以取得参照数据库,所述参照数据库包含多个参照乳房超声波影像;
第一影像前处理模块,用以归一化所述多个参照乳房超声波影像的影像矩阵数值,以得到参照数值区间,其中所述参照数值区间介于0到1;
自编码模块,用以根据所述参照数据库选取特征矩阵,其中所述自编码模块包含:
编码器,用以压缩所述参照数值区间以得到所述特征矩阵,其中所述编码器包含多个卷积层和多个池化层;以及
解码器,用以还原所述特征矩阵并与所述多个参照乳房超声波影像进行比对,以确认所述特征矩阵包含各所述参照乳房超声波影像中的关键信息,其中所述解码器包含多个卷积层和多个升采样层;
分类模块,用以将所述特征矩阵利用深度学习分类器训练达到收敛,以得到乳房肿瘤辅助检测模型;
第二影像前处理模块,用以归一化所述多个目标乳房超声波影像的影像矩阵数值,以得到目标数值区间,其中所述目标数值区间介于0到1;以及
比对模块,用以将所述目标数值区间以所述乳房肿瘤辅助检测模型进行分析,以判断所述受试者的乳房肿瘤类型和预测所述受试者的肿瘤位置机率。
11.如权利要求10所述的乳房肿瘤辅助检测系统,其特征在于,所述第一影像前处理模块包含多组指令,用以:
将所述多个参照乳房超声波影像进行切边;
将所述多个参照乳房超声波影像的影像矩阵数值除以第一归一化因数,以得到所述参照数值区间;以及
重设所述多个切边后参照乳房超声波影像的影像大小。
12.如权利要求11所述的乳房肿瘤辅助检测系统,其特征在于,所述第一归一化因数为255。
13.如权利要求10所述的乳房肿瘤辅助检测系统,其特征在于,所述池化层的池化函数为最大池化。
14.如权利要求10所述的乳房肿瘤辅助检测系统,其特征在于,所述深度学习分类器为卷积神经网络。
15.如权利要求10所述的乳房肿瘤辅助检测系统,其特征在于,所述第二影像前处理模块包含多组指令,用以:
将所述多个目标乳房超声波影像进行切边;
将所述多个目标乳房超声波影像的影像矩阵数值除以第二归一化因数,以得到所述目标数值区间;以及
重设所述多个切边后目标乳房超声波影像的影像大小。
16.如权利要求15所述的乳房肿瘤辅助检测系统,其特征在于,所述第二归一化因数为255。
17.如权利要求10所述的乳房肿瘤辅助检测系统,其特征在于,所述乳房肿瘤类型为无肿瘤、良性肿瘤及恶性肿瘤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810244244.2A CN110276740A (zh) | 2018-03-23 | 2018-03-23 | 乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810244244.2A CN110276740A (zh) | 2018-03-23 | 2018-03-23 | 乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110276740A true CN110276740A (zh) | 2019-09-24 |
Family
ID=67957915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810244244.2A Pending CN110276740A (zh) | 2018-03-23 | 2018-03-23 | 乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110276740A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112712875A (zh) * | 2019-10-25 | 2021-04-27 | 中国医药大学附设医院 | 迁移学习辅助预测系统、方法及电脑程式产品 |
CN112750528A (zh) * | 2019-10-30 | 2021-05-04 | 中国医药大学附设医院 | 预测肿瘤的特性参数的计算机辅助预测系统、方法及计算机程序产品 |
TWI790689B (zh) * | 2021-07-21 | 2023-01-21 | 財團法人資訊工業策進會 | 乳房斷層影像處理方法與電子裝置 |
TWI838592B (zh) | 2020-11-06 | 2024-04-11 | 廣達電腦股份有限公司 | 圈選系統 |
-
2018
- 2018-03-23 CN CN201810244244.2A patent/CN110276740A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112712875A (zh) * | 2019-10-25 | 2021-04-27 | 中国医药大学附设医院 | 迁移学习辅助预测系统、方法及电脑程式产品 |
CN112712875B (zh) * | 2019-10-25 | 2022-12-02 | 台湾中国医药大学附设医院 | 迁移学习辅助预测系统及方法 |
CN112750528A (zh) * | 2019-10-30 | 2021-05-04 | 中国医药大学附设医院 | 预测肿瘤的特性参数的计算机辅助预测系统、方法及计算机程序产品 |
TWI838592B (zh) | 2020-11-06 | 2024-04-11 | 廣達電腦股份有限公司 | 圈選系統 |
TWI790689B (zh) * | 2021-07-21 | 2023-01-21 | 財團法人資訊工業策進會 | 乳房斷層影像處理方法與電子裝置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106372390B (zh) | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 | |
TWI667996B (zh) | 乳房腫瘤輔助檢測模型及乳房腫瘤輔助檢測系統 | |
Ikedo et al. | Development of a fully automatic scheme for detection of masses in whole breast ultrasound images | |
US20210113167A1 (en) | System and method for hierarchical multi-level feature image synthesis and representation | |
CN109949271B (zh) | 一种基于医学图像的检测方法、模型训练的方法及装置 | |
CN114565761B (zh) | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 | |
ITRM20060213A1 (it) | Metodo di elaborazione di immagini biomediche | |
CN110276740A (zh) | 乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法 | |
CN113850753B (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
CN114974575A (zh) | 基于多特征融合的乳腺癌新辅助化疗疗效预测装置 | |
CN112561908A (zh) | 乳腺图像病灶匹配方法、装置及存储介质 | |
CN114343604A (zh) | 基于医学影像的肿瘤检测及诊断装置 | |
CN113345576A (zh) | 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法 | |
Cai et al. | Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning | |
Aslam et al. | Liver-tumor detection using CNN ResUNet | |
CN113764101B (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 | |
Li et al. | Lesion-aware convolutional neural network for chest radiograph classification | |
US20240062904A1 (en) | Tumor diagnosis system and construction method thereof, terminal device and storage medium | |
Chen et al. | A YOLO-based AI system for classifying calcifications on spot magnification mammograms | |
Zhang et al. | An Intelligent Decision‐Making Support System for the Detection and Staging of Prostate Cancer in Developing Countries | |
US20230162353A1 (en) | Multistream fusion encoder for prostate lesion segmentation and classification | |
CN111265234A (zh) | 一种肺部纵膈淋巴结的性质判定方法及系统 | |
CN113393938B (zh) | 一种融合影像和临床特征信息的乳腺癌风险预测系统 | |
Anas et al. | Advancing Breast Cancer Detection: Enhancing YOLOv5 Network for Accurate Classification in Mammogram Images | |
Roty et al. | Analysis of microcalcification features for pathological classification of mammograms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190924 |
|
WD01 | Invention patent application deemed withdrawn after publication |