CN115953781B - 基于热层析影像的乳腺人工智能分析系统及方法 - Google Patents

基于热层析影像的乳腺人工智能分析系统及方法 Download PDF

Info

Publication number
CN115953781B
CN115953781B CN202310243236.7A CN202310243236A CN115953781B CN 115953781 B CN115953781 B CN 115953781B CN 202310243236 A CN202310243236 A CN 202310243236A CN 115953781 B CN115953781 B CN 115953781B
Authority
CN
China
Prior art keywords
thermal
data
breast
curve
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310243236.7A
Other languages
English (en)
Other versions
CN115953781A (zh
Inventor
汤腾
毛倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Haobo Science & Technology Co ltd
Original Assignee
Wuhan Haobo Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Haobo Science & Technology Co ltd filed Critical Wuhan Haobo Science & Technology Co ltd
Priority to CN202310243236.7A priority Critical patent/CN115953781B/zh
Publication of CN115953781A publication Critical patent/CN115953781A/zh
Application granted granted Critical
Publication of CN115953781B publication Critical patent/CN115953781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于热层析影像的乳腺人工智能分析系统及方法,所述系统包括:数据采集单元:用于获取乳腺热层析影像数据和临床数据;热层析图像处理单元:用于将乳腺热层析影像数据输入至可疑病灶区域分割模型经过主成分分析得到分割结果图,对分割结果图计算病灶数值指标,组成深度学习特征向量;热层析曲线计算单元:用于进行热层析曲线计算,得到x~q曲线,输出热层析曲线特征向量;分级智能分析单元:用于将分割结果图与热层析曲线特征向量融合形成组合特征向量,基于病例分级模型得到基于乳腺热层析影像数据的分级分析结果。本发明能够对人体乳腺热层析影像实现快速智能分析,对乳腺病变位置和病变等级进行自动分析预测。

Description

基于热层析影像的乳腺人工智能分析系统及方法
技术领域
本发明涉及医学影像辅助诊断和人工智能分析技术领域,具体涉及一种基于热层析影像的乳腺人工智能分析系统及方法。
背景技术
乳腺癌在全球的女性癌症患者中发病率较高,是恶性肿瘤发病率占比最高的疾病。目前常用的乳腺癌诊断和筛查手段,主要是钼靶和超声技术,但是存在辐射伤害或操作不便、存在主观人为因素,导致发现病变晚或误诊、漏诊等缺点。
作为目前常用的乳腺癌筛查影像检查手段,超声和钼靶X光均属于形态学影像检查手段,仅有形态学定性分析,在观察包块形态异常方面具有优势,但不能进行细胞代谢异常的功能学观察。对于乳腺超声,其主要弊端在于:1.主观因素大。乳腺超声检查往往需要配备1-2名影像医生,检查过程中主要依靠影像特征进行诊断,主观和人为因素多,较大地依赖医生的诊断技术和水平,在大范围人群普查中容易存在误诊或漏诊。2.存在局限性。在临床上,超声对于已形成包块的诊断具有较强的优势,例如乳腺囊肿、脓肿及囊性增生症的诊断,而不擅长对微小包块或功能性异常的检出,容易存在漏诊。3.检查时间长。由于乳腺超声主要依赖影像特征进行诊断,检查一位女性平均时长约需10分钟以上。检查时超声探头直接接触人体,需要涂抹耦合剂,过程较复杂。对于钼靶X光检查,最大的弊端就是X射线对乳腺腺体存在一定的辐射伤害,有诱发乳腺癌的风险,不能多次检查;另外在检查过程中需对乳腺进行挤压,受检者会产生疼痛感和不适。
近年,一种新的热层析检测技术逐渐发展起来,凭借其绿色无辐射、非接触式和发现病变早的优势,在乳腺癌早期筛查和乳腺癌检测中有着广阔前景。热层析成像技术是利用生物传热理论建立模型,由体表温度分布获取生物体内部热信息的一种功能学医学分析新技术。通过分析人体内部组织细胞代谢状态达到疾病筛查和判断的目的。传统乳腺影像学检查方法(B超、钼靶X光检查)是基于形态学信息的分析,热层析成像技术是基于细胞代谢数据的功能学分析。当机体发生病变时,首先是局部组织细胞的代谢发生变化,这种功能学变化要早于机体器官形态学变化。当热层析成像技术发现细胞代谢的变化时,其他临床检查手段可能还不能发现机体内的这种异常,这样就可以在疾病发生初期及时发现,从而指导临床医生做进一步检查或治疗,达到早筛的目的。热层析成像技术将解决乳腺癌早筛防治作为重要临床研究,通过“国家重大科学仪器设备开发专项”项目课题,联合中国人民解放军总医院、四川大学华西医院、武汉大学人民医院进行了热层析成像技术用于早期乳腺癌的临床与动物实验方案研究,得出结论:通过与超声相比,热层析成像技术对于乳腺癌的特异性更高,临床上可以更早地发现恶性肿瘤,可作为乳腺癌的早期筛查,在乳腺癌早期筛查方面获得了重大突破。现阶段应用中,医生在临床诊断时,直接分析热层析图像进行诊断的工作模式存在工作量大、效率低、主观判断可能失误等问题。
随着人工智能技术的不断发展,已经在生活的各种场景中获得了非常广泛的应用,其中包括医学影像分析领域,该领域中以深度学习方向取得的成果最为丰硕。目前深度学习主要通过图像分类,判断受检者是否存在病变;或是通过医学造影的病理切片,鉴别肿瘤的良恶性;再或者,通过图像分割技术实现医学图像中的某些器官或者病灶区域的分割,达到对目标的定位和凸显。深度学习技术发展到现阶段,基于大量标注数据,构建特定任务场景的神经网络模型进行训练是该领域的一个重要技术路线。
目前,热层析进行乳腺癌早期筛查和诊断的检查设备和辅助诊断系统在市场上比较稀少,缺乏热层析影像相关的医学影像数据集以及在此基础上研究热层析辅助分析方法。
发明内容
针对上述现有技术的不足之处,本发明提出一种基于热层析影像的乳腺人工智能分析系统及方法,实现了乳腺热层析影像的人工智能分析,辅助临床管理决策。
为实现上述目的,本发明所设计的基于热层析影像的乳腺人工智能分析系统,其特殊之处在于,所述系统包括:
数据采集单元:用于获取乳腺热层析影像数据和临床数据,所述乳腺热层析影像数据通过红外CCD探测器获取,所述临床数据通过超声、钼靶、病理检查的临床检测仪器获取;
热层析图像处理单元:用于将所述乳腺热层析影像数据输入至可疑病灶区域分割模型经过主成分分析得到分割结果图Iseg,对所述分割结果图Iseg计算病灶数值指标,组成深度学习特征向量Vdeep
热层析曲线计算单元:用于对所述乳腺热层析影像数据进行热层析曲线计算,得到x~q曲线,输出热层析曲线特征向量Vcurve
分级智能分析单元:用于将分割结果图Iseg与热层析曲线特征向量Vcurve融合形成组合特征向量Vcombination,将所述组合特征向量Vcombination输入至病例分级模型得到基于所述乳腺热层析影像数据的分级分析结果。
进一步地,所述热层析图像处理单元包括:
数据预处理单元:对所述数据采集单元采集的数据进行信息脱敏处理,对影像数据、临床数据信息进行复核查验,并对数据进行归一化处理;
数据标注单元:对经过预处理的乳腺热层析影像数据标注分割标签,标注时将所述临床数据作为交叉验证信息;
分割模型单元:利用标注有分割标签的乳腺热层析影像数据对可疑病灶区域分割模型进行训练,训练完成后,所述可疑病灶区域分割模型对乳腺热层析影像数据进行分割预测,输出分割结果图Iseg
特征分析单元:根据分割结果图Iseg计算病灶数值指标,输出深度学习特征向量Vdeep
更进一步地,所述数据标注单元标注的分割标签包括重要区域信息和辅助区域信息,所述重要区域信息包括血管、肿块和高温区;所述辅助区域信息为乳房区域、乳头区域中任意一项或两项。
更进一步地,所述病灶数值指标包括肿块区域面积Slump、肿块区域温度平均值Tlump_mean、肿块区域温度标准差Tlump_std、肿块区域温度最大值Tlump_max、肿块区域温度最小值Tlump_min、血管区域面积Svein、血管区域温度平均值Tvein_mean、血管区域温度标准差Tvein_std、血管区域温度最大值Tvein_max、血管区域温度最小值Tvein_min
更进一步地,所述热层析曲线计算单元基于体表一维温度分布公式得到x~q曲线,所述一维体表温度分布公式为
Figure SMS_1
式中,T(x)表示以体表面最高温处为一维坐标原点,体表面上距离原点x处的温度值,h表示热源深度,q表示体表面坐标原点正下方深度为h处的热源强度,k表示热传导系数,T0表示环境温度;
以x点为中心,将x取值范围由小到大时分别对体表一维温度数据进行拟合得到不同x值所对应的q值,即:x~q曲线;x值越大,对应的体表温度范围越广,则拟合得到的q值对应的热源深度越深,x~q曲线即表示以x=0为中心点由体表向内逐层深度的热源分布状态。
更进一步地,所述热层析曲线计算单元得到x~q曲线后,提取曲线中的18个关键坐标值和曲线整体坐落区间信息,组成热层析曲线特征向量Vcurve
更进一步地,所述分级智能分析单元包括:
特征融合单元:将分割结果图Iseg与热层析曲线特征向量Vcurve融合形成组合特征向量Vcombination
分类模型单元:利用标注有分类标签的乳腺热层析影像数据及其对应的组合特征向量Vcombination对病例分级模型进行训练,训练完成后,所述病例分级模型对乳腺热层析影像数据的组合特征向量Vcombination进行分类处理,得到分级分析结果,分级分析结果包括0、1、2三种,0对应BI-RADS(Breast Imaging Reporting and Data System,乳腺影像报告和数据系统分级评价标准)中的0级和1级;1对应BI-RADS中的2级和3级;2对应BI-RADS中的4级和5级。
更进一步地,所述可疑病灶区域分割模型基于并行多尺度特征融合的语义分割模型实现,由五层结构组成,每一层与上下层之间的计算方式和数据传递都遵循以下规则:
a.第n层的输入数据In首先经过改进瓶颈模块运算,再经过3×3卷积+批归一化+激活模块运算,得到特征数据Iconv_n,n=1,2,3,4,5;
b.特征数据Iconv_n分为两个不同的计算路径往下传递,一条路径使用2×2的最大值池化层,对特征数据Iconv_n实现下采样操作得到Idownsample_n,并作为输入传递到第n+1层;另一条路径使用双线性插值的上采样层对特征数据Iconv_n实现上采样操作得到Iupsample_n,传回到第n-1层;
c. 特征数据Iconv_n和Iupsample_n+1采用特征图通道合并的方式进行数据融合,重复步骤a中的运算过程,以保持该层的特征通道数量不变;
d.输出层由1×1的卷积层+softmax函数构成,对原始图像每个像素点进行分类,将特征图计算转换为最终的分割结果图Iseg
本发明还提出一种基于热层析影像的乳腺人工智能分析方法,所述方法基于上述的热层析影像的乳腺人工智能分析系统实现对乳腺热层析影像数据的智能分析,输出所述乳腺热层析影像数据的分级分析结果。
本发明另外提出一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
相对于现有技术,本发明具有如下优点:
1、本发明通过构建高质量的热层析影像标注数据集,以机器学习和深度学习技术为基础,建立乳腺热层析影像人工智能分析系统和方法,提高医生工作效率,辅助临床管理决策;
2、本发明能够对人体乳腺热层析影像实现快速智能分析,对乳腺病变位置和病变等级进行自动分析预测,在乳腺癌早期筛查中可以极大地减轻检查人员的工作量,能够极大的减少医生诊断时的阅片时间,提高筛查效率和准确率;
3、本发明提出的可疑病灶区域分割模型通过并行的多分辨率特征子网之间反复的信息交换,在保证分割结果语义信息准确之外,还能有效地抓取病灶区域的细节特征;
4、热层析设备持续不断的采集影像数据,训练数据集随之不断增加,本发明系统的算法模型随着采集数据的增加能够不断的迭代,算法性能可以持续优化,经过多轮循环迭代训练和参数调整,得到性能平衡、偏向具体应用场景的分析模型。
附图说明
图1是本发明基于热层析影像的乳腺人工智能分析系统的构建步骤流程示意图;
图2是本发明基于热层析影像的乳腺人工智能分析系统中可疑病灶区域分割模型结构示意图;
图3是本发明基于热层析影像的乳腺人工智能分析系统中可疑病灶区域分割模型的瓶颈模块的结构示意图;
图4是本发明基于热层析影像的乳腺人工智能分析系统中病例分级模型处理流程示意图;
图5是本发明实施例中热层析影像分析过程示意图;
图6是本发明的人工智能辅助分析系统对病例的分析实例图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
本发明提出的一种基于热层析影像的乳腺人工智能分析系统,包括数据采集单元、热层析图像处理单元、热层析曲线计算单元、分级智能分析单元,其中:
数据采集单元用于获取乳腺热层析影像数据和临床数据,乳腺热层析影像数据通过红外CCD探测器获取,所述临床数据通过超声、钼靶、病理检查的临床检测仪器获取。
热层析图像处理单元用于将乳腺热层析影像数据输入至可疑病灶区域分割模型经过主成分分析得到分割结果图Iseg,对分割结果图Iseg计算病灶数值指标,组成深度学习特征向量Vdeep
热层析曲线计算单元用于对乳腺热层析影像数据进行热层析曲线计算,得到x~q曲线,输出热层析曲线特征向量Vcurve
分级智能分析单元用于将分割结果图Iseg与热层析曲线特征向量Vcurve融合形成组合特征向量Vcombination,将组合特征向量Vcombination输入至病例分级模型得到基于所述乳腺热层析影像数据的分级分析结果。
在本实施例中,热层析图像处理单元包括数据预处理单元、数据标注单元、分割模型单元、特征分析单元;
数据预处理单元对数据采集单元采集的数据进行信息脱敏处理,对影像数据、临床数据信息进行复核查验,并对数据进行归一化处理;
数据标注单元对经过预处理的乳腺热层析影像数据标注分割标签,标注时将临床数据作为交叉验证信息;
分割模型单元利用标注有分割标签的乳腺热层析影像数据对可疑病灶区域分割模型进行训练,训练完成后,所述可疑病灶区域分割模型对乳腺热层析影像数据进行分割预测,输出分割结果图Iseg
特征分析单元根据分割结果图Iseg计算病灶数值指标,输出深度学习特征向量Vdeep。病灶数值指标包括肿块区域面积Slump、肿块区域温度平均值Tlump_mean、肿块区域温度标准差Tlump_std、肿块区域温度最大值Tlump_max、肿块区域温度最小值Tlump_min、血管区域面积Svein、血管区域温度平均值Tvein_mean、血管区域温度标准差Tvein_std、血管区域温度最大值Tvein_max、血管区域温度最小值Tvein_min
热层析图像分割结果Iseg包含三个通道,分别代表背景部分Ibackground、肿块部分Ilump和血管部份Ivein,每一像素点的数值P(x,y)表示该点属于某一类(背景、肿块或血管)的概率值。
以肿块分割图Ilump为例,与肿块相关的图像和指标计算方法为:
1、遍历肿块分割图Ilump中的每个像素点,对像素点的数值P(x,y)进行判断,若P(x,y)>0.5,则认为该像素点为肿块类别,若P(x,y)<=0.5,则认为该像素点不是肿块类别,由此得到肿块区域分割图;
2、记录属于肿块类别的像素点数量,记为肿块区域面积Slump
3、遍历所有属于肿块区域的像素点位置,对照原温度图,将肿块区域的温度值记录为数组Templump,求出Templump的最大值、最小值、平均值、方差值,分别记为肿块区域温度最大值Tlump_max、肿块区域温度最小值Tlump_min、肿块区域温度平均值Tlump_mean、肿块区域温度标准差Tlump_std
使用类似方法,可计算得到血管相关的图像和指标。
在本实施例中,热层析曲线计算单元基于一维体表温度分布公式得到x~q曲线,一维体表温度分布公式为
Figure SMS_2
式中,T(x)表示以体表面最高温处为一维坐标原点,体表面上距离原点x处的温度值,h表示热源深度,q表示体表面坐标原点正下方深度为h处的热源强度,k表示热传导系数,T0表示环境温度;
以x点为中心,将x取值范围由小到大时分别对体表一维温度数据进行拟合得到不同x值所对应的q值,即:x~q曲线;x值越大,对应的体表温度范围越广,则拟合得到的q值对应的热源深度越深,x~q曲线即表示以x=0为中心点由体表向内逐层深度的热源分布状态。
由上述得到的热层析曲线(即:x~q曲线),提取曲线中18个等间距的关键点坐标值和曲线整体坐落区间信息,组成热层析曲线特征向量Vcurve
在本实施例中,分级智能分析单元包括特征融合单元和分类模型单元。特征融合单元将分割结果图Iseg与热层析曲线特征向量Vcurve融合形成组合特征向量Vcombination;分类模型单元利用标注有分类标签的乳腺热层析影像数据及其对应的组合特征向量Vcombination对病例分级模型进行训练,训练完成后,所述病例分级模型对乳腺热层析影像数据的组合特征向量Vcombination进行分类处理,得到分级分析结果,分级分析结果包括0、1、2三种,0对应BI-RADS(Breast Imaging Reporting and Data System,乳腺影像报告和数据系统分级评价标准)中的0级和1级;1对应BI-RADS中的2级和3级;2对应BI-RADS中的4级和5级。
热层析图像处理单元的构建步骤如图1所示,包括:数据采集、数据预处理、数据标注、算法模型搭建训练和算法模型部署。
1)数据采集:利用红外CCD探测器获取受检者乳腺热层析影像数据,此外需要获取受检者通过其他检测手段(如超声、钼靶检查等方法)的相关检查结果进行循证医学对比,以病理检查结果作为金标准,作为后续数据标注的依据和交叉验证信息。
2)数据预处理:对红外CCD探测器和其他检测手段采集的数据进行数据清理,包括信息脱敏处理,对影像数据、临床数据信息进行复核查验(剔除图像模糊和交叉验证信息不完整的数据,不完整的数据为隐去患者隐私信息和医疗机构信息),选出合格数据。
对清洗后的影像数据进行归一化处理,处理方式如下:
Figure SMS_3
其中,X’是归一化处理后的数据,X是红外CCD探测器采集到的光感值数据,min是单张影像数据中光感值最小值,max是单张影像数据中光感值最大值。经过此项归一化处理后,红外影像数据的范围调整到0~255的范围内。
3)数据标注:对合格的临床数据,根据医学影像标注规则,对照步骤1)中的交叉验证信息,并且对照交叉信息中给出的可疑病灶区域的热层析曲线分析结果,对影像数据完成区域划分的分割标签标注和病例分级的分类标签标注。
其中,分割标签信息包括重要区域信息和辅助区域信息,重要区域信息包括血管、肿块和高温区;辅助区域信息为乳房区域、乳头区域中任意一项或两项。其中,分类标签是参考步骤1)中检测手段(如超声、钼靶、病理检查等方法)的相关检查结果,同时对可疑病灶区域的热层析分析曲线结果,对影像标注健康、可疑良性和可疑恶性的分类标签。
热层析影像的分割标注工作由两位标注人员独立进行,两份标注结果需要复核其一致性,一致性达到要求的影像和标签加入数据集;一致性未达到要求的由更高资质的人员进行仲裁并重新标注后加入数据集。
4)算法模型搭建训练
本系统中的算法模型搭建和训练,分为两个部分,第一部分是可疑病灶区域的分割模型,模型结构如图2中所示;病灶区域分割模型借鉴了医学影像分割领域中的经典卷积神经网络模型FCN、U-Net、V-Net等模型结构,设计了一种基于并行多尺度特征融合的语义分割模型,分割模型整体上采用了对高分辨率特征逐级下采样,提取到低分辨率的抽象特征之后,再通过逐级上采样以恢复图像的尺寸的思想,通过不断的特征融合以达到对分割细节的把握。为了在特征复原的过程中,保留极易丢失的空间和细节信息,减少分割不连续或者小目标丢失,本模型包含多级并行的特殊架构设计。这种设计可以在特征提取的过程中,很大程度上保留高分辨的特征,让各个级别的特征在各级子网中并行向前。
可疑病灶区域分割模型由五层结构组成,每一层与上下层之间的计算方式和数据传递都遵循以下规则:
a.第n层的输入数据In首先经过改进瓶颈模块运算,如图3所示,再经过3×3卷积+批归一化+激活模块运算,得到特征数据Iconv_n,n=1,2,3,4,5;
b.特征数据Iconv_n分为两个不同的计算路径往下传递,一条路径使用2×2的最大值池化层,对Iconv_n实现下采样操作得到Idownsample_n,并作为输入传递到第n+1层;另一条路径使用双线性插值的上采样层对Iconv_n实现上采样操作得到Iupsample_n,传回到第n-1层;
c.Iconv_n和Iupsample_n+1采用特征图通道合并的方式进行数据融合,重复a中的运算过程,以保持该层的特征通道数量不变;
d.输出层由1×1的卷积层+softmax函数构成,对原始图像每个像素点进行分类,将特征图计算转换为最终的分割结果图Iseg
第二部分是病例分级的分类模型,具体过程如图3所示,可疑病灶区域分析结果经过PCA降维处理,加入热层析曲线的相关信息后形成组合特征,经过一个两层全连接层构成的神经网络模型,得到分级结果。
可疑病灶区域分割模型和分类模型采用多种机器学习和深度学习算法进行模型建立,具体包括:K近邻算法(KNN)、随机森林、支持向量机(SVM)、卷积神经网络、主成分分析(Principal Components Analysis,PCA),迁移学习、集成学习、半监督学习等中的一种或多种。
优选地,在训练数据预处理的步骤中,使用一种双阈值线性映射转换算法,可有效提升影像的对比度。
更优选地,通过翻转、旋转、上下阈值调整等方法,对训练数据集进行数据增强,可以在一定程度上提高算法模型的泛化能力。
热层析影像经过可疑病灶区域分割模型后可得到病灶分割图像,对病灶区域分割图像的进行主成分分析(PCA),降低特征维度后,在特征中入热层析曲线的特征信息,构建一个新的组合特征。以组合特征为数据,构建一个全连接神经网络实现病例分级功能,如图4所示。
5)算法模型验证与部署:在验证数据集上进行模型验证,画出ROC曲线,在高敏感性模型中寻找尽可能高的特异性指标;在高特异性模型中寻找尽可能高的敏感性指标;并计算准确性、敏感性及特异性指标。
热层析设备在使用过程中,持续不断采集影像数据,训练数据集随之不断增加。本发明中的训练数据集定期增加一定的训练数据,算法模型在更新后的数据集上可实现进一步的优化调整。
基于上述系统,本发明提出一种基于热层析影像的乳腺人工智能分析方法,所述方法采用上述基于热层析影像的乳腺人工智能分析系统实现对乳腺热层析影像数据的智能分析,输出所述乳腺热层析影像数据的分级分析结果,处理流程如图5所示:
1)数据采集单元获取乳腺热层析影像数据和临床数据,对采集的数据进行预处理后发送至热层析图像处理单元、分级智能分析单元;
2)热层析曲线计算单元对乳腺热层析影像数据进行热层析曲线计算,得到x~q曲线,输出热层析曲线特征向量Vcurve
3)热层析图像处理单元中的分割模型单元通过可疑病灶区域分割模型对乳腺热层析影像数据进行分割预测,输出分割结果图Iseg,并输出病灶位置信息;
4)分级智能分析单元对经过预处理的数据结合热层析曲线特征向量Vcurve、分割结果图Iseg输入至病例分级模型进行智能分析,得到分级结果。
图6是使用本发明中人工智能辅助分析系统对病例的分析实例图。原图经过可疑病灶分割模型,得到图像中血管和肿块可疑区域的对应位置。病灶分割结果和热层析曲线结果经过病理分级模型的分析计算,得到最终分级结果。
应用场景一:甲乳外科诊断应用场景
甲乳外科诊断的检查模式主要有两种情况:一是疑似病例已经经过若干次前期检查,未能确诊进行进一步检查;二是确诊病例经过一定时间治疗后复查治疗效果。
先验地,可以知道此应用场景下,良性病例和恶性病例占受检者的大部分,健康占比较小;同时由检查模式可以知道,此场景需要在健康数据、良性数据、恶性数据之间取得一个平衡点。
针对此场景特点,定制数据集和训练权重,需要调整优化健康数据、良性数据和恶性数据在训练集中的比例和训练过程中三类的惩罚系数,获取在此场景下分析性能最佳的算法模型。
以某医院甲乳外科某一段时间的良性病例和恶性病例的数据为例:期间共采集到1737张有参考结果的热层析影像,所有病例数据正确性经过病理结果进行验证。将其划分为1128张的训练数据和609张的测试数据,经过数据标注后构成数据集,搭建一个两分类的卷积神经网络,调整优化良性和恶性的惩罚权重系数后在训练集上训练网络模型,在测试集上进行效果测试,测试结果符合预期。
应用场景二:乳腺癌早期筛查应用场景
乳腺癌早期筛查的检查模式是对人群进行大范围大数量的检测,寻找出人群中已有的良性、恶性或未来有可能发展为良性或者恶性病例的人群,接受进一步检查。
先验地,可以知道此应用场景下,健康人群占受检者的大多数,良性病例和恶性病例占受检者的一小部分;同时由检查模式可以知道,此场景可以接受一定程度的假阳性,但是需要对假阴性严格控制。
在乳腺癌早期筛查的场景下,所谓“假阳性”,是指原本为健康人群,被诊断为良性或者恶性病例;所谓“假阴性”,是指原本为良性或者恶性病例,被诊断为健康人群。
针对此场景特点,定制数据集和训练权重,将良性数据和恶性数据在训练集中的比例降低,惩罚系数提高,获取在此场景下分析性能最佳的算法模型。
综上所述,本发明提出的基于热层析影像的乳腺人工智能分析系统及方法借助机器学习和深度学习相关技术,可实现对乳腺热层析影像的智能分析,判断出病变位置并对其进行分级,能够极大的减轻医生阅片诊断时的工作量,提高工作效率,保证一定的分析准确率;同时,本发明中的算法模型随着采集数据的增加能够不断的迭代,算法性能可以持续优化。
应当理解的是,上述针对较佳实施例的较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围内,本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于热层析影像的乳腺人工智能分析系统,其特征在于:所述系统包括:
数据采集单元:用于获取乳腺热层析影像数据和临床数据,所述乳腺热层析影像数据通过红外CCD探测器获取,所述临床数据通过超声、钼靶、病理检查的临床检测仪器获取;
热层析图像处理单元:用于将所述乳腺热层析影像数据输入至可疑病灶区域分割模型经过主成分分析得到分割结果图Iseg,对所述分割结果图Iseg计算病灶数值指标,组成深度学习特征向量Vdeep
热层析曲线计算单元:用于对所述乳腺热层析影像数据进行热层析曲线计算,得到x~q曲线,输出热层析曲线特征向量Vcurve
所述热层析曲线计算单元基于一维体表温度分布公式得到x~q曲线,所述一维体表温度分布公式为
Figure FDA0004192753840000011
式中,T(x)表示以体表面最高温处为一维坐标原点,体表面上距离原点x处的温度值,h表示热源深度,q表示体表面坐标原点正下方深度为h处的热源强度,k表示热传导系数,T0表示环境温度;
以x点为中心,将x取值范围由小到大时分别对一维体表温度数据进行拟合得到不同x值所对应的q值,即:x~q曲线;x值越大,对应的体表温度范围越广,则拟合得到的q值对应的热源深度越深,x~q曲线即表示以x=0为中心点由体表向内逐层深入的热源分布状态;
分级智能分析单元:用于将分割结果图Iseg与热层析曲线特征向量Vcurve融合形成组合特征向量Vcombination,将所述组合特征向量Vcombination输入至病例分级模型得到基于所述乳腺热层析影像数据的分级分析结果。
2.根据权利要求1所述的基于热层析影像的乳腺人工智能分析系统,其特征在于:所述热层析图像处理单元包括:
数据预处理单元:对所述数据采集单元采集的数据进行信息脱敏处理,对影像数据、临床数据信息进行复核查验,并对数据进行归一化处理;
数据标注单元:对经过预处理的乳腺热层析影像数据标注分割标签,标注时将所述临床数据作为交叉验证信息;
分割模型单元:利用标注有分割标签的乳腺热层析影像数据对可疑病灶区域分割模型进行训练,训练完成后,所述可疑病灶区域分割模型对乳腺热层析影像数据进行分割预测,输出分割结果图Iseg
特征分析单元:根据分割结果图Iseg计算病灶数值指标,输出深度学习特征向量Vdeep
3.根据权利要求2所述的基于热层析影像的乳腺人工智能分析系统,其特征在于:所述数据标注单元标注的分割标签包括重要区域信息和辅助区域信息,所述重要区域信息包括血管、肿块和高温区;所述辅助区域信息为乳房区域、乳头区域中任意一项或两项。
4.根据权利要求1所述的基于热层析影像的乳腺人工智能分析系统,其特征在于:所述病灶数值指标包括肿块区域面积Slump、肿块区域温度平均值Tlump_mean、肿块区域温度标准差Tlump_std、肿块区域温度最大值Tlump_max、肿块区域温度最小值Tlump_min、血管区域面积Svein、血管区域温度平均值Tvein_mean、血管区域温度标准差Tvein_std、血管区域温度最大值Tvein_max、血管区域温度最小值Tvein_min
5.根据权利要求1所述的基于热层析影像的乳腺人工智能分析系统,其特征在于:所述热层析曲线计算单元得到x~q曲线后,提取曲线中的18个等间距的关键坐标值和曲线整体坐落区间信息,组成热层析曲线特征向量Vcurve
6.根据权利要求5所述的基于热层析影像的乳腺人工智能分析系统,其特征在于:所述分级智能分析单元包括:
特征融合单元:将分割结果图Iseg与热层析曲线特征向量Vcurve融合形成组合特征向量Vcombination
分类模型单元:利用标注有分类标签的乳腺热层析影像数据及其对应的组合特征向量Vcombination对病例分级模型进行训练,训练完成后,所述病例分级模型对乳腺热层析影像数据的组合特征向量Vcombination进行分类处理,得到分级分析结果,分级分析结果包括0、1、2三种,0对应BI-RADS中的0级和1级;1对应BI-RADS中的2级和3级;2对应BI-RADS中的4级和5级。
7.根据权利要求2所述的基于热层析影像的乳腺人工智能分析系统,其特征在于:所述可疑病灶区域分割模型基于并行多尺度特征融合的语义分割模型实现,由五层结构组成,每一层与上下层之间的计算方式和数据传递都遵循以下规则:
a.第n层的输入数据In首先经过改进瓶颈模块运算,再经过3×3卷积+批归一化+激活模块运算,得到特征数据Iconv_n,n=1,2,3,4,5;
b.特征数据Iconv_n分为两个不同的计算路径往下传递,一条路径使用2×2的最大值池化层,对特征数据Iconv_n实现下采样操作得到Idownsample_n,并作为输入传递到第n+1层;另一条路径使用双线性插值的上采样层对特征数据Iconv_n实现上采样操作得到Iupsample_n,传回到第n-1层;
c.特征数据Iconv_n和Iupsample_n+1采用特征图通道合并的方式进行数据融合,重复步骤a中的运算过程,以保持该层的特征通道数量不变;
d.输出层由1×1的卷积层+softmax函数构成,对原始图像每个像素点进行分类,将特征图计算转换为最终的分割结果图Iseg
8.一种基于热层析影像的乳腺人工智能分析方法,其特征在于:所述方法采用权利要求1~7中任一项所述的基于热层析影像的乳腺人工智能分析系统实现对乳腺热层析影像数据的智能分析,输出所述乳腺热层析影像数据的分级分析结果。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求8所述的方法。
CN202310243236.7A 2023-03-14 2023-03-14 基于热层析影像的乳腺人工智能分析系统及方法 Active CN115953781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310243236.7A CN115953781B (zh) 2023-03-14 2023-03-14 基于热层析影像的乳腺人工智能分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310243236.7A CN115953781B (zh) 2023-03-14 2023-03-14 基于热层析影像的乳腺人工智能分析系统及方法

Publications (2)

Publication Number Publication Date
CN115953781A CN115953781A (zh) 2023-04-11
CN115953781B true CN115953781B (zh) 2023-06-13

Family

ID=85906969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310243236.7A Active CN115953781B (zh) 2023-03-14 2023-03-14 基于热层析影像的乳腺人工智能分析系统及方法

Country Status (1)

Country Link
CN (1) CN115953781B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522878B (zh) * 2024-01-08 2024-03-22 天津市肿瘤医院(天津医科大学肿瘤医院) 基于多源数据检测的原发灶影像异常识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204581230U (zh) * 2015-02-13 2015-08-26 中南大学 一种热层析成像癌症早期诊断装置
CN114596318A (zh) * 2022-03-21 2022-06-07 南通大学 一种基于Transformer的乳腺癌磁共振成像病灶分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798679B (zh) * 2017-12-11 2021-04-27 福建师范大学 乳腺钼靶图像乳房区域分割与钙化点检测方法
CN110111313B (zh) * 2019-04-22 2022-12-30 腾讯科技(深圳)有限公司 基于深度学习的医学图像检测方法及相关设备
CN111429474B (zh) * 2020-02-27 2023-04-07 西北大学 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN111739033A (zh) * 2020-06-22 2020-10-02 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 基于机器学习的乳腺钼靶及mr图像影像组学模型的建立方法
WO2022253227A1 (en) * 2021-05-31 2022-12-08 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image correction
CN115206532A (zh) * 2022-07-28 2022-10-18 南通市肿瘤医院 一种基于决策树的乳腺肿瘤预测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204581230U (zh) * 2015-02-13 2015-08-26 中南大学 一种热层析成像癌症早期诊断装置
CN114596318A (zh) * 2022-03-21 2022-06-07 南通大学 一种基于Transformer的乳腺癌磁共振成像病灶分割方法

Also Published As

Publication number Publication date
CN115953781A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
Wang et al. Breast cancer detection using extreme learning machine based on feature fusion with CNN deep features
CN110996789B (zh) 执行筛查、诊断或其他基于图像的分析任务的系统和方法
CN106372390A (zh) 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
Ahmed et al. Automated pulmonary nodule classification and detection using deep learning architectures
CN113393938B (zh) 一种融合影像和临床特征信息的乳腺癌风险预测系统
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
Gunasekaran Leveraging object detection for the identification of lung cancer
CN115953781B (zh) 基于热层析影像的乳腺人工智能分析系统及方法
Kumaraswamy et al. A review on cancer detection strategies with help of biomedical images using machine learning techniques
US20240282090A1 (en) Multi-modal method for classifying thyroid nodule based on ultrasound and infrared thermal images
Reddy et al. A deep learning based approach for classification of abdominal organs using ultrasound images
Hu et al. Automatic detection of melanins and sebums from skin images using a generative adversarial network
Liu et al. Weakly-supervised localization and classification of biomarkers in OCT images with integrated reconstruction and attention
Negied Infrared thermography-based breast cancer detection—comprehensive investigation
Kusuma et al. A hybrid model for skin disease classification using transfer learning
CN116825372A (zh) 一种乳癌患者淋巴结转移预测模型及其构建方法
Şengül et al. Performance Evaluation of Basic Capsule Network Architecture in Classification of Biomedical Images
Cao et al. Deep learning based lesion detection for mammograms
Resmini et al. Application of infrared images to diagnosis and modeling of breast
KR20220115757A (ko) 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템
Subramaniam et al. Breast cancer diagnosis systems: A review
Brenes et al. Multiscale Optical Imaging Fusion for Cervical Precancer Diagnosis: Integrating Widefield Colposcopy and High-Resolution Endomicroscopy
Iyadurai et al. An extensive review on emerging advancements in thermography and convolutional neural networks for breast cancer detection
Priyadharshini et al. Artificial Intelligence Assisted Improved Design to Predict Brain Tumor on Earlier Stages using Deep Learning Principle
Sandhua et al. Deep learning-based skin cancer identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant