CN114757894A - 一种骨肿瘤病灶分析系统 - Google Patents

一种骨肿瘤病灶分析系统 Download PDF

Info

Publication number
CN114757894A
CN114757894A CN202210303320.9A CN202210303320A CN114757894A CN 114757894 A CN114757894 A CN 114757894A CN 202210303320 A CN202210303320 A CN 202210303320A CN 114757894 A CN114757894 A CN 114757894A
Authority
CN
China
Prior art keywords
image
network
lesion
convolutional layer
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210303320.9A
Other languages
English (en)
Inventor
赵可扬
梅炯
朱晓中
吴升辉
闫旭
廖鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sixth Peoples Hospital
Original Assignee
Shanghai Sixth Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sixth Peoples Hospital filed Critical Shanghai Sixth Peoples Hospital
Priority to CN202210303320.9A priority Critical patent/CN114757894A/zh
Publication of CN114757894A publication Critical patent/CN114757894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种骨肿瘤病灶分析系统，包括：后端训练服务器，包括：第一获取模块，用于分别获取多位骨肿瘤患者的多组病灶图像数据，每组病灶图像数据包括对应的骨肿瘤部位的X线片图像、CT图像和MRI图像；模型训练模块，用于将各组病灶图像数据作为输入，将对应的病灶分类结果作为输出进行多模态训练得到相应的病灶分析模型；前端分析模块，包括：第一获取单元，用于获取待分析骨肿瘤患者的至少一组待分析图像数据并输出；后端训练服务器还包括一图像分析模块，用于调用病灶分析模型对获取的各组待分析图像数据进行处理得到病灶分类结果并输出至前端分析模块，以供医生进行查看。有益效果是本发明采用两种检测网络构造病灶分析模型增加准确性。

Description

一种骨肿瘤病灶分析系统
技术领域
本发明涉及病灶分析技术领域，尤其涉及一种骨肿瘤病灶分析系统。
背景技术
骨肿瘤包括的范围很广，骨、软骨、纤维组织、脂肪组织、造血组织、神经组织等与骨骼系统相关的组织所发生的原发性良恶性肿瘤或继发性肿瘤均包括其中，除此之外，尚包括骨及其附属组织的瘤样病损，如纤维结构不良、骨囊肿、动脉瘤样骨囊肿、嗜酸性肉芽肿等等，因此，骨肿瘤在病灶分析方面表现出异常复杂的多样性，分析错误造成患者截肢甚至影响生命的情况仍常用发生。
目前并未发现针对骨肿瘤的病灶分析系统，在通常情况下都是由医生对患者的病灶图像数据进行手动标注并根据经验进行骨肿瘤的分类判断，这种方式过于依赖医生的专业技能且存在不小的失误率，存在隐患。
发明内容
针对现有技术中存在的问题，本发明提供一种骨肿瘤病灶分析系统，包括：
一后端训练服务器，所述后端训练服务器包括：
第一获取模块，用于分别获取多位骨肿瘤患者的多组病灶图像数据，每组病灶图像数据包括对应的骨肿瘤部位的X线片图像、CT图像和MRI图像；
模型训练模块，连接所述第一获取模块，用于将各组所述病灶图像数据作为输入，将对应的病灶分类结果作为输出进行多模态训练得到相应的病灶分析模型；
一前端分析模块，连接所述后端训练服务器，所述前端分析模块包括：
第一获取单元，用于获取待分析骨肿瘤患者的至少一组待分析图像数据并输出；
所述后端训练服务器还包括一图像分析模块，连接所述模型训练模块，用于调用所述病灶分析模型对获取的各组所述待分析图像数据进行处理得到所述待分析骨肿瘤患者的病灶分类结果并输出至所述前端分析模块，以供医生进行查看。
优选的，所述病灶分析模型的网络结构包括：
一定位网络，用于针对每一组所述病灶图像数据，对所述病灶图像数据进行定位处理得到对应的具有病灶定位信息的热度图；
一分类网络，连接所述定位网络，用于对所述热度图进行病灶特征提取并分类得到对应的所述病灶分类结果。
优选的，所述分类网络包括：
第一子网络，用于对所述X线片图像对应的所述热度图进行病灶特征提取得到对应的第一特征图像；
第二子网络，用于对所述CT图像对应的所述热度图进行病灶特征提取得到对应的第二特征图像；
第三子网络，用于对所述MRI图像对应的所述热度图进行病灶特征提取得到对应的第三特征图像；
全连接层，分别连接所述第一子网络、所述第二子网络和所述第三子网络，用于对所述第一特征图像、所述第二特征图像和所述第三特征图像中的病灶特征进行特征融合并分类处理得到对应的所述病灶分类结果。
优选的，所述分类网络包括：
融合子网络，用于对所述X线片图像、所述CT图像和所述MRI图像对应的所述热度图进行多模态图像融合得到一融合后图像；
神经子网络，连接所述融合子网络，用于对所述融合后图像进行病灶特征提取得到对应的一第四特征图像；
全连接层，连接所述神经子网络，用于对所述第四特征图像中的病灶特征进行分类处理得到对应的所述病灶分类结果。
优选的，所述融合子网络采用数值融合法对所述X线片、所述CT图像和所述MRI图像进行空间归一化处理并在空间归一化处理后进行多模态图像融合得到所述融合后图像。
优选的，所述融合子网络采用智能融合法对所述X线片、所述CT图像和所述MRI图像分别进行信息筛选得到对应的一筛选后图像，并对各所述筛选后图像进行多模态图像融合得到所述融合后图像。
优选的，所述融合子网络对各所述热度图进行多模态图像融合之前对各所述热度图分别进行预处理和配准得到对应的一配准后图像，并将各所述配准后图像作为对应的所述热度图进行多模态图像融合得到所述融合后图像。
优选的，所述病灶分析模型为第一检测网络，所述第一检测网络包括：
卷积层，用于针对每一组所述病灶图像数据，于所述病灶图像数据提取得到包含病灶特征的一第五特征图像；
候选区域提名网络，连接所述卷积层，用于在所述第五特征图像上生成多个候选区域；
池化层，连接所述候选区域提名网络，用于对每个所述候选区域生成对应的一特征图；
分类和边框回归网络，连接所述池化层，用于根据所述特征图对对应的所述候选区域进行分类和边框回归处理得到对应的所述病灶分类结果。
优选的，所述病灶分析模型为第二检测网络，用于根据目标检测算法对所述病灶图像数据进行分类处理得到对应的所述病灶分类结果，所述第二检测网络包括：
VGG-16网络，所述VGG-16网络的输入连接输入层，所述VGG-16网络的输出连接第一分类器的输入；
第一卷积层，所述第一卷积层的输入连接所述VGG-16网络的输出；
第二卷积层，所述第二卷积层的输入连接所述第一卷积层的输出，所述第二卷积层的输出连接第二分类器的输入；
第三卷积层，所述第三卷积层的输入连接所述第二卷积层的输入，所述第三卷积层的输出连接第三分类器的输入；
第四卷积层，所述第四卷积层的输入连接所述第三卷积层的输入，所述第四卷积层的输出连接第四分类器的输入；
第五卷积层，所述第五卷积层的输入连接所述第四卷积层的输入，所述第五卷积层的输出连接第五分类器的输入；
第六卷积层，所述第六卷积层的输入连接所述第五卷积层的输入，所述第六卷积层的输出连接第六分类器的输入；
所述VGG-16网络的输出、所述第二卷积层的输出、所述第三卷积层的输出、所述第四卷积层的输出、所述第五卷积层的输出和所述第六卷积层的输出作为回归器的输入，所述回归器的输出连接输出层。
优选的，所述后端训练服务器还包括一模型更新模块，连接所述模型训练模块，用于持续获取医生真实标注后的病灶数据并统计所述病灶数据的一实时数量及首次获取所述病灶数据时刻至当前时刻的一持续时间，以及在所述实时数量大于预设的一数量阈值或所述持续时间大于预设的一时间阈值时，控制所述模型训练模块根据所述病灶数据对所述病灶分析模型进行更新训练。
上述技术方案具有如下优点或有益效果：
1)本发明中的骨肿瘤病灶分析系统将骨肿瘤患者的骨肿瘤部位的X线片图像、CT图像、MRI图像和对应的病灶分类结果作为病灶分析模型的训练数据，能够大大增加病灶分类结果的准确性；
2)本发明中的骨肿瘤病灶分析系统通过训练病灶分析模型辅助医生进行骨肿瘤判断，能够大大减少医生的前期工作；
3)本发明中的骨肿瘤病灶分析系统采用两种分类网络对病灶图像数据进行特征提取并分类处理得到对应的病灶分类结果以增加准确性；
4)本发明中的骨肿瘤病灶分析系统采用两种检测网络构造病灶分析模型，可以通过对比两个检测网络得到的病灶分类结果增加准确性。
附图说明
图1为本发明的较佳的实施例中，本系统的结构原理图；
图2为本发明的较佳的实施例中，采用三个子网络时分类网络的结构原理图；
图3为本发明的较佳的实施例中，采用单个融合子网络时分类网络的结构原理图；
图4为本发明的较佳的实施例中，第一检测网络的结构原理图；
图5为本发明的较佳的实施例中，第二检测网络的结构原理图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种骨肿瘤病灶分析系统，如图1所示，包括：
一后端训练服务器1，后端训练服务器1包括：
第一获取模块11，用于分别获取多位骨肿瘤患者的多组病灶图像数据，每组病灶图像数据包括对应的骨肿瘤部位的X线片图像、CT图像和MRI图像；
模型训练模块12，连接第一获取模块11，用于将各组病灶图像数据作为输入，将对应的病灶分类结果作为输出进行多模态训练得到相应的病灶分析模型；
一前端分析模块2，连接后端训练服务器1，前端分析模块2包括：
第一获取单元21，用于获取待分析骨肿瘤患者的至少一组待分析图像数据并输出；
后端训练服务器1还包括一图像分析模块13，连接模型训练模块12，用于调用病灶分析模型对获取的各组待分析图像数据进行处理得到待分析骨肿瘤患者的病灶分类结果并输出至前端分析模块2，以供医生进行查看。
具体地，本实施例中，考虑到深度学习方式在通用图像分类、检测等领域的成功，因此将深度学习方式应用到模型训练模块12中，通过深度学习方式训练得到病灶分析模型辅助医生进行骨肿瘤判断。
优选的，考虑到医学影像主要有X线片、计算机断层扫描(CT)图像、核磁共振(MRI)图像和超声波图像等，因此第一获取模块11获取骨肿瘤患者的骨肿瘤部位的X线片图像、CT图像和MRI图像作为一组病灶分析图像以满足训练数据的适用性。
优选的，医学影像是医生为病人进行病灶分析判断的重要依据，深度学习方式对于病灶分析判断方面具有极大的应用价值，可以在医生分析医学影像时通过病灶分析模型给予医生一定的建议，减少医生对骨肿瘤产生误判的概率。
具体地，本实施例中，前端分析模块2能够实现与其它物联网设备的数据关联共享以获取待分析图像数据，医生通过前端分析模块2对待分析图像数据进行标注或直接传输给后端训练服务器1经由后端训练服务器1进行自动标注，后端训练服务器1根据待分析图像数据处理得到病灶分类结果返回给前端分析模块2，医生确认病灶分类结果无误后将病灶分类结果传输至后端训练服务器1进行存档。
本发明的较佳的实施例中，病灶分析模型的网络结构包括：
一定位网络3，用于针对每一组病灶图像数据，对病灶图像数据进行定位处理得到对应的具有病灶定位信息的热度图；
一分类网络4，连接定位网络3，用于对热度图进行病灶特征提取并分类得到对应的病灶分类结果。
具体地，本实施例中，在通常情况下对骨肿瘤进行分类之前需要在图像中对骨肿瘤位置进行准确的定位，这是因为骨肿瘤只占据图像中很小一部分区域，图像中绝大部分的背景对于骨肿瘤分类判断都是无关信息，直接用卷积网络对整张图像进行分类效果不佳，而先定位再分类的方法相当于在图像分类中引入了注意力机制，排除了背景中无关信息的干扰，增加定位和分类的准确性。
优选的，传统方法中的骨肿瘤识别过程需要医生手动框出骨肿瘤位置，而定位网络3和分类网络4能够实现骨肿瘤自动定位以减少医生工作量。
具体地，本实施例中，定位网络3采用卷积网络以生成热度图，定位网络3最终输出的是和病灶图像数据中的图像相同大小的热度图。
优选的，热度图估计的是图像中每一个像素存在骨肿瘤的概率并作为病灶定位信息。
优选的，卷积网络的前半部分是普通的卷积层和池化层，用于提取和骨肿瘤相关的高层语义信息，但是池化层会使热度图的分辨率相对病灶图像数据中图像的分辨率有所下降，因此后半部分采用反卷积层，用于提高热度图的分辨率，使最终输出的热度图和病灶图像数据中图像具有相同的分辨率。
本发明的较佳的实施例中，如图2所示，分类网络4包括：
第一子网络41，用于对X线片图像对应的热度图进行病灶特征提取得到对应的第一特征图像；
第二子网络42，用于对CT图像对应的热度图进行病灶特征提取得到对应的第二特征图像；
第三子网络43，用于对MRI图像对应的热度图进行病灶特征提取得到对应的第三特征图像；
全连接层44，分别连接第一子网络41、第二子网络42和第三子网络43，用于对第一特征图像、第二特征图像和第三特征图像中的病灶特征进行特征融合并分类处理得到对应的病灶分类结果。
具体地，本实施例中，通过第一子网络41、第二子网络42和第三子网络43分别对X线片、CT图像和MRI图像分别进行病灶特征提取，能够有效挖掘X线片、CT图像和MRI图像在骨肿瘤分类判断中的鉴别能力，从而降低误诊率。
本发明的较佳的实施例中，如图3所示，分类网络4包括：
融合子网络45，用于对X线片图像、CT图像和MRI图像对应的热度图进行多模态图像融合得到一融合后图像；
神经子网络46，连接融合子网络45，用于对融合后图像进行病灶特征提取得到对应的一第四特征图像；
全连接层44，连接神经子网络46，用于对第四特征图像中的病灶特征进行分类处理得到对应的病灶分类结果。
具体地，本实施例中，骨肿瘤的医学图像主要有X线片、MRI图像与CT图像3种，其中CT图像由于X线球管和探测器是环绕人体某一部位旋转，所以只能做人体横断面的扫描成像，而MRI图像可做横断、矢状、冠状和任意切面的成像，MRI图像在软组织检查中的优势明显高于CT图像，而CT图像对于MRI图像无法成像的骨组织和肺部检查的优势较高，本系统的融合子网络45通过对X线片图像、CT图像和MRI图像对应的热度图进行多模态图像融合能够满足大部分情况下的需求。
优选的，在实际临床应用中，单一模态的图像往往无法为医生提供足够的信息，通常需要融合不同模态的图像从而提供病变组织或器官的总和信息，多模态图像融合能够有效克服成像过程中空间分辨力与组织对比分辨力较低的缺点，最大程度挖掘图像信息，一般图像的多模态图像融合分为像素级、特征级与决策级三种，像素级通过图像配准进行像素级匹配，实现三维信息融合重建，特征级融合基于像素级融合，采用模式相关方法进行特征提取，决策级融合是分别对每张图像的特征信息进行分类识别后进行有效融合，进一步优化。
优选的，骨肿瘤医学图像中，CT图像与MRI图像能够有效结合，形成对整个器官部分的完整的三维信息获取，能够有效展示骨肿瘤的各种医学特征，对骨肿瘤图像的分类、检测、识别任务具有重要意义。
本发明的较佳的实施例中，融合子网络45采用数值融合法对X线片、CT图像和MRI图像进行空间归一化处理并在空间归一化处理后进行多模态图像融合得到融合后图像。
本发明的较佳的实施例中，融合子网络45采用智能融合法对X线片、CT图像和MRI图像分别进行信息筛选得到对应的一筛选后图像，并对各筛选后图像进行多模态图像融合得到融合后图像。
具体地，本实施例中，多模态图像融合按照处理方法可以分为数值融合法与智能融合法，其中数值融合法将不同图像进行空间归一化，保证其表征同一空间中相同区域，直接进行一致性融合得到融合后图像，而智能融合法只采用图像中所需的信息进行融合，根据不同研究内容的需要筛选信息得到筛选后图像，再对筛选后图像进行融合得到融合后图像。
本发明的较佳的实施例中，融合子网络45对各热度图进行多模态图像融合之前对各热度图分别进行预处理和配准得到对应的一配准后图像，并将各配准后图像作为对应的热度图进行多模态图像融合得到融合后图像。
具体地，本实施例中，医学图像的多模态图像融合分为三个步骤：预处理、配准与融合，其中，图像的预处理过程包括对两种图像的降噪、数据增强、统一图像格式、缩放大小、归一化分辨率等过程，预处理能够确保不同图像之间具备格式上的一致性，顺利进行后续操作。
优选的，图像的配准是指通过几何变换的方法让两幅图像中的关键点在空间上达到一致，一般采用将一幅图像按照与第二幅图像之间的位置差别进行平移、旋转、缩放等变换，映射到第二幅图像的几何空间上，图像的配准可以分为三步：(1)图像特征的提取；(2)像素点的空间变换；(3)优化配准结果。
优选的，图像特征的提取是将图像中生理结构上的感兴趣区域与轮廓、边、角点、交叉点等图像特特征进行对应，而后通过专业医师的判断确定选取特征，像素点的空间变换基于图像中提取的特征，两幅图像中对相同部位例如结节、血管处等具有一致性特征，依照两幅图像的一致性特征进行几何变换，变换主要包括线性与非线性两种，线性变换包括刚体、仿射、投影等；非线性变换会带来一定的变形，适应于某些特殊场景，不同的特征及变换过程得到的配准相似度由定义的相似性测度衡量，在定义好相似性测度后即需要使用最优化算法最大化该测度值，对于骨肿瘤的CT图像与MRI图像，其配准相似度主要通过外骨轮廓来确定，常用的相似性测度有均方根距离、归一化关联等，常用的最优化方法有最速梯度下降法、模拟退火法等，相似性测度的确定同时影响最终配准方法的选取，基于特征的配准过程中，点、线、面的重要性不同，其适应的配准图像与相似性测度不同，骨肿瘤的图像配准主要与线和面相关，因而需要基于线特征和基于面特征的方法相结合。
优选的，图像的融合分为两大类：基于像素点和基于特征的融合，以像素为基础的融合即对两幅图像对应像素加权平均，不具备空间变换能力，以特征为基础的方式则基于配准过程中选定的特征进行匹配，通过空间变换后再进行像素融合，相对适合骨肿瘤的多模态统合过程。
本发明的较佳的实施例中，病灶分析模型为第一检测网络，如图4所示，第一检测网络包括：
卷积层51，用于针对每一组病灶图像数据，于病灶图像数据提取得到包含病灶特征的一第五特征图像；
候选区域提名网络52，连接卷积层51，用于在第五特征图像上生成多个候选区域；
池化层53，连接候选区域提名网络52，用于对每个候选区域生成对应的一特征图；
分类和边框回归网络54，连接池化层53，用于根据特征图对对应的候选区域进行分类、边框回归和非极大值拟制处理得到对应的病灶分类结果。
具体地，本实施例中，传统的医学图像识别原理主要是针对图像的灰度、纹理、边界、密度等变量进行信息分析和提取，进一步映射成特征向量完成分类任务，传统方法的浅层特性限制了精度，因此将深度神经网络应用于第一检测网络以增加病灶分类结果的准确性。
优选的，深度神经网络在学习过程中能够自动进行多病灶特征提取，能够有效增强病灶特征的表达能力并提高分类的准确率，与此同时，深度神经网络的学习过程具有通用性，即针对不同形式的图像输入，可以采用相同的网络结构进行病灶特征提取，不需要对问题本身具备非常强的先验知识，深度卷积神经网络能够通过卷积层51与池化层53的结合，实现局部感知，可以有效识别位移、缩放及其它扭曲不变性的图像，提高图像识别的准确性。
具体地，本实施例中，第一检测网络采用Faster R-CNN算法，分为两个阶段，第一阶段是候选区域提名，第二阶段是对每个候选区域进行分类和边框回归，且第一阶段和第二阶段阶段共用一个主干网络进行特征提取。
优选的，第一检测网络的检测流程中，先通过卷积层对病灶图像数据进行特征提取，再通过候选区域提名网络生成候选区域，接着通过池化层对每个候选区域生成特征图，然后用这些特征图对每个候选区域进行分类和边框回归，最后用非极大值抑制算法消除重复框得到病灶分类结果。
优选的，候选区域提名网络是个全卷积网络，相当于在主干网络生成的特征图上进行滑动窗口搜索，候选区域提名网络在主干网络后面加了一个n×n卷积层，然后再加上并行的两个1×1卷积层以分别用于分类和边框回归。
优选的，分类实现的是目标与非目标的二分类，用于筛去非目标框，最终候选区域提名网络生成的目标框还要用非极大值算法抑制来消除重复框，为了实现多尺度目标的检测，候选区域提名网络还引入了锚框，用了锚框之后，每个候选区域都能预测多种不同面积和长宽比的目标。
优选的，一般来说，候选区域提名网络会设计9种锚框，包括3种面积和3种长宽比的不同组合，三种面积从小到大依次翻倍，三种长宽比分别为1:2、1:1和2:1。
本发明的较佳的实施例中，病灶分析模型为第二检测网络，用于根据目标检测算法对病灶图像数据进行分类处理得到对应的病灶分类结果，如图5所示，第二检测网络包括：
VGG-16网络62，VGG-16网络62的输入连接输入层61，VGG-16网络62的输出连接第一分类器71的输入；
第一卷积层63，第一卷积层63的输入连接VGG-16网络62的输出；
第二卷积层64，第二卷积层64的输入连接第一卷积层63的输出，第二卷积层64的输出连接第二分类器72的输入；
第三卷积层65，第三卷积层65的输入连接第二卷积层64的输入，第三卷积层65的输出连接第三分类器73的输入；
第四卷积层66，第四卷积层66的输入连接第三卷积层65的输入，第四卷积层66的输出连接第四分类器74的输入；
第五卷积层67，第五卷积层67的输入连接第四卷积层66的输入，第五卷积层67的输出连接第五分类器75的输入；
第六卷积层68，第六卷积层68的输入连接第五卷积层67的输入，第六卷积层68的输出连接第六分类器76的输入；
VGG-16网络62的输出、第二卷积层64的输出、第三卷积层65的输出、第四卷积层66的输出、第五卷积层67的输出和第六卷积层68的输出作为回归器77的输入，回归器77的输出连接输出层78。
具体地，本实施例中，骨肿瘤检测除了采用定位网络3加分类网络4的两阶段方法之外，还可以直接采用目标检测的方法，第一检测网络应用基于候选区域的目标检测算法，第二检测网络应用不需要候选区域的目标检测算法，第一检测网络的准确度更高，而第二检测网络的检测速度更快，通过第一检测网络和第二检测网络的配合可以大大增加病灶分类结果的准确性和时效性。
具体地，本实施例中，第二检测网络采用SSD算法，在主干网络的多个卷积层后面加上分类器和回归器，直接用于生成检测目标，并通过分类器直接对目标的类别进行判断得到病灶分类结果。
优选的，第一卷积层63采用深度为1024的3×3卷积核的卷积层实现，第二卷积层64采用深度为1024的1×1卷积核的卷积层实现，第三卷积层65采用深度为256的1×1卷积核的卷积层实现，第四卷积层66采用深度为128的1×1卷积核的卷积层实现，第五卷积层67采用深度为128的1×1卷积核的卷积层实现，第六卷积层68采用深度为128的1×1卷积核的卷积层实现，第一分类器71采用深度为4×(Classes+4)的3×3卷积核的卷积层实现，第二分类器72采用深度为6×(Classes+4)的3×3卷积核的卷积层实现，第五分类器75采用深度为4×(Classes+4)的3×3卷积核的卷积层实现。
本发明的较佳的实施例中，后端训练服务器1还包括一模型更新模块14，连接模型训练模块12，用于持续获取医生真实标注后的病灶数据并统计病灶数据的一实时数量及首次获取病灶数据时刻至当前时刻的一持续时间，以及在实时数量大于预设的一数量阈值或持续时间大于预设的一时间阈值时，控制模型训练模块12根据病灶数据对病灶分析模型进行更新训练。
具体地，本实施例中，模型更新模块14能够接收医生真实标注后的病灶数据对病灶分析模型进行再训练，提高病灶分析模型分析得到的病灶分类结果的准确性。
优选的，模型更新模块14的再训练功能能够跟进新病例并最大程度积累“经验”，每次病灶分析模型的再训练过程均采用迁移学习的方式，保证原有特征不丢失的方式加入新数据，并且考虑到骨肿瘤病例较少，新数据图像数一般较少，因而每次再训练过程中要完成的是：原有数据的随机重训练、新数据的数据增强和新数据的训练过程，由此能够在保证原有表达能力的基础上提高对新病例以及整体骨肿瘤判断的准确度。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种骨肿瘤病灶分析系统，其特征在于，包括:
一后端训练服务器，所述后端训练服务器包括：
第一获取模块，用于分别获取多位骨肿瘤患者的多组病灶图像数据，每组病灶图像数据包括对应的骨肿瘤部位的X线片图像、CT图像和MRI图像；
模型训练模块，连接所述第一获取模块，用于将各组所述病灶图像数据作为输入，将对应的病灶分类结果作为输出进行多模态训练得到相应的病灶分析模型；
一前端分析模块，连接所述后端训练服务器，所述前端分析模块包括：
第一获取单元，用于获取待分析骨肿瘤患者的至少一组待分析图像数据并输出；
所述后端训练服务器还包括一图像分析模块，连接所述模型训练模块，用于调用所述病灶分析模型对获取的各组所述待分析图像数据进行处理得到所述待分析骨肿瘤患者的病灶分类结果并输出至所述前端分析模块，以供医生进行查看。
2.根据权利要求1所述的骨肿瘤病灶分析系统，其特征在于，所述病灶分析模型的网络结构包括：
一定位网络，用于针对每一组所述病灶图像数据，对所述病灶图像数据进行定位处理得到对应的具有病灶定位信息的热度图；
一分类网络，连接所述定位网络，用于对所述热度图进行病灶特征提取并分类得到对应的所述病灶分类结果。
3.根据权利要求2所述的骨肿瘤病灶分析系统，其特征在于，所述分类网络包括：
第一子网络，用于对所述X线片图像对应的所述热度图进行病灶特征提取得到对应的第一特征图像；
第二子网络，用于对所述CT图像对应的所述热度图进行病灶特征提取得到对应的第二特征图像；
第三子网络，用于对所述MRI图像对应的所述热度图进行病灶特征提取得到对应的第三特征图像；
全连接层，分别连接所述第一子网络、所述第二子网络和所述第三子网络，用于对所述第一特征图像、所述第二特征图像和所述第三特征图像中的病灶特征进行特征融合并分类处理得到对应的所述病灶分类结果。
4.根据权利要求2所述的骨肿瘤病灶分析系统，其特征在于，所述分类网络包括：
融合子网络，用于对所述X线片图像、所述CT图像和所述MRI图像对应的所述热度图进行多模态图像融合得到一融合后图像；
神经子网络，连接所述融合子网络，用于对所述融合后图像进行病灶特征提取得到对应的一第四特征图像；
全连接层，连接所述神经子网络，用于对所述第四特征图像中的病灶特征进行分类处理得到对应的所述病灶分类结果。
5.根据权利要求4所述的骨肿瘤病灶分析系统，其特征在于，所述融合子网络采用数值融合法对所述X线片、所述CT图像和所述MRI图像进行空间归一化处理并在空间归一化处理后进行多模态图像融合得到所述融合后图像。
6.根据权利要求4所述的骨肿瘤病灶分析系统，其特征在于，所述融合子网络采用智能融合法对所述X线片、所述CT图像和所述MRI图像分别进行信息筛选得到对应的一筛选后图像，并对各所述筛选后图像进行多模态图像融合得到所述融合后图像。
7.根据权利要求4所述的骨肿瘤病灶分析系统，其特征在于，所述融合子网络对各所述热度图进行多模态图像融合之前对各所述热度图分别进行预处理和配准得到对应的一配准后图像，并将各所述配准后图像作为对应的所述热度图进行多模态图像融合得到所述融合后图像。
8.根据权利要求1所述的骨肿瘤病灶分析系统，其特征在于，所述病灶分析模型为第一检测网络，所述第一检测网络包括：
卷积层，用于针对每一组所述病灶图像数据，于所述病灶图像数据提取得到包含病灶特征的一第五特征图像；
候选区域提名网络，连接所述卷积层，用于在所述第五特征图像上生成多个候选区域；
池化层，连接所述候选区域提名网络，用于对每个所述候选区域生成对应的一特征图；
分类和边框回归网络，连接所述池化层，用于根据所述特征图对对应的所述候选区域进行分类和边框回归处理得到对应的所述病灶分类结果。
9.根据权利要求1所述的骨肿瘤病灶分析系统，其特征在于，所述病灶分析模型为第二检测网络，用于根据目标检测算法对所述病灶图像数据进行分类处理得到对应的所述病灶分类结果，所述第二检测网络包括：
VGG-16网络，所述VGG-16网络的输入连接输入层，所述VGG-16网络的输出连接第一分类器的输入；
第一卷积层，所述第一卷积层的输入连接所述VGG-16网络的输出；
第二卷积层，所述第二卷积层的输入连接所述第一卷积层的输出，所述第二卷积层的输出连接第二分类器的输入；
第三卷积层，所述第三卷积层的输入连接所述第二卷积层的输入，所述第三卷积层的输出连接第三分类器的输入；
第四卷积层，所述第四卷积层的输入连接所述第三卷积层的输入，所述第四卷积层的输出连接第四分类器的输入；
第五卷积层，所述第五卷积层的输入连接所述第四卷积层的输入，所述第五卷积层的输出连接第五分类器的输入；
第六卷积层，所述第六卷积层的输入连接所述第五卷积层的输入，所述第六卷积层的输出连接第六分类器的输入；
所述VGG-16网络的输出、所述第二卷积层的输出、所述第三卷积层的输出、所述第四卷积层的输出、所述第五卷积层的输出和所述第六卷积层的输出作为回归器的输入，所述回归器的输出连接输出层。
10.根据权利要求1所述的骨肿瘤病灶分析系统，其特征在于，所述后端训练服务器还包括一模型更新模块，连接所述模型训练模块，用于持续获取医生真实标注后的病灶数据并统计所述病灶数据的一实时数量及首次获取所述病灶数据时刻至当前时刻的一持续时间，以及在所述实时数量大于预设的一数量阈值或所述持续时间大于预设的一时间阈值时，控制所述模型训练模块根据所述病灶数据对所述病灶分析模型进行更新训练。
CN202210303320.9A 2022-03-25 2022-03-25 一种骨肿瘤病灶分析系统 Pending CN114757894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210303320.9A CN114757894A (zh) 2022-03-25 2022-03-25 一种骨肿瘤病灶分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210303320.9A CN114757894A (zh) 2022-03-25 2022-03-25 一种骨肿瘤病灶分析系统

Publications (1)

Publication Number Publication Date
CN114757894A true CN114757894A (zh) 2022-07-15

Family

ID=82326429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210303320.9A Pending CN114757894A (zh) 2022-03-25 2022-03-25 一种骨肿瘤病灶分析系统

Country Status (1)

Country Link
CN (1) CN114757894A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721088A (zh) * 2023-06-20 2023-09-08 北京积水潭医院 基于深度学习的骨肉瘤图像的人工智能识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721088A (zh) * 2023-06-20 2023-09-08 北京积水潭医院 基于深度学习的骨肉瘤图像的人工智能识别方法及装置

Similar Documents

Publication Publication Date Title
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN108537773B (zh) 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法
Yousef et al. A holistic overview of deep learning approach in medical imaging
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
US7876938B2 (en) System and method for whole body landmark detection, segmentation and change quantification in digital images
CN110310281A (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN105447872A (zh) 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
Wang et al. A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network
CN112150564A (zh) 基于深度卷积神经网络医学图像融合算法
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
Rehman et al. Liver lesion segmentation using deep learning models
Kriti et al. A review of Segmentation Algorithms Applied to B-Mode breast ultrasound images: a characterization Approach
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
CN114757894A (zh) 一种骨肿瘤病灶分析系统
CN116152235A (zh) 一种肺癌ct到pet的医学图像跨模态合成方法
CN116630680A (zh) 一种x线摄影联合超声的双模态影像分类方法及系统
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination