CN113450305A - 医疗图像的处理方法、系统、设备及可读存储介质 - Google Patents
医疗图像的处理方法、系统、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113450305A CN113450305A CN202010225980.0A CN202010225980A CN113450305A CN 113450305 A CN113450305 A CN 113450305A CN 202010225980 A CN202010225980 A CN 202010225980A CN 113450305 A CN113450305 A CN 113450305A
- Authority
- CN
- China
- Prior art keywords
- image
- lesion area
- hyperspectral imaging
- initial lesion
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 230000003902 lesion Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000000701 chemical imaging Methods 0.000 claims abstract description 50
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000002834 transmittance Methods 0.000 claims description 15
- 230000001965 increasing effect Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000011282 treatment Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 abstract description 9
- 210000001519 tissue Anatomy 0.000 description 20
- 239000000523 sample Substances 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 206010006187 Breast cancer Diseases 0.000 description 6
- 208000026310 Breast neoplasm Diseases 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 210000000481 breast Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 3
- 229910052750 molybdenum Inorganic materials 0.000 description 3
- 239000011733 molybdenum Substances 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005773 cancer-related death Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种医疗图像的处理方法、系统、设备及可读存储介质，其中，该方法包括：对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像；基于所述初始病变区域图像，构建显微高光谱成像；通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓。从而确定出初始病变区域图像所属组织是否已经真的病变。从而就可以区分出目标图像所属组织切片中的肿瘤组织和非肿瘤组织，获得了较为准确的分类结果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种医疗图像的处理方法、系统、设备及可读存储介质。
背景技术
乳腺癌是全球女性癌症相关死亡的主要原因之一。到目前为止，还没有积极有效的的预防乳腺癌的方法，早期的诊断以及及时的治疗是提高患病者生存率的仅有方法。筛查乳房X线图像(Mammography)，也叫乳腺钼靶X线照片是乳腺癌早期诊断中最有效的工具之一，临床医生通过可疑的肿块(Mass)以及其他结构，如微钙化灶(Micro-calcification)等来诊断病情。医生只有通过对乳腺病理图像的观察，来诊断病人是否患有乳腺癌症。而对病理图像进行准确的分类是医生制订最佳治疗方案的重要依据。目前基于人工的病理图像分类，不仅耗时、费力，而且诊断结果容易受到诸多主观人为因素的影响。
发明内容
为了解决上述问题，本发明提供一种医疗图像的处理方法、系统、设备及可读存储介质，其克服了以上技术问题。
为了实现上述目的，本申请的提供了一种医疗图像的处理方法，所述方法包括：
对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像；
基于所述初始病变区域图像，构建显微高光谱成像；
通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓。
可选的，对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像，包括：
对所述目标图像的边缘像素点进行亮度检测，从而确定出异常像素点；
将所述异常像素点进行拼接处理，以构建所述初始病变区域图像。
可选的，在对所述目标图像的边缘像素点进行亮度检测之前，所述方法还包括：
对所述目标图像进行归一化处理，并对经归一化处理后的所述目标图像进行去噪处理，得到待进行亮度检测的所述目标图像。
可选的，所述归一化处理包括：零均值归一化。
可选的，基于所述初始病变区域图像，构建显微高光谱成像，包括：
对所述初始病变区域图像进行增大透光率处理；
获取经增大透光率处理后的初始病变区域图像的窄波段的影像数据，并将获取的所述影像数据经高光谱成像系统处理，以得到所述显微高光谱成像。
可选的，通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，包括：
获取所述显微高光谱成像上对应像素的像素矩阵，其中，所述像素矩阵表征为所述显微高光谱成像的上对应像素的亮度；
将所述像素矩阵输入至所述预设识别模型，得到预测分类结果，其中，所述预设分类结果表征为所述初始病变区域图像中的分类图像。
可选的，所述预设识别模型是基于深度神经网络或卷积神经网络训练获得的；其中，在对所述预设识别模型进行训练的过程中，依次通过包含图像分类信息的分类图像样本和普通的目标图像样本对所述预设识别模型进行权重初始化，并通过标注了显微高光谱成像的样本，对权重初始化后的预设识别模型进行迁移学习。
本申请第二方面，提供了一种医疗图像的处理系统，所述系统包括：预处理模块，用于对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像；构建模块，用于基于所述初始病变区域图像，构建显微高光谱成像；识别模块，用于通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓。
本申请第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。
本申请第四方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述的方法。
通过本发明的医疗图像的处理方法、系统、设备及可读存储介质，实现了从目标图像中分割出初始病变区域图像，然后通过分割出的初始病变区域图像构建显微高光谱成像，以提高对初始病变区域的病变情况进行识别的成功率。在构建完显微高光谱成像后，再将该显微高光谱成像输入值预设识别模型，从而就可以通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓,即：确定出初始病变区域图像所属组织是否已经真的病变。从而就可以区分出目标图像所属组织切片中的肿瘤组织和非肿瘤组织，获得了较为准确的分类结果。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为本发明实施例中医疗图像的处理方法的流程框图；
图2为本发明实施例中目标图像分割的流程示意图；
图3为本发明实施例中对目标图像进行预处理的流程示意图；
图4为本发明实施例中医疗图像的处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合拼接处理。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为了便于理解本发明实施例，下面通过几个具体实施例对本发明的方法流程进行详细的阐述。
根据图1所示，本发明实施例提供了一种医疗图像的处理方法，应用于终端设备，所述方法包括：
步骤S101:对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像；
步骤S102:基于所述初始病变区域图像，构建显微高光谱成像；
步骤S103:通过预设识别模型，对所述显微高光谱成像结果进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓。
经过上述步骤S101-步骤S103，在本实施例中，实现了从目标图像中分割出初始病变区域图像，然后通过分割出的初始病变区域图像构建显微高光谱成像，以提高对初始病变区域的病变情况进行识别的成功率。在构建完显微高光谱成像后，再将该显微高光谱成像输入值预设识别模型，从而就可以通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓,即：确定出初始病变区域图像所属组织是否已经真的病变。从而就可以区分出目标图像所属组织切片中的肿瘤组织和非肿瘤组织，获得了较为准确的分类结果。
此外，在本实施例中，并不对该目标图像的种类进行限定，其包括但不限于：乳腺钼靶X线图像。而且并不对目标图像所属的生物组织进行限定，如：该生物组织为女性乳腺组织。而且，在本实施例中，以乳腺钼靶X线图像及乳腺组织叙述本方案。
其中，上述步骤S101的一种实现方式包括：
步骤S1011:对所述目标图像的边缘像素点进行亮度检测，从而确定出异常像素点；将所述异常像素点进行拼接处理，以构建所述初始病变区域图像。
即：将目标图像中初始病变区域图像的部分提取出来。具体的，该步骤S1011是基于边缘信息的边缘分割。其原理就是利用图像亮度的不一致性和不连续性，从而对目标图像的边缘像素点进行检测，检测可以得到不一样的像素点，最后利用边缘拼接技术将这些边缘像素点拼接处理成新的边缘，从而可以得到初始病变区域图像，即：可以分割出。然后就可以分割出初始病变区域图像。
具体的，该步骤S1011的一种实现方式包括：
根据图2及3所示，通过边缘检测器对目标图像进行检测，然后计算所述目标图像局部的梯度：
接着，利用非极大值抑制，保存图像梯度方向上的极大值点，首先对阈值T1和T2进行阈值处理，初始化T1<T2，定义大于T2的称为高阈值边缘，T1与T2之间的部分属于低阈值边缘。
具体的，首先需要对目标图像进行滤波处理，然后增强经滤波处理后的目标图像的边缘亮度，并计算出边缘亮度及梯度模(通常用一阶导数表示)，最后用计算估计边缘的局部方向(通常采用梯度的方向)，并利用此方向找到局部梯度模的最大值，利用梯度幅值阈值确定哪些点属于边缘点，然后利用拼接技术将确定的边缘点进行拼接，即可得到上述的初始病变区域图像。
在另一实施例中，在对所述目标图像的边缘像素点进行亮度检测之前，所述方法还包括：对所述目标图像进行归一化处理，并对经归一化处理后的所述目标图像进行去噪处理，得到待进行亮度检测的所述目标图像。
其中，所述归一化处理包括：零均值归一化。
具体的，将目标图像进行零均值归一化处理，其原理就是对原有数据的均值和标准差进行数据的标准归一化。这样，经过处理后，均值变为了1，标准差更新为0。转化函数为：
其中μ为数据的均值，σ为数据的标准差。
此外，上述的去噪处理包括：
由于目标图像含有很多不用的复杂噪声，这是因为人身体中的乳房组织比较复杂和特殊由于乳房组织的特殊性。所以，需要对目标图像进行去噪。这里对乳腺图像去噪用到的方法是使用中值滤波器，必须保证能够保留图像的边缘信息，有效的处理掉图像中的多余噪声，进而图像的质量和清晰度得到不断地完善。
在对图像进行处理时，中值滤波首先是设置一个带有尺寸大小的滤波窗口，然后在图像上进行移动，必须遍历图像上所有的点，最后用滤波器窗口内各个原始数据的中值作为中心点的值。中值滤波器是一项非常有效的可以抑制住噪声的比较成熟的技术，它是一种非线性的。因此，滤波窗口为的中值滤波器可以定义为：
而且，在另一实施例中，步骤S102的一种实现方式包括：
步骤S1021：对所述初始病变区域图像进行增大透光率处理；
步骤S1022：获取经增大透光率处理后的初始病变区域图像的窄波段的影像数据，并将获取的所述影像数据经高光谱成像系统处理，以得到所述显微高光谱成像。
具体的，因为初始病变区域图像对光谱的吸收特性相对较小，而显微高光谱成像技术是成像技术与光谱技术的结合，需要以光谱吸收特性相对较大的图像为基础，所以对初始病变区域图像进行增大透光率处理，使图像对光谱的吸收特性变大。所以需要先对初始病变区域图像进行增大透光率处理，使得该初始病变区域图像对光谱的吸收特性变大。增大透光率的原理是通多降低图像中空白区域的像素点值和减少图像在无光源时的噪声，提高图像中目标区域的像素点值，来达到提高初始病变区域图像的透光率，从而提高图像对光谱的吸收能力。
然后，获取经增大透光率处理后的初始病变区域图像的窄波段的影像数据，并基于初始病变区域窄波段的影像数据，经过显微高光谱成像系统处理，目的是探测初始病变区域图像的二维几何空间及一维光谱信息。最终得到在光谱维度上进行了细致分割的高光谱图像。有益效果在于通过高光谱系统获取的是一个数据立方，不仅有图像的信息，并且在光谱维度上进行展开，结果不仅可以获得图像上每个点的光谱数据，还可以获得任一个谱段的影像信息。
此外，获取图像和光谱信息的高光谱成像技术将由物质成分决定的光谱与反映物质存在格局的影像完整结合起来，其中每张图像都包含了物质在不同波长下的信息。高光谱立方体数据如图1所示，其中空间维M×N代表每张单波段图像的大小，光谱维K表示采集的波段总数，在每个波段下都有1幅图像。本研究采用的高光谱成像系统的光谱范围为373～809nm，显微镜目镜倍数为10倍(固定)，物镜倍数为10倍(可调节)，图像数据空间分辨率为1800×1300，总波段数为60。
高光谱图像的质量受系统光源、光学器件、电流噪声等的影响。由于生物样本对光谱的吸收特性相对较小，未处理的图像不能反映生物组织的特异性，图像的预处理不可或缺。根据高光谱图像的性质，预处理的关键是在空间和光谱维度上分别进行校正。平行单色入射光依次经过盖玻片、生物组织和载玻片，定义透光率T(m,n,λ)为：
其中，D(m,n；λ)为经预处理的目标图像的第λ波段图像的n行m列的像素点值，B(m,n,λ)为空白区域的第λ波段图像的n行m列的像素点值，I(m,n；λ)为该像素点在关闭光源情况下的噪声。
在另一实施例中，上述步骤S103的一种实现方式包括：
步骤S1031：获取所述显微高光谱成像上对应像素的像素矩阵，其中，所述像素矩阵表征为所述显微高光谱成像的上对应像素的亮度；
步骤S1032：将所述像素矩阵输入至所述预设识别模型，得到预测分类结果，其中，所述预设分类结果表征为所述初始病变区域图像中的分类图像。
具体的，该原理是计算机在识别一张图片时，首先要保存3个独立的矩阵，矩阵分别对应的是图片中红，绿，蓝三种颜色通道，假如图片是64*64像素，计算机就会保存3个64*64的矩阵表示图片中3种像素的亮度。然后把像素亮度值放入一个特征向量X中，让向量X值做为BP神经网络的输入，通过预先设立的模型(模型的作用相当于是一个分类器，主要是通过logistic回归进行建立)，得到预测输出的分类。有益效果在于用基于神经网络的显微高光谱乳腺癌组织图像分析方法，实现乳腺癌组织的自动分类。
此外，上述预设识别模型的一种选项为BP神经网络，在本实施例中，以预设识别模型以BP神经网络为例对本方案进行叙述，该预设识别模型由输入层、隐含层和输出层组成，其训练过程就是不断更新各层神经元的参数。以3层BP神经网络为例，输入向量为X＝(X1,…,Xn)T，输出向量为Y＝(Y1,…,Yn)T，输入层与隐含层的连接权值为wih，隐含层与输出层的连接权值为who，隐含层各神经元的阈值为bh，输出层各神经元的阈值为bo，D＝(D1,…,Dq)T为期望的输出向量，误差函数
训练的具体过程如下。
(1)选取范围在(－1，1)内的随机数初始化误差函数e，权值wih、who。
(2)随机选取第k组输入样本Xi和期望输出Di，并重复以下步骤直到误差达到要求。
(3)计算隐含层各神经元的输入和输出：
ho(k)＝f(hi(k))
其中hi是隐含层的输入，ho是隐含层的输出，yi是输出层的输入，yo是输出层的输出，f(.)是激活函数，常用的激活函数有sigmoid、tanh函数等。
(4)计算误差函数e对输出层各神经元的偏导数Δwih(k)，并利用偏导数更新隐含层的连接值：
其中η为学习效率，其值越大训练速度越快，但过大可能导致训练不收敛。
(5)计算n个样本(输入)、q个类别(输出)的全局误差
(6)从训练样本中继续选取1组输入和期望输出，不断更新各节点的权值和阈值，直至全局误差小于预先设定的一个值，也就是达到收敛状态。
BP神经网络的训练过程主要分为2个阶段，第1阶段是信号的前向传播，第2阶段是误差的反向传播，依次调节隐含层到输出层、输入层到隐含层的权重和偏置，使训练样本的输出和期望值在误差范围内接近，通过自学习完成样本的分类。
应用BP神经网络对显微高光谱乳腺组织图像中的不同区域进行分割，提取感兴趣区域。将算法分割与人工分割进行比较，包括每个区域正确的分类，被错误分割成其他类以及未被正确分割成对应组织。以T代表肿瘤、S代表基质、B代表空白，定义参数TT(正确标记为肿瘤的像素点)、TS(正确标记为基质的像素点)、TB(正确标记空白的像素点，若样本不含空白区域，该值标记为0)、FT(错误标记为肿瘤的像素点)、FS(错误标记为基质的像素点)、FB(错误标记为空白的像素点，若样本不含空白区域，该值标记为0)。计算BP神经网络分割每组样本的准确率和精密度，计算公式：准确率(％)＝(TT+TS+TB)/(TT+TS+TB+FT+FS+FB)×100％，精密度(％)＝TT/(TT+FT)×100％。BP神经网络的训练过程主要分为2个阶段，第1阶段是信号的前向传播，第2阶段是误差的反向传播，依次调节隐含层到输出层、输入层到隐含层的权重和偏置，使训练样本的输出和期望值在误差范围内接近，通过自学习完成样本的分类。
而且，所述预设识别模型是基于深度神经网络或卷积神经网络训练获得的；其中，在对所述预设识别模型进行训练的过程中，依次通过包含图像分类信息的分类图像样本和普通的目标图像样本对所述预设识别模型进行权重初始化，并通过标注了显微高光谱成像的样本，对权重初始化后的预设识别模型进行迁移学习。
此外，在另一实施例中，还提出了一种医疗图像的处理系统，该系统包括：
预处理模块110，用于对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像；
构建模块120，用于基于所述初始病变区域图像，构建显微高光谱成像；
识别模块130，用于通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓。
可选的，预处理模块110包括：亮度检测单元，用于对所述目标图像的边缘像素点进行亮度检测，从而确定出异常像素点；拼接单元，用于将所述异常像素点进行拼接处理，以构建所述初始病变区域图像。
可选的，该系统还包括:归一化处理模块，用于在对所述目标图像的边缘像素点进行亮度检测之前，对所述目标图像进行归一化处理，并对经归一化处理后的所述目标图像进行去噪处理，得到待进行亮度检测的所述目标图像。
可选的，所述归一化处理包括：零均值归一化。
可选的，构建模块120具体用于：对所述初始病变区域图像进行增大透光率处理；获取经增大透光率处理后的初始病变区域图像的窄波段的影像数据，并将获取的所述影像数据经高光谱成像系统处理，以得到所述显微高光谱成像。
可选的，识别模块130，具体用于获取所述显微高光谱成像上对应像素的像素矩阵，其中，所述像素矩阵表征为所述显微高光谱成像的上对应像素的亮度；将所述像素矩阵输入至所述预设识别模型，得到预测分类结果，其中，所述预设分类结果表征为所述初始病变区域图像中的分类图像。
可选的，所述预设识别模型是基于深度神经网络或卷积神经网络训练获得的；其中，在对所述预设识别模型进行训练的过程中，依次通过包含图像分类信息的分类图像样本和普通的目标图像样本对所述预设识别模型进行权重初始化，并通过标注了显微高光谱成像的样本，对权重初始化后的预设识别模型进行迁移学习。
此外，在另一实施例中，还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的医疗图像的处理方法。
本实施例中的一种电子设备所涉及的名词及实现原理具体可以参照本发明实施例中的的一种医疗图像的处理方法，在此不再赘述。
此外，在另一实施例中，还提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述的医疗图像的处理方法。
本实施例中的一种非暂态计算机可读存储介质所涉及的名词及实现原理具体可以参照本发明实施例中的的一种医疗图像的处理方法，在此不再赘述。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种医疗图像的处理方法，其特征在于，所述方法包括：
对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像；
基于所述初始病变区域图像，构建显微高光谱成像；
通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓。
2.根据权利要求1所述的方法，其特征在于，对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像，包括：
对所述目标图像的边缘像素点进行亮度检测，从而确定出异常像素点；
将所述异常像素点进行拼接处理，以构建所述初始病变区域图像。
3.根据权利要求2所述的方法，其特征在于，在对所述目标图像的边缘像素点进行亮度检测之前，所述方法还包括：
对所述目标图像进行归一化处理，并对经归一化处理后的所述目标图像进行去噪处理，得到待进行亮度检测的所述目标图像。
4.根据权利要求3所述的方法，其特征在于，所述归一化处理包括：零均值归一化。
5.根据权利要求1所述的方法，其特征在于，基于所述初始病变区域图像，构建显微高光谱成像，包括：
对所述初始病变区域图像进行增大透光率处理；
获取经增大透光率处理后的初始病变区域图像的窄波段的影像数据，并将获取的所述影像数据经高光谱成像系统处理，以得到所述显微高光谱成像。
6.根据权利要求1所述的方法，其特征在于，通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，包括：
获取所述显微高光谱成像上对应像素的像素矩阵，其中，所述像素矩阵表征为所述显微高光谱成像的上对应像素的亮度；
将所述像素矩阵输入至所述预设识别模型，得到预测分类结果，其中，所述预设分类结果表征为所述初始病变区域图像中的分类图像。
7.根据权利要求1所述的方法，其特征在于，所述预设识别模型是基于深度神经网络或卷积神经网络训练获得的；其中，在对所述预设识别模型进行训练的过程中，依次通过包含图像分类信息的分类图像样本和普通的目标图像样本对所述预设识别模型进行权重初始化，并通过标注了显微高光谱成像的样本，对权重初始化后的预设识别模型进行迁移学习。
8.一种医疗图像的处理系统，其特征在于，所述系统包括：
预处理模块，用于对目标图像进行预处理，以从所述目标图像中分割出初始病变区域图像；
构建模块，用于基于所述初始病变区域图像，构建显微高光谱成像；
识别模块，用于通过预设识别模型，对所述显微高光谱成像进行识别分析，确定出所述初始病变区域图像中的分类图像，其中，所述分类图像表征为病变轮廓。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010225980.0A CN113450305B (zh) | 2020-03-26 | 2020-03-26 | 医疗图像的处理方法、系统、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010225980.0A CN113450305B (zh) | 2020-03-26 | 2020-03-26 | 医疗图像的处理方法、系统、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113450305A true CN113450305A (zh) | 2021-09-28 |
| CN113450305B CN113450305B (zh) | 2023-01-24 |
Family
ID=77807355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010225980.0A Active CN113450305B (zh) | 2020-03-26 | 2020-03-26 | 医疗图像的处理方法、系统、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450305B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393338A (zh) * | 2022-09-02 | 2022-11-25 | 复旦大学附属中山医院 | 一种生物组织识别模型构建方法、装置及电子设备 |
| CN115690388A (zh) * | 2023-01-03 | 2023-02-03 | 优尼科(青岛)微电子有限公司 | 一种基于法珀腔光谱成像的图像数据预处理方法及设备 |
| WO2023142615A1 (zh) * | 2022-01-25 | 2023-08-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、可读存储介质及程序产品 |
| CN118485619A (zh) * | 2024-03-29 | 2024-08-13 | 江苏阔然医疗科技有限公司 | 一种显微病理多光谱成像拆分方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060281068A1 (en) * | 2005-06-09 | 2006-12-14 | Chemimage Corp. | Cytological methods for detecting a disease condition such as malignancy by Raman spectroscopic imaging |
| CA3105924A1 (en) * | 2011-12-21 | 2013-06-27 | Catherine M. Shachaf | System for imaging lesions aligning tissue surfaces |
| CN106778536A (zh) * | 2016-11-28 | 2017-05-31 | 北京化工大学 | 一种基于fpga的实时高光谱显微图像细胞分类方法 |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| CN109635835A (zh) * | 2018-11-08 | 2019-04-16 | 深圳蓝韵医学影像有限公司 | 一种基于深度学习与迁移学习的乳腺病变区域检测方法 |
| CN109785320A (zh) * | 2019-01-28 | 2019-05-21 | 太原理工大学 | 一种采用改进型AlexNet模型对乳腺钼靶X线图像进行分类和识别的方法 |
| CN110033456A (zh) * | 2019-03-07 | 2019-07-19 | 腾讯科技（深圳）有限公司 | 一种医疗影像的处理方法、装置、设备和系统 |
| CN110033032A (zh) * | 2019-03-29 | 2019-07-19 | 中国科学院西安光学精密机械研究所 | 一种基于显微高光谱成像技术的组织切片分类方法 |
| CN110197474A (zh) * | 2018-03-27 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 图像处理方法和装置及神经网络模型的训练方法 |
| CN110648311A (zh) * | 2019-09-03 | 2020-01-03 | 南开大学 | 一种基于多任务学习的痤疮图像病灶分割与计数网络模型 |
| CN110706225A (zh) * | 2019-10-14 | 2020-01-17 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于人工智能的肿瘤识别系统 |
-
2020
- 2020-03-26 CN CN202010225980.0A patent/CN113450305B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060281068A1 (en) * | 2005-06-09 | 2006-12-14 | Chemimage Corp. | Cytological methods for detecting a disease condition such as malignancy by Raman spectroscopic imaging |
| CA3105924A1 (en) * | 2011-12-21 | 2013-06-27 | Catherine M. Shachaf | System for imaging lesions aligning tissue surfaces |
| CN106778536A (zh) * | 2016-11-28 | 2017-05-31 | 北京化工大学 | 一种基于fpga的实时高光谱显微图像细胞分类方法 |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| CN110197474A (zh) * | 2018-03-27 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 图像处理方法和装置及神经网络模型的训练方法 |
| CN109635835A (zh) * | 2018-11-08 | 2019-04-16 | 深圳蓝韵医学影像有限公司 | 一种基于深度学习与迁移学习的乳腺病变区域检测方法 |
| CN109785320A (zh) * | 2019-01-28 | 2019-05-21 | 太原理工大学 | 一种采用改进型AlexNet模型对乳腺钼靶X线图像进行分类和识别的方法 |
| CN110033456A (zh) * | 2019-03-07 | 2019-07-19 | 腾讯科技（深圳）有限公司 | 一种医疗影像的处理方法、装置、设备和系统 |
| CN110033032A (zh) * | 2019-03-29 | 2019-07-19 | 中国科学院西安光学精密机械研究所 | 一种基于显微高光谱成像技术的组织切片分类方法 |
| CN110648311A (zh) * | 2019-09-03 | 2020-01-03 | 南开大学 | 一种基于多任务学习的痤疮图像病灶分割与计数网络模型 |
| CN110706225A (zh) * | 2019-10-14 | 2020-01-17 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于人工智能的肿瘤识别系统 |
Non-Patent Citations (3)
| Title |
|---|
| ZHOU ZHAO等: "Comparative study of logarithmic image processing models for medical image enhancement", 《2016 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》 * |
| 李延涛: "基于深度学习的乳腺肿瘤目标检测技术研究", 《CNKI优秀硕士学位论文全文库 信息科技辑》 * |
| 黄怡: "基于显微高光谱成像的皮肤黑色素瘤识别方法研究", 《CNKI优秀硕士学位论文全文库 医药卫生科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023142615A1 (zh) * | 2022-01-25 | 2023-08-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、可读存储介质及程序产品 |
| CN115393338A (zh) * | 2022-09-02 | 2022-11-25 | 复旦大学附属中山医院 | 一种生物组织识别模型构建方法、装置及电子设备 |
| CN115690388A (zh) * | 2023-01-03 | 2023-02-03 | 优尼科(青岛)微电子有限公司 | 一种基于法珀腔光谱成像的图像数据预处理方法及设备 |
| CN115690388B (zh) * | 2023-01-03 | 2023-03-10 | 优尼科(青岛)微电子有限公司 | 一种基于法珀腔光谱成像的图像数据预处理方法及设备 |
| CN118485619A (zh) * | 2024-03-29 | 2024-08-13 | 江苏阔然医疗科技有限公司 | 一种显微病理多光谱成像拆分方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113450305B (zh) | 2023-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shorfuzzaman | An explainable stacked ensemble of deep learning models for improved melanoma skin cancer detection | |
| Zhang et al. | Retinal vessel delineation using a brain-inspired wavelet transform and random forest | |
| CN113450305B (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| US20220309653A1 (en) | System and method for attention-based classification of high-resolution microscopy images | |
| US10573003B2 (en) | Systems and methods for computational pathology using points-of-interest | |
| Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
| CN107464250B (zh) | 基于三维mri图像的乳腺肿瘤自动分割方法 | |
| Miah et al. | Detection of lung cancer from CT image using image processing and neural network | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| Panigrahi et al. | Capsule network based analysis of histopathological images of oral squamous cell carcinoma | |
| Gao et al. | A deep learning based approach to classification of CT brain images | |
| US11875479B2 (en) | Fusion of deep learning and handcrafted techniques in dermoscopy image analysis | |
| CN106780498A (zh) | 基于逐像素点深度卷积网络上皮和基质组织自动分割方法 | |
| WO2013049153A2 (en) | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images | |
| JP2022547722A (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| JP2023543044A (ja) | 組織の画像を処理する方法および組織の画像を処理するためのシステム | |
| Alegro et al. | Automating cell detection and classification in human brain fluorescent microscopy images using dictionary learning and sparse coding | |
| Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
| Javidi et al. | Retinal image assessment using bi-level adaptive morphological component analysis | |
| Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
| CN104933723B (zh) | 基于稀疏表示的舌图像分割方法 | |
| Kalinovsky et al. | Lesion detection in CT images using deep learning semantic segmentation technique | |
| Manikandan et al. | Segmentation and Detection of Pneumothorax using Deep Learning | |
| Sivaprakasam et al. | Segmentation and classification of cervical cytology images using morphological and statistical operations | |
| US20210209755A1 (en) | Automatic lesion border selection based on morphology and color features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |