CN115100494A - 一种病灶图像的识别方法、装置、设备及可读存储介质 - Google Patents

一种病灶图像的识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN115100494A
CN115100494A CN202210721674.5A CN202210721674A CN115100494A CN 115100494 A CN115100494 A CN 115100494A CN 202210721674 A CN202210721674 A CN 202210721674A CN 115100494 A CN115100494 A CN 115100494A
Authority
CN
China
Prior art keywords
magnetic resonance
sample
resonance image
image
image sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210721674.5A
Other languages
English (en)
Inventor
李景荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Weiying Zhejiang Medical Technology Co Ltd
Original Assignee
Zhongke Weiying Zhejiang Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Weiying Zhejiang Medical Technology Co Ltd filed Critical Zhongke Weiying Zhejiang Medical Technology Co Ltd
Priority to CN202210721674.5A priority Critical patent/CN115100494A/zh
Publication of CN115100494A publication Critical patent/CN115100494A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Abstract

本发明提供了一种病灶图像的识别方法、装置、设备及可读存储介质，涉及医疗器械技术领域，包括获取病灶的磁共振图像样本，得到分割处理后的至少一个的磁共振图像样本；对所述磁共振图像样本进行超像素提取平均灰度值；获取第一信息包括至少两种不同器官组织的标准医疗图像；根据融合之后的特征和所述第一信息,得到分类后的所述磁共振图像样本的分割结果；采用深度学习的卷积神经网络模型，针对所述分割结果进行计算得到所述磁共振图像样本的识别结果。本发明的有益效果为：协助医生对医疗图像中的潜在病情进行判断，并自动地在医疗图像上进行病灶组织的识别标记，以便提醒医生做进一步的诊断，及时确诊病情，进而能够减轻医生的工作强度。

Description

一种病灶图像的识别方法、装置、设备及可读存储介质
技术领域
本发明涉及医疗器械技术领域，具体而言，涉及病灶图像的识别方法、装置、设备及可读存储介质。
背景技术
目前医疗器械市场上的医疗摄影设备都是可以看到医疗影像的，例如血管摄影图像、心血管造影图像、电脑断层扫描图像、乳房摄影图像、正子发射断层扫描图像等。但是对于病灶的发现或识别，仍是医生凭借专业知识用肉眼去判断是否有发生病变问题，如此在病变初期，由于病灶往往比较微小，很容易被忽略，并且有时需要察看部位比较多，而医生需要每一个部位仔细观察，大大增强了医生的工作强度。因此，如何减轻医生的工作强度并快速及早地发现病情，是一个急需解决的问题。
发明内容
本发明的目的在于提供一种病灶图像的识别方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种病灶图像的识别方法，包括：
获取病灶的磁共振图像样本，对所述磁共振图像样本进行图像分割处理，得到分割处理后的至少一个的磁共振图像样本；
对所述磁共振图像样本进行超像素提取平均灰度值，基于预设的纹理特征和局部灰度特征，对提取后的所述磁共振图像样本进行特征融合，得到融合之后的特征；所述融合特征包括所述磁共振图像样本的轮廓形状特征和灰度图像特征；
获取第一信息，所述第一信息包括至少两种不同器官组织的标准医疗图像，针对每种器官组织的所述标准医疗图像，分别提取出对应的标准图像轮廓特征；
根据融合之后的特征和所述第一信息,利用字典训练算法和稀疏表示分类算法SRC,对所述磁共振图像样本进行分类,得到分类后的所述磁共振图像样本的分割结果；
采用深度学习的卷积神经网络模型，针对所述分割结果进行计算得到所述磁共振图像样本的识别结果。
第二方面，本申请还提供了一种病灶图像的识别装置，包括获取模块、融合模块、提取模块、分类模块和计算模块，其中：
获取模块:用于获取病灶的磁共振图像样本，对所述磁共振图像样本进行图像分割处理，得到分割处理后的至少一个的磁共振图像样本；
融合模块:用于对所述磁共振图像样本进行超像素提取平均灰度值，基于预设的纹理特征和局部灰度特征，对提取后的所述磁共振图像样本进行特征融合，得到融合之后的特征；
提取模块:用于获取第一信息，所述第一信息包括至少两种不同器官组织的标准医疗图像，针对每种器官组织的所述标准医疗图像，分别提取出对应的标准图像轮廓特征；
分类模块:用于根据融合之后的特征和所述第一信息,利用字典训练算法和稀疏表示分类算法SRC,对所述磁共振图像样本进行分类,得到分类后的所述磁共振图像样本的分割结果；
计算模块:用于采用深度学习的卷积神经网络模型，针对所述分割结果进行计算得到所述磁共振图像样本的识别结果。
第三方面，本申请还提供了一种病灶图像的识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述病灶图像的识别方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于病灶图像的识别方法的步骤。
本发明的有益效果为：本发明通过提取平均灰度值和提取标准图像轮廓特征，根据字典训练算法、稀疏表示分类算法SRC和深度学习的卷积神经网络，可以替代医生发现医疗图像中的潜在病情，并自动地在医疗图像上进行病灶组织的识别标记，以便提醒医生做进一步的诊断，及时确诊病情，进而能够减轻医生的工作强度，及时确诊是否有病变发生，避免耽搁病情的治疗时机，尤其有助于早期病变的发现。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的病灶图像的识别方法流程示意图；
图2为本发明实施例中所述的病灶图像的识别装置结构示意图；
图3为本发明实施例中所述的病灶图像的识别设备结构示意图。
图中:701、获取模块；7011、增强单元；7012、分割单元；7013、第一处理单元；702、融合模块；703、提取模块；7031、获取单元；7032、输入单元；7033、匹配单元；7034、确定单元；7035、预测单元；7036、标记单元；7037、输出单元；704、分类模块；705、计算模块；7051、获得单元；7052、锚定单元；7053、第二处理单元；706、读取模块；707、去除模块；708、弱化模块；709、处理模块；800、病灶图像的识别设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种病灶图像的识别方法。
本发明的病灶图像处理识别方法可适用于胃部病灶、眼底图像微动脉瘤和脑部病灶等。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400和步骤S500。
S100、获取病灶的磁共振图像样本，对磁共振图像样本进行图像分割处理，得到分割处理后的至少一个的磁共振图像样本。
可以理解的是，在S100步骤之后包括S110、S120、S130和S140，其中：
S110、对磁共振图像样本进行预处理，预处理包括对磁共振图像样本中的图像进行缩放，其中包括：对磁共振图像样本进行读取，并按预设倍数对磁共振图像样本进行缩小处理；
S120、针对缩小后的磁共振图像样本，去除超过预设比例的背景区域，得到去除背景后的磁共振图像样本；
S130、利用高斯滤波处理，对磁共振图像样本进行噪音弱化；
S140、根据边缘损失函数，对弱化后噪音的磁共振图像样本进行优化处理，得到优化后的磁共振图像样本。
需要说明的是，在对于噪音弱化方面，可以对磁共振图像样本进行高斯滤波处理，经过之前的几个操作，去除背景等已经可以将图像进行读取，但是图像中的噪声也会跟着操作有可能被增强。在病灶中有时由于微动脉瘤的外形特点是尺寸较小的黑色圆点，其像素特征大致为中心区域像素值底且四周部分像素值逐渐向外增加。根据微动脉瘤在图像中的特点，我们选择高斯滤波对图像进行滤波操作，这样可以在尽可能保留微动脉瘤信息的同时弱化噪声。
高斯滤波的过程是用一个卷积核扫描图像中每一个像素点，将邻域各个像素值与对应位置的权值相乘并求和，整个过程也可以看作图像与高斯正态分布做卷积操作。这里我们选择大小为3×3，方差为2的高斯正态分布卷积核进行高斯滤波。
需要说明的是，在S120之后还包括S121、S122和S123，其中：
S121、对缩小后的磁共振图像样本进行增强处理，得到增强后的磁共振图像样本；
S122、采用K均值算法对磁共振图像样本中的图像轮廓进行锚定框架；
S123、根据锚定框架后的磁共振图像样本中的图像的长宽比，对增强后的磁共振图像样本中的样本图像进行缩放处理，得到处理后的磁共振图像样本。
具体地，病灶的核磁共振图像的识别有多种，可采用多边形框圈出样本图像中病灶区域的轮廓，并标注病灶标签，例如关于胃部识别病灶中，病灶标签可以是早期胃癌、进展期胃癌、息肉、溃疡、非上皮性肿瘤或肿瘤样病变、糜烂中的一种。
优选地，也可以采用Yolov5模型，其中Yolov5模型包括输入端、主干网络、颈部网络和预测网络。通过主干网络提取处理后的训练样本集的特征；通过颈部网络增强处理后的训练样本集的特征；通过预测网络进行胃部病灶的分类和检测框体预测框的回归，得到胃部病灶识别模型。
具体地，可通过Mosaic数据增强模块将4张已标注的样本图像，随机缩放、随机剪裁和随机排布的方式进行拼接。通过这种方式，可以丰富训练样本集，缓解训练样本集中，小、中、大病灶区域的占比不均衡问题，特别是随机缩放增加了很多小病灶区域，小病灶例如息肉、糜烂，大病灶区域例如进展期胃癌等，使得模型的鲁棒性更好。另一方面，使用Mosaic数据增强训练时，可以直接计算4张图片的数据，使得Mini-batch大小并不需要太大，单块GPU就可以达到比较好的训练效果。
在训练时，模型在初始锚框的基础上输出预测框，进而和真实框(标注的病灶区域的轮廓)进行对比，计算两者的差距，再反向更新，迭代模型参数。在Yolov5中，对于不同数据集，采用k均值算法进行分析，获得适合数据集中病灶边界框预测的预设锚定框。
为了提高模型推理速度，Yolov5提出自适应图像缩放，即根据长宽对比样本图像进行缩放，并添加最少的黑边，以减少计算量。
需要说明的是，S100其中包括S101、S102、S103和S104，其中：
S101、根据伽马变换原理，对磁共振图像样本进行图像增强，得到增强后的磁共振图像样本；
S102、基于U-net学习模型，对磁共振图像样本进行分割，得到分割后的磁共振图像样本；
S103、对分割后的磁共振图像样本进行二值化处理，得到二值磁共振图像样本，并对二值磁共振图像样本做相应的平滑处理，得到分割后的磁共振图像样本。
在S101中，根据伽马变换原理，对数据集进行伽马变换，主要目的是增加暗色部分的对比度，y变换算法首先对将一个图像的像素值进行归一化转换为0～1之间的实数，然后根据公式f(I)＝Iγ对归一化的值进行预补偿计算，最后将预补偿的实数反归一化为0～255的实数。使用伽马变换原理，对磁共振图像样本进行图像增强。
需要说明的是，对数据集进行感兴趣区域提取，为了更好的分割出磁共振图像样本进行二值化处理后的感兴趣区域，我们将采用最大类间方差法(OSTU)进行最佳阈值的计算。计算过程如下：
设T为前景与背景的分割阈值，前景点数占图像比例为w0，前景平均灰度为u0，背景点数占比为w1，背景平均灰度为u1，整体图像的平均灰度为u，前景和背景的方差为g，则：
u＝w0×u0+w1×u1
g＝w0×(u0-u)2+w1×(u1-u)2
在上式中，当g取得最大值时，此时的阈值T即为我们所需要的最佳阈值。然后图像上每个点f(x，y)根据阈值T进行二值化处理得到图像h(x，y)，并进行对数据集进行图像增强，为了进一步得到对比度更高的图像，具体地，也可以使用CLAHE算法进行磁共振图像进行增强。
其中，在步骤S102中，基于U-net学习模型，对磁共振图像样本进行分割，U-net学习模型由左半边的压缩通道和右半边的扩展通道组成。在压缩通道部分采用VGGNet-16结构，主要重复采用2个卷积层和1个最大池化层的结构进行特征的提取和压缩。扩展通道结构是反卷积网络，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图，实现特征图到原始图像大小的还原。高层特征图与底层特征图的组合和卷积操作，使模型可以获得更加精确的输出特征图。实验证明，即便在训练样本较少的情况下，U-net学习模型也可以得到很准确的语义分割结果。
S200、对磁共振图像样本进行超像素提取平均灰度值，基于预设的纹理特征和局部灰度特征，对提取后的磁共振图像样本进行特征融合，得到融合之后的特征；所述融合特征包括所述磁共振图像样本的轮廓形状特征和灰度图像特征。
可以理解的是，在本步骤中，先获取核磁共振图像的MR图像作为训练图像，对训练图像进行超像素分割，得到若干个训练像素，对获取的训练超像素提取平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征；将平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征采用串联方式进行特征融合，得到融合之后的特征。
S300、获取第一信息，第一信息包括至少两种不同器官组织的标准医疗图像，针对每种器官组织的标准医疗图像，分别提取出对应的标准图像轮廓特征。
可以理解的是，在S300步骤之后包括S310、S320和S330，其中：
S310、获取第二信息，第二信息包括每种器官组织的标准医疗图像以及每个标准医疗图像所对应的图像识别类型，其中，针对各种图像识别类型，对应的样本医疗图像的数目不少于2000张；
S320、将第二信息作为训练样本，输入至预设的病灶检测模型中进行病灶图像识别训练，其中，将样本医疗图像作为样本输入数据，将与样本医疗图像对应的图像识别类型作为样本校验数据；
S330、根据训练得到的图像识别类型与样本校验数据的匹配结果，对匹配结果进行优化，直到完成训练或训练图像识别类型与样本校验数据的匹配率达到预设的阈值为止。
在步骤S330中，匹配结果可以设定为阈值，阈值既可是预先设定的门限值，也可以是默认值，例如99％。当深度学习模型采用基于Caffe架构(即CNN架构的一种具体实现形式)的卷积神经网络模型时，可以利用由accuracy层得来的识别准确率作为训练所得的病灶图像识别类型与样本校验数据的匹配率，识别准确率越高，即匹配率越高，匹配性越好。
此外，为了进一步提升预测准确性，优化的，在待检测区域的病灶图像导入到确定的深度学习模型之前：对该待检测区域图像进行缩放处理，使处理后的图像尺寸长度或宽度与样本医疗图像一致。
需要说明的是，在S300步骤之后还包括S340、S350、S360和S370，其中：
S340、确定病灶图像识别训练的深度学习模型；
S350、将磁共振图像样本导入到深度学习模型中进行预测运算，得到对应的病灶图像识别类型和病灶图像识别准确率，其中，病灶图像识别类型包括无病灶类型和有病灶类型；
S360、若得到的病灶图像识别类型为有病灶类型且病灶图像识别准确率不小于第一阈值，则在磁共振图像样本上且与磁共振图像样本对应的位置进行标记，得到病灶图像识别类型和病灶图像识别准确率，若没有得到，则继续循环；
S370、根据得到的病灶图像识别类型和病灶图像识别准确率，输出完成标记的磁共振图像样本。
针对获取的待检测病灶图像，通过依次进行最小器官组织影像的分割以及对应器官组织的影像识别、深度学习模型预测和预测结果图上标记，可以替代医生发现医疗图像中的潜在病情，并自动地在医疗图像上进行病灶组织的识别标记，以便提醒医生做进一步的诊断，及时确诊病情，进而能够减轻医生的工作强度，及时确诊是否有病变发生，避免耽搁病情的治疗时机，尤其有助于早期病变的发现。
S400、根据融合之后的特征和第一信息,利用字典训练算法和稀疏表示分类算法SRC,对磁共振图像样本进行分类,得到分类后的磁共振图像样本的分割结果。
可以理解的是，在本步骤中，基于上述步骤得到的融合之后的特征构造训练阶段的字典，然后利用训练阶段的字典和基于稀疏表达的分类方法SRC，对得到的训练超像素进行分类，获得初始分割结果。
S500、采用深度学习的卷积神经网络模型，针对分割结果进行计算得到磁共振图像样本的识别结果。
可以理解的是，在本步骤中，在训练阶段，获得显著性增强的图像后，将图像分成若干图像块。利用卷积神经网络进行训练。在分割阶段，获得显著性增强的图像后，将图像分成若干图像块。利用卷积神经网络进行分类。分类结果即为分割结果。
其中，一般来说，卷积神经网络由卷积层、池化层全连接层等构成。卷积层通过对图像进行卷积运算学到图像中不同层次的局部特点。为了减少计算量，卷积层后面一般会加池化层，卷积层的输出是池化层的输入。池化层一般采用最大池化法对输入映射进行降采样，即在一个邻域内选择该邻域内最大的点来代表该邻域。池化层能够减少映射的大小，从而降低计算复杂度。经过后面几层的卷积层-池化层循环之后，会接一个全连接层。该层将池化层的所有输出映射转换为一个列向量。一般一个全连接层后面连接一个输出层，输出层经过一个softmax函数输出样本属于每个类的概率，选择概率最大的作为该输入图片的类别。通常使用随机梯度下降法对卷积神经网络的权重进行求解。
实施例2：
如图2所示，本实施例提供了一种病灶图像的识别装置，参见图2装置包括获取模块701、融合模块702、提取模块703、分类模块704和计算模块705，其中：
获取模块701:用于获取病灶的磁共振图像样本，对磁共振图像样本进行图像分割处理，得到分割处理后的至少一个的磁共振图像样本；
融合模块702:用于对磁共振图像样本进行超像素提取平均灰度值，基于预设的纹理特征和局部灰度特征，对提取后的磁共振图像样本进行特征融合，得到融合之后的特征；所述融合特征包括所述磁共振图像样本的轮廓形状特征和灰度图像特征；
提取模块703:用于获取第一信息，第一信息包括至少两种不同器官组织的标准医疗图像，针对每种器官组织的标准医疗图像，分别提取出对应的标准图像轮廓特征；
分类模块704:用于根据融合之后的特征和第一信息,利用字典训练算法和稀疏表示分类算法SRC,对磁共振图像样本进行分类,得到分类后的磁共振图像样本的分割结果；
计算模块705:用于采用深度学习的卷积神经网络模型，针对分割结果进行计算得到磁共振图像样本的识别结果。
优选地，获取模块701,之后包括读取模块706、去除模块707、弱化模块708和处理模块709，其中：
读取模块706:用于对磁共振图像样本进行预处理，预处理包括对磁共振图像样本中的图像进行缩放，其中包括：对磁共振图像样本进行读取，并按预设倍数对磁共振图像样本进行缩小处理；
去除模块707:用于针对缩小后的磁共振图像样本，去除超过预设比例的背景区域，得到去除背景后的磁共振图像样本；
弱化模块708:用于利用高斯滤波处理，对磁共振图像样本进行噪音弱化；
处理模块709:用于根据边缘损失函数，对弱化后噪音的磁共振图像样本进行优化处理，得到优化后的磁共振图像样本。
优选地，获取模块701,其中包括增强单元7011、分割单元7012和第一处理单元7013，其中：
增强单元7011:用于根据伽马变换原理，对磁共振图像样本进行图像增强，得到增强后的磁共振图像样本；
分割单元7012:用于基于U-net学习模型，对磁共振图像样本进行分割，得到分割后的磁共振图像样本；
第一处理单元7013:用于对分割后的磁共振图像样本进行二值化处理，得到二值磁共振图像样本，并对二值磁共振图像样本做相应的平滑处理，得到分割后的磁共振图像样本。
优选地，提取模块703,之后包括获取单元7031、输入单元7032和匹配单元7033，其中：
获取单元7031:用于获取第二信息，第二信息包括每种器官组织的标准医疗图像以及每个标准医疗图像所对应的图像识别类型，其中，针对各种图像识别类型，对应的样本医疗图像的数目不少于2000张；
输入单元7032:用于将第二信息作为训练样本，输入至预设的病灶检测模型中进行病灶图像识别训练，其中，将样本医疗图像作为样本输入数据，将与样本医疗图像对应的图像识别类型作为样本校验数据；
匹配单元7033:用于根据训练得到的图像识别类型与样本校验数据的匹配结果，对匹配结果进行优化，直到完成训练或训练图像识别类型与样本校验数据的匹配率达到预设的阈值为止。
优选地，提取模块703,之后包括确定单元7034、预测单元7035、标记单元7036和输出单元7037，其中：
确定单元7034:用于确定病灶图像识别训练的深度学习模型；
预测单元7035:用于将磁共振图像样本导入到深度学习模型中进行预测运算，得到对应的病灶图像识别类型和病灶图像识别准确率，其中，病灶图像识别类型包括无病灶类型和有病灶类型；
标记单元7036:用于若得到的病灶图像识别类型为有病灶类型且病灶图像识别准确率不小于第一阈值，则在磁共振图像样本上且与磁共振图像样本对应的位置进行标记，得到病灶图像识别类型和病灶图像识别准确率，若没有得到，则继续循环；
输出单元7037:用于根据得到的病灶图像识别类型和病灶图像识别准确率，输出完成标记的磁共振图像样本。
优选地，计算模块705,之后包括获得单元7051、锚定单元7052和第二处理单元7053，其中：
获得单元7051:用于对缩小后的磁共振图像样本进行增强处理，得到增强后的磁共振图像样本；
锚定单元7052:用于采用K均值算法对磁共振图像样本中的图像轮廓进行锚定框架；
第二处理单元7053:用于根据锚定框架后的磁共振图像样本中的图像的长宽比，对增强后的磁共振图像样本中的样本图像进行缩放处理，得到处理后的磁共振图像样本。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种病灶图像的识别设备，下文描述的一种病灶图像的识别设备与上文描述的一种病灶图像的识别方法可相互对应参照。
图3是根据示例性实施例示出的一种病灶图像的识别设备800的框图。如图3所示，该病灶图像的识别设备800可以包括：处理器801，存储器802。该病灶图像的识别设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该病灶图像的识别设备800的整体操作，以完成上述的病灶图像的识别方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该病灶图像的识别设备800的操作，这些数据例如可以包括用于在该病灶图像的识别设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该病灶图像的识别设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，病灶图像的识别设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的病灶图像的识别方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的病灶图像的识别方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由病灶图像的识别设备800的处理器801执行以完成上述的病灶图像的识别方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种病灶图像的识别方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的病灶图像的识别方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
综上所述，本发明通过提取平均灰度值和提取标准图像轮廓特征，根据字典训练算法、稀疏表示分类算法SRC和深度学习的卷积神经网络，可以替代医生发现医疗图像中的潜在病情，并自动地在医疗图像上进行病灶组织的识别标记，以便提醒医生做进一步的诊断，及时确诊病情，进而能够减轻医生的工作强度，及时确诊是否有病变发生，避免耽搁病情的治疗时机，尤其有助于早期病变的发现。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种病灶图像的识别方法，其特征在于，包括：
获取病灶的磁共振图像样本，对所述磁共振图像样本进行图像分割处理，得到分割处理后的至少一个的磁共振图像样本；
对所述磁共振图像样本进行超像素提取平均灰度值，基于预设的纹理特征和局部灰度特征，对提取后的所述磁共振图像样本进行特征融合，得到融合之后的特征；所述融合特征包括所述磁共振图像样本的轮廓形状特征和灰度图像特征；
获取第一信息，所述第一信息包括至少两种不同器官组织的标准医疗图像，针对每种器官组织的所述标准医疗图像，分别提取出对应的标准图像轮廓特征；
根据融合之后的特征和所述第一信息,利用字典训练算法和稀疏表示分类算法SRC,对所述磁共振图像样本进行分类,得到分类后的所述磁共振图像样本的分割结果；
采用深度学习的卷积神经网络模型，针对所述分割结果进行计算得到所述磁共振图像样本的识别结果。
2.根据权利要求1所述的病灶图像的识别方法，其特征在于,所述获取病灶的磁共振图像样本，之后包括：
对所述磁共振图像样本进行预处理，所述预处理包括对所述磁共振图像样本中的图像进行缩放，其中包括：对所述磁共振图像样本进行读取，并按预设倍数对所述磁共振图像样本进行缩小处理；
针对缩小后的所述磁共振图像样本，去除超过预设比例的背景区域，得到去除背景后的所述磁共振图像样本；
利用高斯滤波处理，对所述磁共振图像样本进行噪音弱化；
根据边缘损失函数，对弱化后噪音的所述磁共振图像样本进行优化处理，得到优化后的所述磁共振图像样本。
3.根据权利要求1所述的病灶图像的识别方法，其特征在于,所述对所述磁共振图像样本进行图像分割处理，其中包括：
根据伽马变换原理，对所述磁共振图像样本进行图像增强，得到增强后的所述磁共振图像样本；
基于U-net学习模型，对所述磁共振图像样本进行分割，得到分割后的所述磁共振图像样本；
对分割后的所述磁共振图像样本进行二值化处理，得到二值磁共振图像样本，并对所述二值磁共振图像样本做相应的平滑处理，得到分割后的所述磁共振图像样本。
4.根据权利要求1所述的病灶图像的识别方法，其特征在于,所述获取第一信息，之后包括：
获取第二信息，所述第二信息包括每种器官组织的所述标准医疗图像以及每个所述标准医疗图像所对应的图像识别类型，其中，针对各种所述图像识别类型，对应的样本医疗图像的数目不少于2000张；
将所述第二信息作为训练样本，输入至预设的病灶检测模型中进行病灶图像识别训练，其中，将所述样本医疗图像作为样本输入数据，将与所述样本医疗图像对应的所述图像识别类型作为样本校验数据；
根据训练得到的所述图像识别类型与所述样本校验数据的匹配结果，对所述匹配结果进行优化，直到完成训练或训练所述图像识别类型与所述样本校验数据的匹配率达到预设的阈值为止。
5.一种病灶图像的识别装置，其特征在于，包括：
获取模块:用于获取病灶的磁共振图像样本，对所述磁共振图像样本进行图像分割处理，得到分割处理后的至少一个的磁共振图像样本；
融合模块:用于对所述磁共振图像样本进行超像素提取平均灰度值，基于预设的纹理特征和局部灰度特征，对提取后的所述磁共振图像样本进行特征融合，得到融合之后的特征；
提取模块:用于获取第一信息，所述第一信息包括至少两种不同器官组织的标准医疗图像，针对每种器官组织的所述标准医疗图像，分别提取出对应的标准图像轮廓特征；
分类模块:用于根据融合之后的特征和所述第一信息,利用字典训练算法和稀疏表示分类算法SRC,对所述磁共振图像样本进行分类,得到分类后的所述磁共振图像样本的分割结果；
计算模块:用于采用深度学习的卷积神经网络模型，针对所述分割结果进行计算得到所述磁共振图像样本的识别结果。
6.根据权利要求5所述的病灶图像的识别装置，其特征在于，所述获取模块,之后包括:
读取模块:用于对所述磁共振图像样本进行预处理，所述预处理包括对所述磁共振图像样本中的图像进行缩放，其中包括：对所述磁共振图像样本进行读取，并按预设倍数对所述磁共振图像样本进行缩小处理；
去除模块:用于针对缩小后的所述磁共振图像样本，去除超过预设比例的背景区域，得到去除背景后的所述磁共振图像样本；
弱化模块:用于利用高斯滤波处理，对所述磁共振图像样本进行噪音弱化；
处理模块:用于根据边缘损失函数，对弱化后噪音的所述磁共振图像样本进行优化处理，得到优化后的所述磁共振图像样本。
7.根据权利要求5所述的病灶图像的识别装置，其特征在于，所述获取模块,其中包括:
增强单元:用于根据伽马变换原理，对所述磁共振图像样本进行图像增强，得到增强后的所述磁共振图像样本；
分割单元:用于基于U-net学习模型，对所述磁共振图像样本进行分割，得到分割后的所述磁共振图像样本；
第一处理单元:用于对分割后的所述磁共振图像样本进行二值化处理，得到二值磁共振图像样本，并对所述二值磁共振图像样本做相应的平滑处理，得到分割后的所述磁共振图像样本。
8.根据权利要求5所述的病灶图像的识别装置，其特征在于，所述提取模块,之后包括:
获取单元:用于获取第二信息，所述第二信息包括每种器官组织的所述标准医疗图像以及每个所述标准医疗图像所对应的图像识别类型，其中，针对各种所述图像识别类型，对应的样本医疗图像的数目不少于2000张；
输入单元:用于将所述第二信息作为训练样本，输入至预设的病灶检测模型中进行病灶图像识别训练，其中，将所述样本医疗图像作为样本输入数据，将与所述样本医疗图像对应的所述图像识别类型作为样本校验数据；
匹配单元:用于根据训练得到的所述图像识别类型与所述样本校验数据的匹配结果，对所述匹配结果进行优化，直到完成训练或训练所述图像识别类型与所述样本校验数据的匹配率达到预设的阈值为止。
9.一种病灶图像的识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述病灶图像的识别方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述病灶图像的识别方法的步骤。
CN202210721674.5A 2022-06-17 2022-06-17 一种病灶图像的识别方法、装置、设备及可读存储介质 Withdrawn CN115100494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210721674.5A CN115100494A (zh) 2022-06-17 2022-06-17 一种病灶图像的识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210721674.5A CN115100494A (zh) 2022-06-17 2022-06-17 一种病灶图像的识别方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115100494A true CN115100494A (zh) 2022-09-23

Family

ID=83292427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210721674.5A Withdrawn CN115100494A (zh) 2022-06-17 2022-06-17 一种病灶图像的识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115100494A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115274099A (zh) * 2022-09-26 2022-11-01 之江实验室 一种人与智能交互的计算机辅助诊断系统与方法
CN116152185A (zh) * 2023-01-30 2023-05-23 北京透彻未来科技有限公司 一种基于深度学习的胃癌病理诊断系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115274099A (zh) * 2022-09-26 2022-11-01 之江实验室 一种人与智能交互的计算机辅助诊断系统与方法
CN115274099B (zh) * 2022-09-26 2022-12-30 之江实验室 一种人与智能交互的计算机辅助诊断系统与方法
CN116152185A (zh) * 2023-01-30 2023-05-23 北京透彻未来科技有限公司 一种基于深度学习的胃癌病理诊断系统

Similar Documents

Publication Publication Date Title
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN109461495B (zh) 一种医学图像的识别方法、模型训练的方法及服务器
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
JP4999163B2 (ja) 画像処理方法および装置ならびにプログラム
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
CN110689525B (zh) 基于神经网络识别淋巴结的方法及装置
US11783488B2 (en) Method and device of extracting label in medical image
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN107688815B (zh) 医学图像的分析方法和分析系统以及存储介质
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN110880177A (zh) 一种图像识别方法及装置
Montaha et al. A shallow deep learning approach to classify skin cancer using down-scaling method to minimize time and space complexity
Khordehchi et al. Automatic lung nodule detection based on statistical region merging and support vector machines
CN115601299A (zh) 基于图像的肝硬化状态智能评估系统及其方法
Nagaraj et al. Carotid wall segmentation in longitudinal ultrasound images using structured random forest
Queiroz et al. Endoscopy image restoration: A study of the kernel estimation from specular highlights
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
JP7019104B2 (ja) 閾値の学習方法
Sharma et al. Solving image processing critical problems using machine learning
Yadav et al. Brain Tumor Detection Using Deep Learning
Chao et al. Instance-aware image dehazing
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220923

WW01 Invention patent application withdrawn after publication