CN116703837A - 一种基于mri图像的肩袖损伤智能识别方法及装置 - Google Patents

一种基于mri图像的肩袖损伤智能识别方法及装置 Download PDF

Info

Publication number
CN116703837A
CN116703837A CN202310592019.9A CN202310592019A CN116703837A CN 116703837 A CN116703837 A CN 116703837A CN 202310592019 A CN202310592019 A CN 202310592019A CN 116703837 A CN116703837 A CN 116703837A
Authority
CN
China
Prior art keywords
rotator cuff
cuff injury
model
image
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310592019.9A
Other languages
English (en)
Other versions
CN116703837B (zh
Inventor
刘振龙
李孟祺
房景超
侯浩楠
郭金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
University of Science and Technology Beijing USTB
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Peking University Third Hospital Peking University Third Clinical Medical College filed Critical University of Science and Technology Beijing USTB
Priority to CN202310592019.9A priority Critical patent/CN116703837B/zh
Publication of CN116703837A publication Critical patent/CN116703837A/zh
Application granted granted Critical
Publication of CN116703837B publication Critical patent/CN116703837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及MRI图像处理技术领域，特别是指一种基于MRI图像的肩袖损伤智能识别方法及装置。一种基于MRI图像的肩袖损伤智能识别方法包括：采集患者数据，对患者数据进行处理，获得训练数据；基于U‑net网络结构和FPN网络结构建立模型，获得待训练肩袖损伤识别模型；采用训练数据，对待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型；将待识别MRI图像，输入肩袖损伤识别模型，获得肩袖识别结果。本发明是一种准确、高效的基于MRI图像的肩袖损伤智能识别方法。

Description

一种基于MRI图像的肩袖损伤智能识别方法及装置
技术领域
本发明涉及MRI图像处理技术领域，特别是指一种基于MRI图像的肩袖损伤智能识别方法及装置。
背景技术
随着大数据和人工智能技术的快速发展，医学影像已经变成了现代医学最重要的临床诊断手段之一。基于肩关节核磁的肩袖损伤智能诊断是人工智能医学影像辅助诊断研究热点的开创性内容，有取得大量研究成果的前景。当前大数据、人工智能、云计算等技术的快速发展，能处理运算大量的医学影像数据资源。
肩袖撕裂是一种十分常见的、可导致肩外展无力的肩关节退形性病变，其发生率与年龄成正相关。正常人群中肩袖损伤占肩部疾病的5％～40％，50岁人群中肩袖撕裂的发病率为13％，60岁人群中的发病率为20％，70岁人群中的发病率为31％。基于肩关节核磁的肩袖损伤智能识别算法的AI服务就是为了有效的解决此难题而产生的。肩袖损伤的临床诊断难度大，误诊、漏诊率高，尤其易与肩周炎混淆，往往导致诊治延误，甚至病情加重。
在现有技术中，缺乏一种准确、高效的基于MRI图像的肩袖损伤智能识别方法。
发明内容
本发明实施例提供了一种基于MRI图像的肩袖损伤智能识别方法及装置。所述技术方案如下：
一方面，提供了一种基于MRI图像的肩袖损伤智能识别方法，该方法由电子设备实现，该方法包括：
采集患者数据，对所述患者数据进行处理，获得训练数据；
基于U-net网络结构和FPN网络结构建立模型，获得待训练肩袖损伤识别模型；
采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型；
将待识别MR I图像，输入所述肩袖损伤识别模型，获得肩袖识别结果。
可选地，所述采集患者数据，对所述患者数据进行处理，获得训练数据，包括：
采集患者数据，将所述患者数据转化为图片，获得第一特征数据；
将所述第一特征数据中的拍摄不清晰图像删除，获得第二特征数据；
根据第二特征数据生成图像标注，根据所述第二特征数据和所述图像标注，获得第三特征数据；
对所述第三特征数据进行归一化处理，获得训练数据。
其中，所述待训练肩袖损伤识别模型是三段分层网络结构；所述待训练肩袖损伤识别模型包括病灶描述模型以及病情分类模型。
其中，所述三段分层网络结构包括前段网络结构、中段网络结构和后段网络结构；
所述前段网络结构用于根据MRI图像中的前段图像进行肩袖损伤识别；
所述中段网络结构用于根据MRI图像中的中段图像进行肩袖损伤识别；所述中段网络结构基于U-net网络结构以及FPN网络结构，加入自注意力机制进行构建；
所述后段网络结构用于根据MRI图像中的后段图像进行肩袖损伤识别。
可选地，所述采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型，包括：
采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得训练后肩袖损伤识别结果；
基于所述训练后肩袖损伤识别结果进行计算，得到模型损失函数；
根据模型损失函数，对所述待训练肩袖损伤识别模型进行迭代优化，获得训练后肩袖损伤识别模型；
根据所述训练数据以及所述训练后肩袖损伤识别模型进行计算，得到验证误差；
当所述验证误差小于预设阈值时，获得肩袖损伤识别模型。
可选地，所述将待识别MRI图像，输入所述肩袖损伤识别模型，获得肩袖识别结果，包括：
将待识别MR I图像进行处理，获得待识别前段图像、待识别中段图像和待识别后段图像；
将所述待识别前段图像，通过所述肩袖损伤识别模型的前段网络进行识别，获得前段网络识别结果；
将所述待识别中段图像，通过所述肩袖损伤识别模型的中段网络进行识别，获得中段网络识别结果；
将所述待识别后段图像，通过所述肩袖损伤识别模型的后段网络进行识别，获得后段网络识别结果；
基于所述前段网络识别结果、所述中段网络识别结果和所述后段网络识别结果进行加权计算，获得肩袖识别结果。
另一方面，提供了一种基于MRI图像的肩袖损伤智能识别装置，该装置应用于一种基于MR I图像的肩袖损伤智能识别方法，该装置包括：
数据获取模块，用于采集患者数据，对所述患者数据进行处理，获得训练数据；
模型构建模块，用于基于U-net网络结构和FPN网络结构建立模型，获得待训练肩袖损伤识别模型；
模型训练模块，用于采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型；
肩袖损伤识别模块，用于将待识别MRI图像，输入所述肩袖损伤识别模型，获得肩袖识别结果。
可选地，所述数据获取模块，进一步用于：
采集患者数据，将所述患者数据转化为图片，获得第一特征数据；
将所述第一特征数据中的拍摄不清晰图像删除，获得第二特征数据；
根据第二特征数据生成图像标注，根据所述第二特征数据和所述图像标注，获得第三特征数据；
对所述第三特征数据进行归一化处理，获得训练数据。
其中，所述待训练肩袖损伤识别模型是三段分层网络结构；所述待训练肩袖损伤识别模型包括病灶描述模型以及病情分类模型。
其中，所述三段分层网络结构包括前段网络结构、中段网络结构和后段网络结构；
所述前段网络结构用于根据MRI图像中的前段图像进行肩袖损伤识别；
所述中段网络结构用于根据MRI图像中的中段图像进行肩袖损伤识别；所述中段网络结构基于U-net网络结构以及FPN网络结构，加入自注意力机制进行构建；
所述后段网络结构用于根据MRI图像中的后段图像进行肩袖损伤识别。
可选地，所述模型训练模块，进一步用于：
采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得训练后肩袖损伤识别结果；
基于所述训练后肩袖损伤识别结果进行计算，得到模型损失函数；
根据模型损失函数，对所述待训练肩袖损伤识别模型进行迭代优化，获得训练后肩袖损伤识别模型；
根据所述训练数据以及所述训练后肩袖损伤识别模型进行计算，得到验证误差；
当所述验证误差小于预设阈值时，获得肩袖损伤识别模型。
可选地，所述肩袖损伤识别模块，进一步用于：
将待识别MR I图像进行处理，获得待识别前段图像、待识别中段图像和待识别后段图像；
将所述待识别前段图像，通过所述肩袖损伤识别模型的前段网络进行识别，获得前段网络识别结果；
将所述待识别中段图像，通过所述肩袖损伤识别模型的中段网络进行识别，获得中段网络识别结果；
将所述待识别后段图像，通过所述肩袖损伤识别模型的后段网络进行识别，获得后段网络识别结果；
基于所述前段网络识别结果、所述中段网络识别结果和所述后段网络识别结果进行加权计算，获得肩袖识别结果。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于MRI图像的肩袖损伤智能识别方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于MRI图像的肩袖损伤智能识别方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明提出一种基于MRI图像的肩袖损伤智能识别方法，基于U-net网络结构和FPN网络结构，构建待训练肩袖损伤识别模型；使用采集的患者数据对待训练肩袖损伤识别模型中的前段、中段和后段网络进行分段训练，获得肩袖损伤识别模型，更好的针对患者数据中分段影像。针对肩袖损伤识别模型设计了两种验证误差，进一步核验评模型识别结果的准确程度。本发明是一种准确、高效的基于MRI图像的肩袖损伤智能识别方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于MRI图像的肩袖损伤智能识别方法流程图；
图2是本发明实施例提供的一种三段式网络训练示意图；
图3是本发明实施例提供的一种基于MRI图像的肩袖损伤智能识别装置框图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于MRI图像的肩袖损伤智能识别方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种基于MRI图像的肩袖损伤智能识别方法流程图，该方法的处理流程可以包括如下的步骤：
S1、采集患者数据，对患者数据进行处理，获得训练数据。
可选地，采集患者数据，对患者数据进行处理，获得训练数据，包括：
采集患者数据，将患者数据转化为图片，获得第一特征数据；
将第一特征数据中的拍摄不清晰图像删除，获得第二特征数据；
根据第二特征数据生成图像标注，根据第二特征数据和图像标注，获得第三特征数据；
对第三特征数据进行归一化处理，获得训练数据。
一种可行的实施方式中，本发明中的实验数据来源于300名北医三院运动康复科的患者，每名患者均在北医三院进行左肩或右肩进行核磁检查，院方将患者的MRI抹去个人隐私信息后将对应的MRI图像提供作为科研所需的实验数据。
原始数据均为I MM格式，只能通过专业医疗图像软件查看。每个病人的数据为10～20张二维图像构成的伪三维图像，相邻的二维图像之间有0.3mm的间隙，且每张图像厚度为3mm，因此每个病人的一个MRI序列厚度为(3.3*n-0.3)mm，其中n为二维图像的张数。
对于每个患者，通常为了保证医生观测的清晰度和准确性，一般会保留2～3份MRI序列数据。这里对每份序列数据都进行了肩袖原片的查看，去除拍摄不清晰的MRI数据，仅保留一份显示效果最佳的斜冠状矢位数据待后续的预处理。
由于原始数据为一组序列的IMM图像，这种格式的文件无法作为深度学习网络的输入，所以需要在训练前转化成PNG格式的文件。
根据python中的SimpleITK库，设计IMM转化为PNG的功能，同时加入对文件夹中IMM文件的自动循环检索功能，从而将300名病人的所有IMM文件一次性转化为PNG文件。生成的PNG图片为三通道的RGB图片，在进行训练前需要转化成张量(Tensor)。
在对原始MRI图像进行格式转化后，即开始对输入图片进行标注，生成的标注文件称为标签。在标注的过程中需要北医三院的专业医生进行实时指导，来确保标签的准确性和有效性。标注需要使用专业软件实现，这里使用labelme对输入图片中肩袖撕裂区域的外围轮廓进行勾勒，即可生成标签文件，这种标签文件为三通道RGB图片，同样需要在训练前进行预处理以便后续的对比。基于转化后的原始MRI图像和专业医生指导的图像标注，获得训练数据。
S2、基于U-net网络结构和FPN网络结构建立模型，获得待训练肩袖损伤识别模型。
一种可行的实施方式中，语义分割是图像处理和机器视觉一个重要分支。与分类任务不同，语义分割需要判断图像每个像素点的类别，进行精确分割。语义分割目前在自动驾驶、自动抠图、医疗影像等领域有着较为广泛的应用。Unet网络结构可以说是最常用、最经典的一种分割模型了，它简单、高效、易懂、容易构建、可以从小数据集中训练。
相比更早提出的全卷积网络(Fully Convolutional Networks,FCN)网络，Unet使用拼接来作为特征图的融合方式。FCN是通过特征图对应像素值的相加来融合特征的；Unet通过通道数的拼接，这样可以形成更厚的特征，当然这样会更佳消耗显存，但分割效果也会更好。
Unet的优势在于：网络层越深得到的特征图，有着更大的视野域，浅层卷积关注纹理特征，深层网络关注本质的那种特征，所以深层浅层特征都是有各自所需的意义；另外一点是通过反卷积得到的更大尺寸特征图的边缘，是缺少信息的，毕竟每一次下采样提炼特征的同时，也必然会损失一些边缘特征，而失去的特征并不能从上采样中找回，因此通过特征的拼接，来实现边缘特征的找回。
大多数医疗影像语义分割任务都会首先用Unet作为参考，这里分析一下医疗影像的特点：
医疗影像语义较为简单、结构固定。医疗影像的所有特征都很重要，因此低级特征和高级语义特征都很重要，所以U型结构的特征拼接结构发挥重要作用。
医学影像的数据较少，获取难度大，数据量可能只有几百甚至不到100，因此如果使用大型的网络模型，很容易欠拟合。大型网络的优点是更强的图像表述能力，而较为简单、数量少的医学影像并没有那么多的内容需要表述。
医学影像往往是多模态的，因此医学影像任务中，往往需要自己设计网络去提取不同的模态特征，因此轻量结构简单的Unet可以有更大的操作空间。针对Unet对小目标识别的性能劣势，本发明加入了FPN算法加强对小区域在全画幅中的识别性能，以达到更好的分割效果。
底层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。虽然也有些算法采用多尺度特征融合的方式，但是一般是采用融合后的特征做预测，而特征金字塔网络(feature pyramid networks，FPN)不一样的地方在于预测是不同特征层独立进行的。
其中，待训练肩袖损伤识别模型是三段分层网络结构；待训练肩袖损伤识别模型包括病灶描述模型以及病情分类模型。
一种可行的实施方式中，本发明中每个病人的肩袖序列遵循从前到后的顺序，一般都表现为前—中—后的三层结构，其中前端大约为1-6层序列图像，中段约为7-15层的序列图像，后端为16-20的图像。
因为前段和后段往往撕裂区域极小，从视觉效果上看类似极少部分素点构成的点簇；中段撕裂区域较大，且中段区间前后序列的形状往往是连续的，轮廓变化不大，所以三个区间的共性特征不能通过一个网络进行学习。
因为前段、后段和中间段大小和形状差异极大，它们之间的差异表现为作为深度网络学习的特征会有很多不同，因此需要设计三段分层网络，分别学习不同间隔的序列图像的特征，从而实现快速精准地分割。
本发明通过患者影响的特征信息和患者预留信息，训练病灶描述模型和病情分类模型，模型的输出为肩袖损伤病灶描述及损伤程度。
其中，三段分层网络结构包括前段网络结构、中段网络结构和后段网络结构；
前段网络结构用于根据MRI图像中的前段图像进行肩袖损伤识别；
中段网络结构用于根据MRI图像中的中段图像进行肩袖损伤识别；中段网络结构基于U-net网络结构以及FPN网络结构，加入自注意力机制进行构建；
后段网络结构用于根据MRI图像中的后段图像进行肩袖损伤识别。
一种可行的实施方式中，针对前端和后端的序列图像，设计两个新的深度网络模型，其中都是用检测+分割的架构。不过针对这两种撕裂区域占比极小的情况，FPN的检测重点区域部分会进行重点的参数调整优化，使得检测网络能够充分学习到撕裂区域位置的共性，然后将重点区域进行分割。两个网络分别输入前端和后端的序列图像进行训练，达到指标后再验证性能。
针对中端的序列图像，因为不同于前后端的撕裂特征，其撕裂区域面积较大，因此重新设计了一个FPN+Unet的深度模型，将FPN的模型弱化，即采用经典的检测参数，使得检测重点区域的时间在保证要求精度的情况下尽量减小。在检测步骤完成后，将识别出的重点区域图像送到Unet中进行分割。这里对Unet分割网络进行了架构改进，加入了自注意力机制，并创新性地设计了一种基于I oU评价准则的损失函数，使得网络在训练过程中可以最优化分割效果并给出最佳分割指标。
S3、采用训练数据，对待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型。
可选地，采用训练数据，对待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型，包括：
采用训练数据，对待训练肩袖损伤识别模型进行训练，获得训练后肩袖损伤识别结果；
基于训练后肩袖损伤识别结果进行计算，得到模型损失函数；
根据模型损失函数，对待训练肩袖损伤识别模型进行迭代优化，获得训练后肩袖损伤识别模型；
根据训练数据以及训练后肩袖损伤识别模型进行计算，得到验证误差；
当验证误差小于预设阈值时，获得肩袖损伤识别模型。
一种可行的实施方式中，在网络训练过程中，一组病人序列输入到计算机中，本文设计的程序会自动根据序列序号将图像分成前、中、后段三部分，将三个部分的图像分别送到三个网络中进行训练，最后根据输出的结果和评价给出最终的输出分割序列和加权融合的性能指标，在综合和细分范围内达到极佳的分割结果。
在验证阶段，使用新的肩袖数据放入网络中进行预测分割，观察训练好的网络分割效果，若达到指定的评价指标，则表示方法可行有效，可进入后期的术后愈合评估环节；术后愈合评估将和原始图像比对并结合医生经验和Sugaya分级标准给出一个综合评估结果。
根据临床设计了验证指标，验证指标包括分割区域回缩度的误差以及止点撕裂距离的误差。
分割区域回缩度估计误差为Eh，其定义如下式(1)：
其中Lr表示撕裂区域的实际回缩度，Le为撕裂区域的估计回缩度，其数学表达式如下式(2)所示：
L＝3.3n-0.3(mm) (2)
S4、将待识别MRI图像，输入肩袖损伤识别模型，获得肩袖识别结果。
可选地，将待识别MRI图像，输入肩袖损伤识别模型，获得肩袖识别结果，包括：
将待识别MRI图像进行处理，获得待识别前段图像、待识别中段图像和待识别后段图像；
将待识别前段图像，通过肩袖损伤识别模型的前段网络进行识别，获得前段网络识别结果；
将待识别中段图像，通过肩袖损伤识别模型的中段网络进行识别，获得中段网络识别结果；
将待识别后段图像，通过肩袖损伤识别模型的后段网络进行识别，获得后段网络识别结果；
基于前段网络识别结果、中段网络识别结果和后段网络识别结果进行加权计算，获得肩袖识别结果。
一种可行的实施方式中，本发明对收集到的300份病人数据进行前期人工标注和特征分析后，构建了Unet+FPN的深度学习网络，根据输入序列在不同区间设计分段训练融合的方法，最后将输出结果进行加权融合得到最终的肩袖识别结果。
本发明中阐述方法是针对肩袖撕裂的病灶进行分割和识别，肩部疾病还有很多其他的门类，深度学习网络的智能识别和分割算法可以适用于其他肩袖疾病的智能诊断，具备较为广泛的应用前景。
本发明提出一种基于MRI图像的肩袖损伤智能识别方法，基于U-net网络结构和FPN网络结构，构建待训练肩袖损伤识别模型；使用采集的患者数据对待训练肩袖损伤识别模型中的前段、中段和后段网络进行分段训练，获得肩袖损伤识别模型，更好的针对患者数据中分段影像。针对肩袖损伤识别模型设计了两种验证误差，进一步核验评模型识别结果的准确程度。本发明是一种准确、高效的基于MRI图像的肩袖损伤智能识别方法。
图3是根据一示例性实施例示出的一种基于MRI图像的肩袖损伤智能识别装置框图。参照图3，该装置包括：
数据获取模块310，用于采集患者数据，对患者数据进行处理，获得训练数据；
模型构建模块320，用于基于U-net网络结构和FPN网络结构建立模型，获得待训练肩袖损伤识别模型；
模型训练模块330，用于采用训练数据，对待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型；
肩袖损伤识别模块340，用于将待识别MRI图像，输入肩袖损伤识别模型，获得肩袖识别结果。
可选地，数据获取模块310，进一步用于：
采集患者数据，将患者数据转化为图片，获得第一特征数据；
将第一特征数据中的拍摄不清晰图像删除，获得第二特征数据；
根据第二特征数据生成图像标注，根据第二特征数据和图像标注，获得第三特征数据；
对第三特征数据进行归一化处理，获得训练数据。
其中，待训练肩袖损伤识别模型是三段分层网络结构；待训练肩袖损伤识别模型包括病灶描述模型以及病情分类模型。
其中，三段分层网络结构包括前段网络结构、中段网络结构和后段网络结构；
前段网络结构用于根据MRI图像中的前段图像进行肩袖损伤识别；
中段网络结构用于根据MRI图像中的中段图像进行肩袖损伤识别；中段网络结构基于U-net网络结构以及FPN网络结构，加入自注意力机制进行构建；
后段网络结构用于根据MRI图像中的后段图像进行肩袖损伤识别。
可选地，模型训练模块330，进一步用于：
采用训练数据，对待训练肩袖损伤识别模型进行训练，获得训练后肩袖损伤识别结果；
基于训练后肩袖损伤识别结果进行计算，得到模型损失函数；
根据模型损失函数，对待训练肩袖损伤识别模型进行迭代优化，获得训练后肩袖损伤识别模型；
根据训练数据以及训练后肩袖损伤识别模型进行计算，得到验证误差；
当验证误差小于预设阈值时，获得肩袖损伤识别模型。
可选地，肩袖损伤识别模块340，进一步用于：
将待识别MR I图像进行处理，获得待识别前段图像、待识别中段图像和待识别后段图像；
将待识别前段图像，通过肩袖损伤识别模型的前段网络进行识别，获得前段网络识别结果；
将待识别中段图像，通过肩袖损伤识别模型的中段网络进行识别，获得中段网络识别结果；
将待识别后段图像，通过肩袖损伤识别模型的后段网络进行识别，获得后段网络识别结果；
基于前段网络识别结果、中段网络识别结果和后段网络识别结果进行加权计算，获得肩袖识别结果。
本发明提出一种基于MRI图像的肩袖损伤智能识别方法，基于U-net网络结构和FPN网络结构，构建待训练肩袖损伤识别模型；使用采集的患者数据对待训练肩袖损伤识别模型中的前段、中段和后段网络进行分段训练，获得肩袖损伤识别模型，更好的针对患者数据中分段影像。针对肩袖损伤识别模型设计了两种验证误差，进一步核验评模型识别结果的准确程度。本发明是一种准确、高效的基于MRI图像的肩袖损伤智能识别方法。
图4是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现上述一种基于MRI图像的肩袖损伤智能识别方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述一种基于MRI图像的肩袖损伤智能识别方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于MRI图像的肩袖损伤智能识别方法，其特征在于，所述方法包括：
采集患者数据，对所述患者数据进行处理，获得训练数据；
基于U-net网络结构和FPN网络结构建立模型，获得待训练肩袖损伤识别模型；
采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型；
将待识别MRI图像，输入所述肩袖损伤识别模型，获得肩袖识别结果。
2.根据权利要求1所述的一种基于MRI图像的肩袖损伤智能识别方法，其特征在于，所述采集患者数据，对所述患者数据进行处理，获得训练数据，包括：
采集患者数据，将所述患者数据转化为图片，获得第一特征数据；
将所述第一特征数据中的拍摄不清晰图像删除，获得第二特征数据；
根据第二特征数据生成图像标注，根据所述第二特征数据和所述图像标注，获得第三特征数据；
对所述第三特征数据进行归一化处理，获得训练数据。
3.根据权利要求1所述的一种基于MRI图像的肩袖损伤智能识别方法，其特征在于，所述待训练肩袖损伤识别模型是三段分层网络结构；所述待训练肩袖损伤识别模型包括病灶描述模型以及病情分类模型。
4.根据权利要求3所述的一种基于MRI图像的肩袖损伤智能识别方法，其特征在于，所述三段分层网络结构包括前段网络结构、中段网络结构和后段网络结构；
所述前段网络结构用于根据MRI图像中的前段图像进行肩袖损伤识别；
所述中段网络结构用于根据MRI图像中的中段图像进行肩袖损伤识别；所述中段网络结构基于U-net网络结构以及FPN网络结构，加入自注意力机制进行构建；
所述后段网络结构用于根据MRI图像中的后段图像进行肩袖损伤识别。
5.根据权利要求1所述的一种基于MRI图像的肩袖损伤智能识别方法，其特征在于，所述采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型，包括：
采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得训练后肩袖损伤识别结果；
基于所述训练后肩袖损伤识别结果进行计算，得到模型损失函数；
根据模型损失函数，对所述待训练肩袖损伤识别模型进行迭代优化，获得训练后肩袖损伤识别模型；
根据所述训练数据以及所述训练后肩袖损伤识别模型进行计算，得到验证误差；
当所述验证误差小于预设阈值时，获得肩袖损伤识别模型。
6.根据权利要求1所述的一种基于MRI图像的肩袖损伤智能识别方法，其特征在于，所述将待识别MRI图像，输入所述肩袖损伤识别模型，获得肩袖识别结果，包括：
将待识别MRI图像进行处理，获得待识别前段图像、待识别中段图像和待识别后段图像；
将所述待识别前段图像，通过所述肩袖损伤识别模型的前段网络进行识别，获得前段网络识别结果；
将所述待识别中段图像，通过所述肩袖损伤识别模型的中段网络进行识别，获得中段网络识别结果；
将所述待识别后段图像，通过所述肩袖损伤识别模型的后段网络进行识别，获得后段网络识别结果；
基于所述前段网络识别结果、所述中段网络识别结果和所述后段网络识别结果进行加权计算，获得肩袖识别结果。
7.一种基于MRI图像的肩袖损伤智能识别装置，其特征在于，所述装置包括：
数据获取模块，用于采集患者数据，对所述患者数据进行处理，获得训练数据；
模型构建模块，用于基于U-net网络结构和FPN网络结构建立模型，获得待训练肩袖损伤识别模型；
模型训练模块，用于采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得肩袖损伤识别模型；
肩袖损伤识别模块，用于将待识别MRI图像，输入所述肩袖损伤识别模型，获得肩袖识别结果。
8.根据权利要求7所述的一种基于MRI图像的肩袖损伤智能识别装置，其特征在于，所述数据获取模块，进一步用于：
采集患者数据，将所述患者数据转化为图片，获得第一特征数据；
将所述第一特征数据中的拍摄不清晰图像删除，获得第二特征数据；
根据第二特征数据生成图像标注，根据所述第二特征数据和所述图像标注，获得第三特征数据；
对所述第三特征数据进行归一化处理，获得训练数据。
9.根据权利要求7所述的一种基于MRI图像的肩袖损伤智能识别装置，其特征在于，所述模型训练模块，进一步用于：
采用所述训练数据，对所述待训练肩袖损伤识别模型进行训练，获得训练后肩袖损伤识别结果；
基于所述训练后肩袖损伤识别结果进行计算，得到模型损失函数；
根据模型损失函数，对所述待训练肩袖损伤识别模型进行迭代优化，获得训练后肩袖损伤识别模型；
根据所述训练数据以及所述训练后肩袖损伤识别模型进行计算，得到验证误差；
当所述验证误差小于预设阈值时，获得肩袖损伤识别模型。
10.根据权利要求7所述的一种基于MRI图像的肩袖损伤智能识别装置，其特征在于，所述肩袖损伤识别模块，进一步用于：
将待识别MRI图像进行处理，获得待识别前段图像、待识别中段图像和待识别后段图像；
将所述待识别前段图像，通过所述肩袖损伤识别模型的前段网络进行识别，获得前段网络识别结果；
将所述待识别中段图像，通过所述肩袖损伤识别模型的中段网络进行识别，获得中段网络识别结果；
将所述待识别后段图像，通过所述肩袖损伤识别模型的后段网络进行识别，获得后段网络识别结果；
基于所述前段网络识别结果、所述中段网络识别结果和所述后段网络识别结果进行加权计算，获得肩袖识别结果。
CN202310592019.9A 2023-05-24 2023-05-24 一种基于mri图像的肩袖损伤智能识别方法及装置 Active CN116703837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310592019.9A CN116703837B (zh) 2023-05-24 2023-05-24 一种基于mri图像的肩袖损伤智能识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310592019.9A CN116703837B (zh) 2023-05-24 2023-05-24 一种基于mri图像的肩袖损伤智能识别方法及装置

Publications (2)

Publication Number Publication Date
CN116703837A true CN116703837A (zh) 2023-09-05
CN116703837B CN116703837B (zh) 2024-02-06

Family

ID=87842476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310592019.9A Active CN116703837B (zh) 2023-05-24 2023-05-24 一种基于mri图像的肩袖损伤智能识别方法及装置

Country Status (1)

Country Link
CN (1) CN116703837B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522861A (zh) * 2023-12-26 2024-02-06 吉林大学 用于动物肩袖损伤的智能监测系统及方法

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180160981A1 (en) * 2016-12-09 2018-06-14 General Electric Company Fully automated image optimization based on automated organ recognition
CN110910413A (zh) * 2019-11-28 2020-03-24 中国人民解放军战略支援部队航天工程大学 一种基于U-Net的ISAR图像分割方法
CN111161272A (zh) * 2019-12-31 2020-05-15 北京理工大学 一种基于生成对抗网络的胚胎组织分割方法
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN111639704A (zh) * 2020-05-28 2020-09-08 深圳壹账通智能科技有限公司 目标识别方法、装置及计算机可读存储介质
US20200380695A1 (en) * 2019-05-28 2020-12-03 Zongwei Zhou Methods, systems, and media for segmenting images
CN112381762A (zh) * 2020-10-19 2021-02-19 深圳视见医疗科技有限公司 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
CN112699869A (zh) * 2020-12-17 2021-04-23 深圳视见医疗科技有限公司 基于深度学习的肋骨骨折辅助检测方法及图像识别方法
WO2021126370A1 (en) * 2019-12-20 2021-06-24 Genentech, Inc. Automated tumor identification and segmentation with medical images
WO2021211787A1 (en) * 2020-04-15 2021-10-21 Children's Hospital Medical Center Systems and methods for quantification of liver fibrosis with mri and deep learning
CN113705685A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN114004289A (zh) * 2021-10-25 2022-02-01 泰康保险集团股份有限公司 一种车辆损伤识别模型建立方法、损伤识别方法及装置
CN114596468A (zh) * 2022-03-14 2022-06-07 瀚云科技有限公司 病虫害识别及模型训练方法、装置、电子设备及存储介质
CN114693604A (zh) * 2022-03-07 2022-07-01 北京医准智能科技有限公司 脊椎医学影像处理方法、装置、设备及存储介质
CA3204439A1 (en) * 2021-01-07 2022-07-14 Saad NADEEM Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
CN114936975A (zh) * 2022-05-23 2022-08-23 南昌逸勤科技有限公司 一种模型的训练方法、人脸识别方法、装置及介质
US20220265233A1 (en) * 2018-09-12 2022-08-25 Orthogrid Systems Inc. Artificial Intelligence Intra-Operative Surgical Guidance System and Method of Use
CN115063632A (zh) * 2022-06-20 2022-09-16 平安科技（深圳）有限公司 基于人工智能的车辆损伤识别方法、装置、设备及介质
CN115222943A (zh) * 2022-07-28 2022-10-21 平安科技（深圳）有限公司 基于人工智能的倒车镜损伤检测方法及相关设备
CN115343703A (zh) * 2022-07-26 2022-11-15 哈尔滨工业大学 一种基于自训练的3d-cnn探地雷达三维图像的管线识别方法
WO2023275086A1 (en) * 2021-06-29 2023-01-05 Basf Agro Trademarks Gmbh Method and system for generating a crop failure map
CN115730509A (zh) * 2022-09-20 2023-03-03 中国人民解放军军事科学院国防科技创新研究院 基于机器学习的航天器舱内温度场重建任务研究基准方法
CN115760780A (zh) * 2022-11-17 2023-03-07 广东恒电信息科技股份有限公司 一种基于神经网络与连续介质模型的mri影像诊断方法
US11610054B1 (en) * 2021-10-07 2023-03-21 Adobe Inc. Semantically-guided template generation from image content
CN115909140A (zh) * 2022-11-02 2023-04-04 智慧互通科技股份有限公司 基于高位视频监控的视频目标分割方法以及系统
CN116129100A (zh) * 2022-12-08 2023-05-16 国能铁路装备有限责任公司 一种货车零件定位与故障识别方法、装置、设备及介质

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180160981A1 (en) * 2016-12-09 2018-06-14 General Electric Company Fully automated image optimization based on automated organ recognition
US20220265233A1 (en) * 2018-09-12 2022-08-25 Orthogrid Systems Inc. Artificial Intelligence Intra-Operative Surgical Guidance System and Method of Use
US20200380695A1 (en) * 2019-05-28 2020-12-03 Zongwei Zhou Methods, systems, and media for segmenting images
CN110910413A (zh) * 2019-11-28 2020-03-24 中国人民解放军战略支援部队航天工程大学 一种基于U-Net的ISAR图像分割方法
WO2021126370A1 (en) * 2019-12-20 2021-06-24 Genentech, Inc. Automated tumor identification and segmentation with medical images
CN111161272A (zh) * 2019-12-31 2020-05-15 北京理工大学 一种基于生成对抗网络的胚胎组织分割方法
WO2021211787A1 (en) * 2020-04-15 2021-10-21 Children's Hospital Medical Center Systems and methods for quantification of liver fibrosis with mri and deep learning
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN111639704A (zh) * 2020-05-28 2020-09-08 深圳壹账通智能科技有限公司 目标识别方法、装置及计算机可读存储介质
CN112381762A (zh) * 2020-10-19 2021-02-19 深圳视见医疗科技有限公司 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
CN112699869A (zh) * 2020-12-17 2021-04-23 深圳视见医疗科技有限公司 基于深度学习的肋骨骨折辅助检测方法及图像识别方法
US20220198230A1 (en) * 2020-12-17 2022-06-23 Shenzhen Imsight Medical Technology Co., Ltd. Auxiliary detection method and image recognition method for rib fractures based on deep learning
CA3204439A1 (en) * 2021-01-07 2022-07-14 Saad NADEEM Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
WO2023275086A1 (en) * 2021-06-29 2023-01-05 Basf Agro Trademarks Gmbh Method and system for generating a crop failure map
CN113705685A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 疾病特征识别模型训练、疾病特征识别方法、装置及设备
US11610054B1 (en) * 2021-10-07 2023-03-21 Adobe Inc. Semantically-guided template generation from image content
CN114004289A (zh) * 2021-10-25 2022-02-01 泰康保险集团股份有限公司 一种车辆损伤识别模型建立方法、损伤识别方法及装置
CN114693604A (zh) * 2022-03-07 2022-07-01 北京医准智能科技有限公司 脊椎医学影像处理方法、装置、设备及存储介质
CN114596468A (zh) * 2022-03-14 2022-06-07 瀚云科技有限公司 病虫害识别及模型训练方法、装置、电子设备及存储介质
CN114936975A (zh) * 2022-05-23 2022-08-23 南昌逸勤科技有限公司 一种模型的训练方法、人脸识别方法、装置及介质
CN115063632A (zh) * 2022-06-20 2022-09-16 平安科技（深圳）有限公司 基于人工智能的车辆损伤识别方法、装置、设备及介质
CN115343703A (zh) * 2022-07-26 2022-11-15 哈尔滨工业大学 一种基于自训练的3d-cnn探地雷达三维图像的管线识别方法
CN115222943A (zh) * 2022-07-28 2022-10-21 平安科技（深圳）有限公司 基于人工智能的倒车镜损伤检测方法及相关设备
CN115730509A (zh) * 2022-09-20 2023-03-03 中国人民解放军军事科学院国防科技创新研究院 基于机器学习的航天器舱内温度场重建任务研究基准方法
CN115909140A (zh) * 2022-11-02 2023-04-04 智慧互通科技股份有限公司 基于高位视频监控的视频目标分割方法以及系统
CN115760780A (zh) * 2022-11-17 2023-03-07 广东恒电信息科技股份有限公司 一种基于神经网络与连续介质模型的mri影像诊断方法
CN116129100A (zh) * 2022-12-08 2023-05-16 国能铁路装备有限责任公司 一种货车零件定位与故障识别方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PU, BIN等: "Mobileunet-fpn: A semantic segmentation model for fetal ultrasound four-chamber segmentation in edge computing environments", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, vol. 26, no. 11, pages 5540 - 5550, XP011926884, DOI: 10.1109/JBHI.2022.3182722 *
林枫茗: "基于深度学习的脑肿瘤分割算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 2, pages 070 - 577 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522861A (zh) * 2023-12-26 2024-02-06 吉林大学 用于动物肩袖损伤的智能监测系统及方法
CN117522861B (zh) * 2023-12-26 2024-04-19 吉林大学 用于动物肩袖损伤的智能监测系统及方法

Also Published As

Publication number Publication date
CN116703837B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US10636147B2 (en) Method for characterizing images acquired through a video medical device
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
US12051199B2 (en) Image processing method and apparatus, server, medical image processing device and storage medium
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测系统
CN116188879B (zh) 图像分类、图像分类模型训练方法、装置、设备及介质
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
Wang et al. Medical matting: a new perspective on medical segmentation with uncertainty
CN117237351B (zh) 一种超声图像分析方法以及相关装置
Alawad et al. Machine learning and deep learning techniques for optic disc and cup segmentation–a review
CN116580198A (zh) 基于跨尺度交互式融合Transformer模型的医学图像实例分割方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
Tu An integrated framework for image segmentation and perceptual grouping
Kong et al. Tooth-marked tongue recognition based on mask scoring R-CNN
CN116091427A (zh) 一种皮肤病分类装置、分类方法及存储介质
CN114862868A (zh) 基于ct灌注源数据的脑卒中最终梗死区分割方法
CN113850794A (zh) 一种图像处理方法及装置
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
Kassim et al. A cell augmentation tool for blood smear analysis
Sun et al. Intelligent Diagnosis Technology for Skin Cancer Based on Residual Neural Network
CN117710233B (zh) 一种内窥图像的景深扩展方法及装置
EP4116875A1 (en) Image analysis system for forensic facial comparison
Ashwini et al. A DEEP LEARNING APPROACH FOR SEGMENTATION OF NOISY MEDICAL IMAGES USING SCD-U-NET
Liu et al. A semantic segmentation algorithm supported by image processing and neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant