CN116645346A - 肩袖扫描图像的处理方法、电子设备及存储介质 - Google Patents

肩袖扫描图像的处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116645346A
CN116645346A CN202310610450.1A CN202310610450A CN116645346A CN 116645346 A CN116645346 A CN 116645346A CN 202310610450 A CN202310610450 A CN 202310610450A CN 116645346 A CN116645346 A CN 116645346A
Authority
CN
China
Prior art keywords
rotator cuff
cyst
image
module
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310610450.1A
Other languages
English (en)
Inventor
郭金
侯浩楠
刘振龙
房景超
李孟祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
University of Science and Technology Beijing USTB
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Peking University Third Hospital Peking University Third Clinical Medical College filed Critical University of Science and Technology Beijing USTB
Priority to CN202310610450.1A priority Critical patent/CN116645346A/zh
Publication of CN116645346A publication Critical patent/CN116645346A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供肩袖扫描图像的处理方法、电子设备及存储介质，在该方法中，包括：获取待处理的肩袖扫描图像；将待处理的肩袖扫描图像输入至预设的肩袖囊肿检测模型，以由肩袖囊肿检测模型输出相应的肩袖囊肿识别结果；其中，肩袖囊肿识别结果为存在对应囊肿区域位置的肩袖囊肿，或者肩袖囊肿识别结果为不存在肩袖囊肿；肩袖囊肿检测模型采用YOLOv5深度神经网络，肩袖囊肿检测模型的训练样本集包含多个预标注了相应的肩袖囊肿标签的肩袖扫描图像样本，以及肩袖囊肿标签包含肩袖囊肿的标注区域位置。由此，利用YOLOv5深度神经网络对图像中小目标的识别结果比较敏感的特点，能有效提高对图像中的肩袖囊肿区域的小目标检测精度。

Description

肩袖扫描图像的处理方法、电子设备及存储介质
技术领域
本发明涉及图像处理分析技术领域，尤其涉及一种肩袖扫描图像的处理方法、电子设备及存储介质。
背景技术
肩袖损伤是临床上最常见的引起肩部疼痛、功能受限的原因之一。目前作为肩袖损伤诊断方法包括病史，症状，体征，影像学检测等，缺少任何单一的诊断要素均难以做出明确诊断，“多位一体化”是当前临床诊断肩袖损伤最常用的诊疗手段。
在MRI(Magnetic Resonance Imaging,磁共振成像)技术普及之前，肩袖损伤的确诊率并不高，而近年来随着MRI等检查手段的发展和普及，肩袖损伤的确诊率也稳步提高。有研究表明，肩关节MRI对肱二头肌肌腱长头完全撕裂的敏感度为67％，特异性可高达98％。同时对冈上肌肌肉等撕裂的敏感性也极高，故它也被认为是目前临床上用于诊断肩袖损伤最为重要的一项影像学检查之一。MRI不仅可以较为清晰地判断肩关节内的炎症发生程度，又直观地展现患者的肩袖结构，判断肩袖损伤发生部位，为进一步评估手术特征、设计手术方案提供依据。
随着AI(Artificial Intelligence,人工智能)技术的不断发展，其在医学方面的研究也在逐渐多样化，各类算法也在不断完善，例如通过AI技术自动识别脑部肿瘤，肝脏肿瘤，直肠癌变，以向医师提供可靠辅助诊断意见。
但是，针对如何利用人工智能解决识别复杂肩部囊肿，目前业界暂未提出较佳的技术解决方案，此外肩部囊肿为小目标检测问题，而直接复用其他类似的肿瘤识别算法无法保障识别性能。
发明内容
本发明实施例提供了一种肩袖扫描图像的处理方法、电子设备及存储介质，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种肩袖扫描图像的处理方法，包括：获取待处理的肩袖扫描图像；将所述待处理的肩袖扫描图像输入至预设的肩袖囊肿检测模型，以由所述肩袖囊肿检测模型输出相应的肩袖囊肿识别结果；其中，所述肩袖囊肿识别结果为存在对应囊肿区域位置的肩袖囊肿，或者所述肩袖囊肿识别结果为不存在肩袖囊肿；所述肩袖囊肿检测模型采用YOLOv5深度神经网络，所述肩袖囊肿检测模型的训练样本集包含多个预标注了相应的肩袖囊肿标签的肩袖扫描图像样本，以及所述肩袖囊肿标签包含肩袖囊肿的标注区域位置。
优选地，所述肩袖囊肿检测模型包括级联的第一特征处理模块、第二特征处理模块和输出模块，所述第一特征处理模块包含C3模块和空间池化SPPF模块，所述第二特征处理模块采用PANET网络结构，用于对所述第一中间处理模块中不同网络层的信息进行融合，所述输出模块包含多层输出层，每一输出层分别用于检测处理相应尺寸大小的目标向量，所述目标向量用于描述肩袖囊肿的位置。
优选地，所述第一特征处理模块还包含MobileNetv2模块，所述MobileNetv2模块针对不同通道的图像特征分别设置有相应的注意力权重。
优选地，所述第一特征处理模块还包含级联至MobileNetv2模块的输出端的ODConv模块。
优选地，在将所述待处理的肩袖扫描图像输入至预设的肩袖囊肿检测模型，以由所述肩袖囊肿检测模型输出相应的肩袖囊肿识别结果之后，所述方法还包括：在确定所述肩袖囊肿识别结果为存在对应囊肿区域位置的肩袖囊肿的情况下，提取所述肩袖扫描图像中的至少一个肩部特征区域；所述肩部区域包括选自以下中的一者或多者：肩峰、喙突、肩胛盂唇和肩关节；根据所述囊肿区域位置与所述肩部特征区域之间的相对位置，确定相应的肩袖囊肿类别，所述肩袖囊肿类别包含以下中的任意一者：肩峰下滑囊囊肿、喙突下的滑囊囊肿、肩胛盂唇外侧的内囊肿、肩关节上方囊肿。
优选地，所述肩袖囊肿检测模型包含数据增强模块，所述数据增强模块用于在模型训练阶段生成与所述训练样本集相应的增强样本集。
优选地，所述获取待处理的肩袖扫描图像，包括：获取待处理的肩袖MRI图像；根据预设的图像格式转换算法，确定所述肩袖MRI图像所对应的肩袖扫描图像；所述图像格式转换算法用于将DICOM格式的图像转换为PNG格式的图像。
优选地，在根据预设的图像格式转换算法，确定所述肩袖MRI图像所对应的肩袖扫描图像之后，所述方法包括：裁剪所述肩袖扫描图像中的背景图像区域。
优选地，所述肩袖囊肿检测模型的损失函数采用GIOU Loss损失函数。
第二方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。
第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述方法的步骤。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述方法的步骤。
上述技术方案，与现有技术相比至少具有如下有益效果：
上述方案，通过肩袖囊肿检测模型处理肩袖扫描图像，预测图像中是否存在相应的肩袖囊肿的识别结果，利用YOLOv5深度神经网络对图像中小目标的识别结果比较敏感的特点，能有效提高对图像中的肩袖囊肿区域的小目标检测精度。此外，由于囊肿的形状大小不一，采用其他类型的神经网络会产生较大的小目标检测误差，因此通过YOLOv5深度神经网络中更加深层的网络结构，具有较强的特征提取和特征融合能力，大幅提高了肩袖囊肿识别结果的精确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的肩袖扫描图像的处理方法的一示例的流程图；
图2示出了根据本发明实施例的肩袖囊肿检测模型的一示例的结构框图；
图3示出了肩袖囊肿检测模型中的C3模块的一示例的结构示意图；
图4示出了肩袖囊肿检测模型中的空间池化SPPF模块的一示例的结构示意图；
图5示出了根据本发明实施例的肩袖囊肿检测模型中的数据增强模块的一示例的结构示意图；
图6示出了根据本发明实施例的肩袖囊肿检测模型的一示例的结构示意图；
图7示出了根据本发明实施例的改进型肩袖囊肿检测模型的一示例的结构示意图；
图8示出了第一特征处理模块中MobileNetv2模块的一示例的网络模型结构设计图；
图9示出了第一特征处理模块中ODConv模块的一示例的结构示意图；
图10示出了根据本发明实施例的肩袖扫描图像的处理方法的一示例的流程图；
图11为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
需说明的是，肩囊肿分为几类引起原因有所区别，常见的肩峰下滑囊囊肿或者是喙突下的滑囊囊肿，往往与肩关节内的无菌性炎症反应有关，多数是因为与劳损、退变导致了肩峰下滑囊炎或者是喙突下滑囊炎，核磁可以看到明显的滑囊内的积液。此外，还有一种内囊肿发生在肩胛盂唇的外侧，常常是由于盂唇有损伤，导致关节腔内的积液液体经过损伤部位渗透到关节外形成的囊肿，常发生于肩关节上方盂唇和前方盂唇的位置，发生于上方盂唇的囊肿容易压迫肩胛上神经引起上肢乏力、外旋力量减弱，前方囊肿容易引起肩关节前方疼痛，被动外旋肩关节会诱发疼痛。另外，还有一种囊肿发生在肩关节上方其实是肩锁关节的囊肿，这种囊肿与肩关节内的巨大肩袖撕裂相关。
在对肩袖医学图像的研究中，磁共振成像(MRI,Magnetic Resonance Imaging)是对肩袖撕裂损伤的最好方法。MRI不仅可以较为清晰地判断肩关节内的炎症发生程度，又直观地展现患者的肩袖结构。当前，MRI图像设备的成像速度和分辨率都得到了大幅度提高，医生阅读MRI图像的能力决定了对肩袖撕裂症状的诊断状况。
当前，大数据、人工智能、云计算等技术的快速发展，使得计算机能够处理运算大量的医学影像数据资源。由于全国优质的运动学损伤医疗资源分布不均，在肩袖损伤诊断能力偏弱的地区，医生无法做出准确及时的诊断。
随着国民健康意识增强，体育设施覆盖率提升，我国健身人群不断扩容，由于运动产生的肩袖损伤患者也在不断增多。基于AI的肩袖损伤诊断技术可以快速的、及时的、准确的为运动员进行切实的、有效的治疗和评估，为全民健康和全民运动时代保驾护航。此外，新冠疫情的突然出现使得远程会诊技术快速发展起来，但病例资料的不完整等因素使得远程会诊的诊断率没有达到门诊的水平。
鉴于此，图1示出了根据本发明实施例的肩袖扫描图像的处理方法的一示例的流程图。
关于本发明实施例方法的执行主体，其可以是任意具有计算或处理能力的控制器或处理器，以实现预测肩袖扫描图像中是否存在肩袖囊肿的目标。在一些示例中，其可以是通过软件、硬件或软硬件结合的方式被集成配置在电子设备中，并可以采用智能手机、智能手表、台式电脑、手提电脑、虚拟现实终端、增强现实终端、无线终端、膝上型便携计算机、边缘计算节点、云服务器等，在此应不加限制。
作为示例，下面将以肩袖囊肿检测系统作为执行主体，对发明实施例方法所涉及的步骤进行描述。应理解的是，肩袖囊肿检测系统可以是被部署在服务端或客户端，在此暂不进行限制。
如图1所示，在步骤S110中，获取待处理的肩袖扫描图像。
这里，肩袖扫描图像可以直接采用医学影像数据，例如MRI图像或CT图像等等。可附加或可替换地，肩袖扫描图像可以采用医学影像数据的衍生数据，例如对MRI图像进行压缩或变型等等。
具体地，肩袖囊肿检测系统可以从客户端接收肩袖扫描图像。在本发明实施例的一个示例中，客户端可以表示医学影像仪器，例如由MRI设备上传的。在本发明实施例的另一示例中，客户端可以表示软件客户端，例如用户通过操作软件客户端向肩袖囊肿检测系统上传肩袖扫描图像。
在一些业务场景下，通过客户端将肩袖扫描图像进行远程上传，调用肩袖囊肿检测系统识别肩袖扫描图像中是否存在肩袖囊肿目标。由此，通过AI辅助诊断可以避免人为主观因素的干扰，结合肩袖MRI提供准确的诊断，提升远程诊断的可靠性和准确率，让医疗技术和设备优势较大的医院进一步帮助缓解基层百姓日益增长的医疗需求与城乡医疗资源结构巨大反差之间的矛盾。
在步骤S120中，将待处理的肩袖扫描图像输入至预设的肩袖囊肿检测模型，以由肩袖囊肿检测模型输出相应的肩袖囊肿识别结果。
这里，肩袖囊肿识别结果为存在对应囊肿区域位置的肩袖囊肿，或者肩袖囊肿识别结果为不存在肩袖囊肿。另外，肩袖囊肿检测模型采用YOLOv5深度神经网络，肩袖囊肿检测模型的训练样本集包含多个预标注了相应的肩袖囊肿标签的肩袖扫描图像样本，以及肩袖囊肿标签包含肩袖囊肿的标注区域位置。
通过本发明实施例，针对囊肿小目标检测问题，使用标注了肩袖囊肿的区域位置的肩袖扫描图像样本对肩袖囊肿检测模型进行训练，使得肩袖囊肿检测模型能够快速识别出肩袖扫描图像中是否存在肩袖囊肿，并在识别到肩袖囊肿时能精准地标注相应的区域位置。
需说明的是，在本发明实施例中，创新性地提出将YOLOv5模型应用到肩袖囊肿检测任务中，能有效地完成对形状大小不一的囊肿小目标的精准识别，相对于使用其他系列的目标检测模型，具有更小的检测误差。具体地，在下文中，还列出了YOLOv5模型与其他模型针对肩袖囊肿的识别效果的对比实验结果，其更能体现出YOLOv5模型或改进型YOLOv5模型(将在下文中展开)在处理肩袖囊肿图像识别任务时的性能优越性。
在本发明实施例中，YOLOv5的网络模型，一共经过23个卷积层进行特征提取，并且相比于其他网络，YOLOv5添加了一个Prediction head使其对于小目标比较敏感，虽然可能会影响速度(但在后文中的示例中进行了改进)，但对小目标检测精度提高很多。
关于上述步骤S110，在一些实施方式中，获取待处理的肩袖MRI图像，并根据预设的图像格式转换算法，确定肩袖MRI图像所对应的肩袖扫描图像，图像格式转换算法用于将DICOM格式的图像转换为PNG格式的图像。因此，将DICOM格式的MRI图像转换成为常见的PNG图片格式，减少了内存的消耗，并能提高处理效率。
需说明的是，MRI图像中包含着患者的基本信息，包括姓名、年龄、性别、拍片时间等信息，所消耗的内存资源也较大，并且不能用平常的图像编辑器软件来打开。
在本发明实施例的一些示例中，肩袖囊肿检测系统在将DICOM格式的MRI图像转换成为常见的PNG图片格式之后，还可以裁剪肩袖扫描图像中的背景图像区域，减少了患者的隐私信息，也减少了内存的消耗。在模型训练阶段，能够提高了标注环节的标注效率，例如将转换成PNG格式的MRI患者图像在专业运动学损伤医生的指导下利用开源的标注工具Labelimg完成标注任务。
在本发明实施例的一些示例中，肩袖囊肿检测模型的损失函数采用具有较高稳定性的GIOU Loss损失函数，能有助于提升收敛速度和优化模型性能。
图2示出了根据本发明实施例的肩袖囊肿检测模型的一示例的结构框图。
如图2所示，肩袖囊肿检测模型200包括级联的数据增强模块210、第一特征处理模块220、第二特征处理模块230和输出模块240。
这里，数据增强模块210用于在模型训练阶段生成与所述训练样本集相应的增强样本集。第一特征处理模块220包含C3模块和空间池化SPPF模块，第二特征处理模块230采用PANET网络结构，用于对第一中间处理模块中不同网络层的信息进行融合，输出模块240包含多层输出层，每一输出层分别用于检测处理相应尺寸大小的目标向量，目标向量用于描述肩袖囊肿的位置，以实现肩袖囊肿检测模型能够学习并处理不同形状大小的肩袖囊肿。
图3示出了肩袖囊肿检测模型中的C3模块的一示例的结构示意图。
如图3所示，C3模块结构为CSP架构，包含了3个标准的卷积层以及多个Bottleneck模块，具体的数量可有配置文件参数乘积决定，相比与YOLOv4中的BottleneckCSP模块不同的是，残差输出后的Conv模块被去掉，concat后的标准卷积模块中的激活函数发送改变。此模块是对残差特征进行学习的主要模块，其结构分为两支，一支使用了上述指定多个Bottleneck堆叠的3个标准卷积层，另一支仅经过一个基本卷积模块，最后将两支进行concat操作。
图4示出了肩袖囊肿检测模型中的空间池化SPPF模块的一示例的结构示意图。
如图4所示，SPPF结构又称为空间金字塔池化，能将任意大小的特征图转换成固定大小的特征向量。具体地，SPPF是由SPP改进后的模型，模型的计算量变小了很多，模型的速度有所提升，实现了深层语义信息与浅层语义信息的融合，对网络的检测精度进一步提高。
在本发明实施例的一些示例中，数据增强模块210可以被称为模型的Input部分，第一特征处理模块220可以被称为模型的Backbone部分、第二特征处理模块230可以被称为模型的Neck部分，输出模块240可以被称为模型的Head部分。
图5示出了根据本发明实施例的肩袖囊肿检测模型中的数据增强模块的一示例的结构示意图。
如图5所示，通过模型的Input部分，能够进行Mosaic数据增强、对图片尺寸进行自适应处理。在一些实施方式中，Mosaic数据增强是丰富图片信息，将四张图片组合在一起，拼接得到的图片会缩放到标准尺寸再参与训练，有效提高了检测准确率。
需说明的是，目前由于肩部病变数据涉及到病人的隐私，肩部疾病数据十分短缺，导致肩部疾病结合人工智能诊断的研究发展缓慢。因此，通过Input部分，充分挖掘并丰富肩部病变图像样本，实现对肩袖囊肿检测模型的性能优化。
通过模型的Backbone部分，能有效减少计算复杂度，并且加强网络的学习性能，实现深层语义与浅层语义信息的融合，进一步提高网络的检测精度。
通过模型的Neck部分中的PANET的结构，将深层与浅层的特征相融合的FPN层与浅层并深层特征的SPPF进行结合，对Backbone中不同网络层的信息进行融合，对模型的特征提取做了增强。
基于模型的Head部分而得到一个向量，该向量能够描述目标的类别概率，目标的得分和该目标预测框的位置。示例性地，检测端一共分为三层，每层特征图的尺寸都不一样，是为了检测不同尺寸大小的目标向量。
图6示出了根据本发明实施例的肩袖囊肿检测模型的一示例的结构示意图。
如图6所示，YOLOv5在Backbone与其它系列有较大的差别。其中YOLOv5中的Focus结构在其他系列中并没有，以YOLOv5l模型结构举例，原始608*608*3的图像输入到Focus结构，首先进行切片的操作，转换为304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终会变成304*304*32的特征图。这种方法加强了CNN的深度学习能力，使网络结构在减少量化的同时保持其准确性。并且，YOLOv5在Backbone的的主干网络中应用了CSP1_X结构，降低了计算瓶颈和内存成本。
此外，在，YOLOv5的Neck部分中采用了FPN+PAN结构，使高层的特征信息更好的进行传递和融合，从而得到预测的特征图。在输出端的损失函数由Classfication Loss(分类损失函数)和Bounding Box Regression Loss(回归损失函数)两部分构成。总体来说，YOLOv5的整体网络框架适合运用于小目标检测的任务当中，由于囊肿的形状大小不一，YOLOv4及其他系列对小目标检测误差偏大，选择更加深层的网络模型，提高了特征提取和特征融合的能力。
图7示出了根据本发明实施例的改进型肩袖囊肿检测模型的一示例的结构框图。
如图7所示，Backbone部分包含MobileNetv2模块、级联至MobileNetv2模块的输出端的ODConv模块、以及空间池化SPPF模块。
需说明的是，MobileNet v2模块中设有Inverted Residuals(倒残差结构)和Linear Bottlenecks(结构的最后一层采用线性层)，相比于之前的ResNet残差结构，能够实现更高的准确率和更小的模型。图8示出了第一特征处理模块中MobileNetv2模块的一示例的网络模型结构设计图，在MobileNet v2模块的网络模型结构设计中，t是扩展因子，第一层1x1卷积层中卷积核的扩展倍率，c是输出特征矩阵深度channel，n是bottleneck的重复次数。在MobileNetV2中，先升维后降维，因此对于ResNet残差结构是两头大中间小的结构。
ODConv(Omni-Dimensional Dynamic Convolution,全维动态卷积)模块是一种动态卷积模块，在小模型上涨点效果较为明显(在大模型上涨点效果略微退化)，可被用于轻量化模型的性能优化。图9示出了第一特征处理模块中ODConv模块的一示例的结构示意图。具体地，ODConv通过并行策略引入一种多维注意力机制以对卷积核空间的四个维度学习更灵活的注意力。ODConv中，对于卷积核，对空域位置上的卷积参数赋予不用的注意力值；对不同输入通道的卷积滤波器赋予不同的注意力值；对不同输出通道的卷积滤波器赋予不同的注意力值；而则对n个整体卷积核赋予不同的值。原则上来讲，这四种类型的注意力是互补的，通过渐进式对卷积沿位置、通道、滤波器以及核等维度乘以不同的注意力将使得卷积操作对于输入存在各个维度的差异性，提供更好的性能以捕获丰富上下文信息。因此，ODCOnv可以大幅提升卷积的特征提取能力。
通过本发明实施例，基于MobileNetv2模块，针对不同通道的图像特征分别设置有相应的注意力权重，由此令不同通道对结果产生不同的作用力。基于ODConv模块，Yolo网络会对训练中囊肿区域位置更加专注。通过显式建模信道相关性来增强卷积特征的学习，使得网络能够增加其对囊肿特征的敏感性，该囊肿特征可以被后续的变换所利用。通过自动学习的方式，使用另外一个新的神经网络，获取到特征图的每个通道的重要程度，然后用这个重要程度去给每个特征赋予一个权重值，从而让神经网络重点关注某些特征通道。提升对当前任务有用的特征图的通道，并抑制对当前任务用处不大的特征通道。
图10示出了根据本发明实施例的肩袖扫描图像的处理方法的一示例的流程图。
如图10所示，在步骤S1010中，获取待处理的肩袖扫描图像。
在步骤S1020中，将待处理的肩袖扫描图像输入至预设的肩袖囊肿检测模型，以由肩袖囊肿检测模型输出相应的肩袖囊肿识别结果。
在步骤S1030中，在确定肩袖囊肿识别结果为存在对应囊肿区域位置的肩袖囊肿的情况下，提取肩袖扫描图像中的至少一个肩部特征区域。这里，肩部区域包括选自以下中的一者或多者：肩峰、喙突、肩胛盂唇和肩关节。
具体地，可以采用对应各种不同类型的肩部特征区域的图像识别模型来提取肩袖扫描图像中的各个肩部特征区域，例如针对肩峰的第一识别模型、针对喙突的第二识别模型、针对肩胛盂唇的第三识别模型和针对肩关节的第四识别模型。由此，实现对图像中肩袖中不同的肩部特征区域的识别与定位。
在步骤S1040中，根据囊肿区域位置与肩部特征区域之间的相对位置，确定相应的肩袖囊肿类别，肩袖囊肿类别包含以下中的任意一者：肩峰下滑囊囊肿、喙突下的滑囊囊肿、肩胛盂唇外侧的内囊肿、肩关节上方囊肿。关于各个肩袖囊肿类别的介绍，可以参照上文中相关部分的描述，在此便不赘述。
通过本发明实施例，肩袖囊肿检测系统除了能够识别图像中肩袖囊肿的位置之外，还能基于其针对肩袖中不同器官的相对位置，实现对肩袖囊肿类别的智能分析，能够为医生提供更多客观参考建议。
在本发明实施例的一些示例中，肩袖囊肿检测模型所用的数据样本集可以采用肩袖囊肿核磁共振图像样本集。具体地，训练集有1296张病人图像：有囊肿为216张，无囊肿为1080张。验证集130张图片。测试集共有783张肩袖MRI图像：有囊肿为72张，无囊肿为711张。
在对肩袖囊肿检测模型的训练结果进行评价时，可以参照目标检测任务的查准率、查全率以及平均精度值(Mean Average Precision，简称mAP)来判断此次目标检测任务的好坏。
查准率就是其在对所有样本的检测中，识别正确样本所占整体的比例，具体公式表达如公式(1)所示：
其中，Precision表示查准率，TP表示检测出的正确样本，FP表示检测出的错误样本。
查全率表达的是在所有检测为正确样本的样本中，检测出的真正正确的样本所占的比例。公式表达如公式(2)所示：
其中，Recall为查全率，TP是检测出的正确样本，FN表示为没有检测到的真实的正确样本。
因此，查全率和查准率是一对矛盾的指标，当其中一个指标高的时候，另一个指标就会低。一般就要综合这两项指标考虑，通常要绘制PR曲线(查准率和查全率变化曲线)，找出两个值都比较可靠的中间值。在本次任务中，利用Precision、Recall、mAP作为评价标准，进行综合考虑。
进一步地，在本发明实践的过程中，发明人还将改进型YOLOv5深度神经网络与其他类型的深度神经网络进行了对比实验。
具体地，YOLOv5使用的GIOU Loss作为bounding box损失，在通过200个迭代次数的训练之后，损失值便趋于稳定。在和传统的机器学习算法比较之下，YOLOv5深度网络模型复杂度都有很大得到提升，因此在巨大数据训练后可以更好的提取数据的特征。准确率随着训练次数的增加，逐渐增大。最后准确率不随训练轮数的增大而增大。在经过大量数据训练后的模型对肩部囊肿信号的敏感度很高，并可返回其坐标值，可用于将来计算囊肿的大小、给出医疗辅助意见等研究。
表1不同检测模型在肩部囊肿数据集上的性能评价结果
如表1所示，相比于其他主流的目标检测网络来说，注意力机制增强YOLOv5(即，YOLOv5+Mobilenet+ODConv)的精确度、召回率、mAP值都提升了几个百分点，说明注意力机制增强的YOLOv5在对肩部囊肿识别的任务中检测性能较好。最后，利用测试集的783张肩部囊肿图像进行训练模型的性能检测并进行人工统计，精准度到达了91.3％，并在检测出囊肿后，利用其坐标以及像素对应实际大小的比例关系得到其大小。
通过本发明实施例，基于深度学习集成模型的肩关节囊肿图像识别的AI服务，汇集了关于肩关节的高质量核磁标注数据，搭建了影像智能分析计算算法，最终形成服务于医生、患者、以及其他科研人员的肩袖损伤智能分析评估平台。基于YOLO识别网络和MRI图像对肩袖撕裂进行识别与诊断，旨在更快速地、更高效地鉴定出疾病程度，实现对肩袖病例诊断的全程化智能处理，为医生提供定量、定性诊断和预测，具有强大的现实应用意义。
在本发明实施例的一些业务应用场景中，结合专家知识给出辅助治疗意见的智能化平台，让计算机“学习”专家医生的医疗知识，模拟医生的思维和诊断。
针对如何利用人工智能解决识别复杂肩部囊肿这一问题，本发明实施例提出了一种改进型YOLOv5模型，改变了传统的YOLOv5深度神经网络的特征提取主干提取目标特征的网络结构，主干部分利用MobileNetv2嵌入ODConv动态卷积模块充分挖掘特征信息，提升了网络对肩部囊肿特征的提取能力。然后，在特征层上进行目标检测，预测肩部囊肿的概率和位置。在自制肩部囊肿数据集上表明，提出的肩部囊肿检测方法能有效提高对囊肿的识别准确度，具有实际应用价值，能够辅助医生更快、更准确地判断肩袖囊肿大小、形态、以及所在肩关节处的位置，高效协助临床诊断与治疗，对智能医疗的发展具有十分重要的意义。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述的肩袖扫描图像的处理方法。
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的肩袖扫描图像的处理方法。
在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行肩袖扫描图像的处理方法。
图11是本发明另一实施例提供的执行肩袖扫描图像的处理方法的电子设备的硬件结构示意图，如图11所示，该设备包括：
一个或多个处理器1110以及存储器1120，图11中以一个处理器1110为例。
执行肩袖扫描图像的处理方法的设备还可以包括：输入装置1130和输出装置1140。
处理器1110、存储器1120、输入装置1130和输出装置1140可以通过总线或者其他方式连接，图11中以通过总线连接为例。
存储器1120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的肩袖扫描图像的处理方法对应的程序指令/模块。处理器1110通过运行存储在存储器1120中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的肩袖扫描图像的处理方法。
存储器1120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音交互设备的使用所创建的数据等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1120可选包括相对于处理器1110远程设置的存储器，这些远程存储器可以通过网络连接至语音交互设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置1130可接收输入的数字或字符信息，以及产生与语音交互设备的用户设置以及功能控制有关的信号。输出装置1140可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器1120中，当被所述一个或者多个处理器1110执行时，执行上述任意方法实施例中的肩袖扫描图像的处理方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的机载电子装置，例如安装上车辆上的车机装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种肩袖扫描图像的处理方法，包括：
获取待处理的肩袖扫描图像；
将所述待处理的肩袖扫描图像输入至预设的肩袖囊肿检测模型，以由所述肩袖囊肿检测模型输出相应的肩袖囊肿识别结果；其中，所述肩袖囊肿识别结果为存在对应囊肿区域位置的肩袖囊肿，或者所述肩袖囊肿识别结果为不存在肩袖囊肿；所述肩袖囊肿检测模型采用YOLOv5深度神经网络，所述肩袖囊肿检测模型的训练样本集包含多个预标注了相应的肩袖囊肿标签的肩袖扫描图像样本，以及所述肩袖囊肿标签包含肩袖囊肿的标注区域位置。
2.根据权利要求1所述的肩袖扫描图像的处理方法，其中，所述肩袖囊肿检测模型包括级联的第一特征处理模块、第二特征处理模块和输出模块，
所述第一特征处理模块包含C3模块和空间池化SPPF模块，
所述第二特征处理模块采用PANET网络结构，用于对所述第一中间处理模块中不同网络层的信息进行融合，
所述输出模块包含多层输出层，每一输出层分别用于检测处理相应尺寸大小的目标向量，所述目标向量用于描述肩袖囊肿的位置。
3.根据权利要求2所述的肩袖扫描图像的处理方法，其中，所述第一特征处理模块还包含MobileNetv2模块，所述MobileNetv2模块针对不同通道的图像特征分别设置有相应的注意力权重。
4.根据权利要求3所述的肩袖扫描图像的处理方法，其中，所述第一特征处理模块还包含级联至MobileNetv2模块的输出端的ODConv模块。
5.根据权利要求1所述的肩袖扫描图像的处理方法，其中，在将所述待处理的肩袖扫描图像输入至预设的肩袖囊肿检测模型，以由所述肩袖囊肿检测模型输出相应的肩袖囊肿识别结果之后，所述方法还包括：
在确定所述肩袖囊肿识别结果为存在对应囊肿区域位置的肩袖囊肿的情况下，提取所述肩袖扫描图像中的至少一个肩部特征区域；所述肩部区域包括选自以下中的一者或多者：肩峰、喙突、肩胛盂唇和肩关节；
根据所述囊肿区域位置与所述肩部特征区域之间的相对位置，确定相应的肩袖囊肿类别，所述肩袖囊肿类别包含以下中的任意一者：肩峰下滑囊囊肿、喙突下的滑囊囊肿、肩胛盂唇外侧的内囊肿、肩关节上方囊肿。
6.根据权利要求1所述的肩袖扫描图像的处理方法，其中，所述获取待处理的肩袖扫描图像，包括：
获取待处理的肩袖MRI图像；
根据预设的图像格式转换算法，确定所述肩袖MRI图像所对应的肩袖扫描图像；所述图像格式转换算法用于将DICOM格式的图像转换为PNG格式的图像。
7.根据权利要求要求6所述的肩袖扫描图像的处理方法，其中，在根据预设的图像格式转换算法，确定所述肩袖MRI图像所对应的肩袖扫描图像之后，所述方法包括：
裁剪所述肩袖扫描图像中的背景图像区域。
8.根据权利要求1所述的肩袖扫描图像的处理方法，其中，所述肩袖囊肿检测模型的损失函数采用GIOU Loss损失函数。
9.一种电子设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述权利要求1-8中任一项所述方法的步骤。
10.一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备读取并执行，以用于执行如上述权利要求1-8中任一项所述方法的步骤。
CN202310610450.1A 2023-05-26 2023-05-26 肩袖扫描图像的处理方法、电子设备及存储介质 Pending CN116645346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310610450.1A CN116645346A (zh) 2023-05-26 2023-05-26 肩袖扫描图像的处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310610450.1A CN116645346A (zh) 2023-05-26 2023-05-26 肩袖扫描图像的处理方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116645346A true CN116645346A (zh) 2023-08-25

Family

ID=87624137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310610450.1A Pending CN116645346A (zh) 2023-05-26 2023-05-26 肩袖扫描图像的处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116645346A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522861A (zh) * 2023-12-26 2024-02-06 吉林大学 用于动物肩袖损伤的智能监测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021252712A1 (en) * 2020-06-10 2021-12-16 Ancestry.Com Operations Inc. Systems and methods for identifying and segmenting objects from images
CN114140651A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部病灶识别模型训练方法、胃部病灶识别方法
CN115482444A (zh) * 2022-09-20 2022-12-16 浙江大学 一种基于两阶段融合神经网络的交通标志检测方法
CN115829999A (zh) * 2022-12-22 2023-03-21 国网新疆电力有限公司信息通信公司 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021252712A1 (en) * 2020-06-10 2021-12-16 Ancestry.Com Operations Inc. Systems and methods for identifying and segmenting objects from images
CN114140651A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部病灶识别模型训练方法、胃部病灶识别方法
CN115482444A (zh) * 2022-09-20 2022-12-16 浙江大学 一种基于两阶段融合神经网络的交通标志检测方法
CN115829999A (zh) * 2022-12-22 2023-03-21 国网新疆电力有限公司信息通信公司 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PYTHON算法工程师: "yolov5详解与改进", pages 3, Retrieved from the Internet <URL:《https://blog.csdn.net/qq_44089890/article/details/130120649》> *
TANG XIONGFENG 等: "Automated detection of knee cystic lesions on magnetic resonance imaging using deep learning", 《FRONTIERS IN MEDICINE》, pages 1 - 9 *
王鹏 等: "基于YOLOv5 的道路目标检测算法研究", 《计算机工程与应用》, pages 1 - 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522861A (zh) * 2023-12-26 2024-02-06 吉林大学 用于动物肩袖损伤的智能监测系统及方法
CN117522861B (zh) * 2023-12-26 2024-04-19 吉林大学 用于动物肩袖损伤的智能监测系统及方法

Similar Documents

Publication Publication Date Title
Jain et al. Three-dimensional CNN-inspired deep learning architecture for Yoga pose recognition in the real-world environment
CN108806792B (zh) 深度学习面诊系统
Nakawala et al. “Deep-Onto” network for surgical workflow and context recognition
CN110580695A (zh) 一种多模态三维医学影像融合方法、系统及电子设备
CN108446730A (zh) 一种基于深度学习的ct肺结节检测方法
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN107194158A (zh) 一种基于图像识别的疾病辅助诊断方法
CN110414607A (zh) 胶囊内窥镜图像的分类方法、装置、设备及介质
CN110246109A (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
CN111274998A (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
CN112966792B (zh) 血管图像分类处理方法、装置、设备及存储介质
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
Armitano-Lago et al. A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport
CN111785366A (zh) 患者治疗方案的确定方法、装置及计算机设备
CN116645346A (zh) 肩袖扫描图像的处理方法、电子设备及存储介质
WO2023108873A1 (zh) 一种脑网络和脑成瘾连接计算方法及装置
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN117237351B (zh) 一种超声图像分析方法以及相关装置
Han et al. Martial arts routine training method based on artificial intelligence and big data of lactate measurement
Zhang et al. Label-reconstruction-based pseudo-subscore learning for action quality assessment in sporting events
CN108986889A (zh) 一种病变识别模型训练方法、装置及存储设备
CN116756361A (zh) 一种基于对应特征融合的医学视觉问答方法
Hoang et al. Poses Classification in a Taekwondo Lesson Using Skeleton Data Extracted from Videos with Shallow and Deep Learning Architectures
CN113792740A (zh) 眼底彩照的动静脉分割方法、系统、设备及介质
WO2013142219A1 (en) System and method for crowd-sourced telepathology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination