CN117635546A - 基于对比学习及弱监督的股骨头坏死区域识别方法及装置 - Google Patents

基于对比学习及弱监督的股骨头坏死区域识别方法及装置 Download PDF

Info

Publication number
CN117635546A
CN117635546A CN202311517096.4A CN202311517096A CN117635546A CN 117635546 A CN117635546 A CN 117635546A CN 202311517096 A CN202311517096 A CN 202311517096A CN 117635546 A CN117635546 A CN 117635546A
Authority
CN
China
Prior art keywords
module
head necrosis
femoral head
learning
necrosis area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311517096.4A
Other languages
English (en)
Other versions
CN117635546B (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202311517096.4A priority Critical patent/CN117635546B/zh
Publication of CN117635546A publication Critical patent/CN117635546A/zh
Application granted granted Critical
Publication of CN117635546B publication Critical patent/CN117635546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于对比学习及弱监督的股骨头坏死区域识别方法、装置、设备及计算机可读存储介质。该基于对比学习及弱监督的股骨头坏死区域识别方法，包括：获取髋关节CT数据；将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。根据本申请实施例，能够提高股骨头坏死区域识别效率。

Description

基于对比学习及弱监督的股骨头坏死区域识别方法及装置
技术领域
本申请属于深度学习智能识别技术领域，尤其涉及一种基于对比学习及弱监督的股骨头坏死区域识别方法、装置、设备及计算机可读存储介质。
背景技术
目前，相关技术中的股骨头坏死区域识别对于图像识别所需图像标注标签要求较高，需要大量精细标注数据，前期人工标注需要大量人力、时间，导致分割效率低下。
因此，如何提高股骨头坏死区域识别效率是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种基于对比学习及弱监督的股骨头坏死区域识别方法、装置、设备及计算机可读存储介质，能够提高股骨头坏死区域识别效率。
第一方面，本申请实施例提供一种基于对比学习及弱监督的股骨头坏死区域识别方法，包括：
获取髋关节CT数据；
将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；
其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。
可选的，在获取髋关节CT数据之后，还包括：
将髋关节CT数据的DICOM格式转换成NII格式。
可选的，股骨头坏死区域分割网络模型，包括：
主干网络和支持网络；
由支持网络生成的自监督，用于训练主干网络；优化主干网络，通过后向传播获得梯度，支持网络的更新则是使用指数移动平均算法来获得；
主干网络通过特征提取1模块输出的特征有两个分支，其中一个分支是经过1x1卷积操作，再经过特征提取4模块，另一个分支是和特征提取2模块输出的特征、特征提取3模块输出的特征一同输入到分割区域对比学习模块，该模块的输出传递回特征提取1模块进行特征融合；
特征提取3模块和特征提取4模块输出的特征输入到多尺度注意力模块，该模块输出的特征和特征提取4模块输出特征融合输出，最终结果。
可选的，分割区域对比学习模块，用于：
使用L2范数映射特征和原型到D维空间内；
利用点积和指数函数定义他们之间的相似度。
可选的，多尺度注意力模块，包括：
PWConv模块代表逐点卷积，用于调整维度，以便后续的逐元素乘法、残差连接等操作；
LKA是MLKA的基础特征提取模块，该模块由1x1、3x3、1x1卷积层组成；该模块聚合多尺度空间结构信息，结合特征分组和多尺度结构，有效地建立短期和长程依赖有利于获得更好特征提取性能。
可选的，指数移动平均算法，包括：
计算模型训练过程中梯度的加权平均，得到平均权重；
利用平均权重更新网络的参数权重。
可选的，在模型训练过程中，训练的batch_size为32，初始化学习率设置为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为原来的0.9，优化器使用Adam优化器，使用损失函数为DICEloss，设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到最终的股骨头坏死区域分割网络模型。
第二方面，本申请实施例提供了一种基于对比学习及弱监督的股骨头坏死区域识别装置，装置包括：
数据获取模块，用于获取髋关节CT数据；
区域识别模块，用于将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；
其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如第一方面所示的基于对比学习及弱监督的股骨头坏死区域识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所示的基于对比学习及弱监督的股骨头坏死区域识别方法。
本申请实施例的基于对比学习及弱监督的股骨头坏死区域识别方法、装置、设备及计算机可读存储介质，能够提高股骨头坏死区域识别效率。
该基于对比学习及弱监督的股骨头坏死区域识别方法，包括：获取髋关节CT数据；将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于对比学习及弱监督的股骨头坏死区域识别方法的流程示意图；
图2是本申请一个实施例提供的股骨头坏死区域分割网络模型的网络结构示意图；
图3是本申请一个实施例提供的多尺度注意力模块的结构示意图；
图4是本申请一个实施例提供的模型训练的流程示意图；
图5是本申请一个实施例提供的基于对比学习及弱监督的股骨头坏死区域识别装置的结构示意图；
图6是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种基于对比学习及弱监督的股骨头坏死区域识别方法、装置、设备及计算机可读存储介质。下面首先对本申请实施例所提供的基于对比学习及弱监督的股骨头坏死区域识别方法进行介绍。
图1示出了本申请一个实施例提供的基于对比学习及弱监督的股骨头坏死区域识别方法的流程示意图。如图1所示，该基于对比学习及弱监督的股骨头坏死区域识别方法，包括：
S101、获取髋关节CT数据；
S102、将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；
其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。
该方法借助人工智能弱监督学习技术，依靠少量精细标注标签，并结合和对比学习技术，实现对髋关节股骨头坏死区域分割，以提高工作效率、降低准备成本。
在一个实施例中，在获取髋关节CT数据之后，还包括：
将髋关节CT数据的DICOM格式转换成NII格式。
具体的，对输入髋关节CT数据进行格式转换，将DICOM数据转换成NII格式数据，并将转换后的数据集划分成训练集、测试集和验证集。并将训练集和验证集输入到网路中进行模型训练。
在一个实施例中，股骨头坏死区域分割网络模型，包括：
主干网络和支持网络；
由支持网络生成的自监督，用于训练主干网络；优化主干网络，通过后向传播获得梯度，支持网络的更新则是使用指数移动平均算法来获得；
主干网络通过特征提取1模块输出的特征有两个分支，其中一个分支是经过1x1卷积操作，再经过特征提取4模块，另一个分支是和特征提取2模块输出的特征、特征提取3模块输出的特征一同输入到分割区域对比学习模块，该模块的输出传递回特征提取1模块进行特征融合；
特征提取3模块和特征提取4模块输出的特征输入到多尺度注意力模块，该模块输出的特征和特征提取4模块输出特征融合输出，最终结果。
具体的，如图2所示的股骨头坏死区域分割网络模型的网络结构示意图；髋关节股骨头坏死区域弱监督学习网络结构由两个网络组成，即主干网络和支持网络。由支持网络生成的自监督，用于训练主干网络。优化主干网络，通过后向传播获得梯度，支持网络的更新则是使用指数移动平均算法来获得。由于该方法使用到了多尺度图像，有多个特征提取过程，这里的尺度因子选择0.5，1，2，小尺度和大尺度的图像都是通过双线性内插得到的，而等尺度就是原图。
主干网络通过特征提取1模块输出的特征有两个分支，其中一个分支是经过1x1卷积操作，再经过特征提取4模块，另一个分支是和特征提取2模块输出的特征、特征提取3模块输出的特征一同输入到分割区域对比学习模块，该模块的输出传递回特征提取1模块进行特征融合；特征提取3模块和特征提取4模块输出的特征输入到多尺度注意力模块，该模块输出的特征和特征提取4模块输出特征融合输出，最终结果。
在一个实施例中，分割区域对比学习模块，用于：
使用L2范数映射特征和原型到D维空间内；
利用点积和指数函数定义他们之间的相似度。
具体的，分割区域对比学习模块：主干网络获得的像素级特征是通过对比学习的形式获得的。首先使用L2范数映射特征和原型到D维空间内，然后利用点积和指数函数定义他们之间的相似度。
假设X是n维的特征：
X＝(x1,x2,x3,x4,...,xn)
L2范数公式：
L2范数定义为向量所有元素的平方和的开平方。
对比学习是一种特殊的无监督学习方法，旨在通过最大化相关样本之间的相似性并最小化不相关样本之间的相似性来学习数据表示。
这里使用对比学习的方法来分类像素点类别，替代弱监督学习中的聚类方法分类像素点类别，提高像素点类别分类精度。
在一个实施例中，多尺度注意力模块，包括：
PWConv模块代表逐点卷积，用于调整维度，以便后续的逐元素乘法、残差连接等操作；
LKA是MLKA的基础特征提取模块，该模块由1x1、3x3、1x1卷积层组成；该模块聚合多尺度空间结构信息，结合特征分组和多尺度结构，有效地建立短期和长程依赖有利于获得更好特征提取性能。
具体的，如图3所示的多尺度注意力模块的结构示意图，多尺度注意力模块对于高分辨率图像，网络一般容易捕捉细节信息，而对于低分辨率图像，网络则容易捕捉全局信息。因此使用多尺度能够让网络同时兼顾这些信息。
PWConv模块代表逐点卷积，用于调整维度，以便后续的逐元素乘法、残差连接等操作。LKA是MLKA的基础特征提取模块，该模块由1x1、3x3、1x1卷积层组成。该模块聚合多尺度空间结构信息，结合特征分组和多尺度结构，有效地建立短期和长程依赖有利于获得更好特征提取性能。
在一个实施例中，指数移动平均算法，包括：
计算模型训练过程中梯度的加权平均，得到平均权重；
利用平均权重更新网络的参数权重。
具体的：
υt＝β·υt-1+(1-β)θt
其中，θt表示第t次更新得到所有参数权重，υt表示第t次更新得到所有参数移动平均数，β权重参数。
更新n次时权重参数θn，gn表示第n次传播时得到的梯度。
更新n次时权重参数υn，公式如下：
对比可以发现，普通的参数权重相当于一直累积更新整个训练过程的梯度，使用指数移动平均算法的参数权重相当于使用训练过程中梯度的加权平均(刚开始的梯度权值很小)。由于刚开始训练不稳定，得到的梯度给较小的权值更为合理。
在一个实施例中，在模型训练过程中，训练的batch_size为32，初始化学习率设置为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为原来的0.9，优化器使用Adam优化器，使用损失函数为DICEloss，设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到最终的股骨头坏死区域分割网络模型。
具体的，如图4所示的模型训练的流程示意图，获取髋关节CT数据，对CT数据进行股骨头坏死区域标注，得到对应标签，制作训练数据集。对训练数据集进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集。
图5是本申请一个实施例提供的基于对比学习及弱监督的股骨头坏死区域识别装置的结构示意图，该基于对比学习及弱监督的股骨头坏死区域识别装置，所述装置包括：
数据获取模块501，用于获取髋关节CT数据；
区域识别模块502，用于将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；
其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。
图6示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在电子设备的内部或外部。在特定实施例中，存储器602可以是非易失性固态存储器。
在一个实施例中，存储器602可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种基于对比学习及弱监督的股骨头坏死区域识别方法。
在一个示例中，电子设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的基于对比学习及弱监督的股骨头坏死区域识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于对比学习及弱监督的股骨头坏死区域识别方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种基于对比学习及弱监督的股骨头坏死区域识别方法，其特征在于，包括：
获取髋关节CT数据；
将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；
其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。
2.根据权利要求1所述的基于对比学习及弱监督的股骨头坏死区域识别方法，其特征在于，在获取髋关节CT数据之后，还包括：
将髋关节CT数据的DICOM格式转换成NII格式。
3.根据权利要求2所述的基于对比学习及弱监督的股骨头坏死区域识别方法，其特征在于，股骨头坏死区域分割网络模型，包括：
主干网络和支持网络；
由支持网络生成的自监督，用于训练主干网络；优化主干网络，通过后向传播获得梯度，支持网络的更新则是使用指数移动平均算法来获得；
主干网络通过特征提取1模块输出的特征有两个分支，其中一个分支是经过1x1卷积操作，再经过特征提取4模块，另一个分支是和特征提取2模块输出的特征、特征提取3模块输出的特征一同输入到分割区域对比学习模块，该模块的输出传递回特征提取1模块进行特征融合；
特征提取3模块和特征提取4模块输出的特征输入到多尺度注意力模块，该模块输出的特征和特征提取4模块输出特征融合输出，最终结果。
4.根据权利要求3所述的基于对比学习及弱监督的股骨头坏死区域识别方法，其特征在于，分割区域对比学习模块，用于：
使用L2范数映射特征和原型到D维空间内；
利用点积和指数函数定义他们之间的相似度。
5.根据权利要求4所述的基于对比学习及弱监督的股骨头坏死区域识别方法，其特征在于，多尺度注意力模块，包括：
PWConv模块代表逐点卷积，用于调整维度，以便后续的逐元素乘法、残差连接等操作；
LKA是MLKA的基础特征提取模块，该模块由1x1、3x3、1x1卷积层组成；该模块聚合多尺度空间结构信息，结合特征分组和多尺度结构，有效地建立短期和长程依赖有利于获得更好特征提取性能。
6.根据权利要求5所述的基于对比学习及弱监督的股骨头坏死区域识别方法，其特征在于，指数移动平均算法，包括：
计算模型训练过程中梯度的加权平均，得到平均权重；
利用平均权重更新网络的参数权重。
7.根据权利要求6所述的基于对比学习及弱监督的股骨头坏死区域识别方法，其特征在于，在模型训练过程中，训练的batch_size为32，初始化学习率设置为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为原来的0.9，优化器使用Adam优化器，使用损失函数为DICEloss，设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到最终的股骨头坏死区域分割网络模型。
8.一种基于对比学习及弱监督的股骨头坏死区域识别装置，其特征在于，所述装置包括：
数据获取模块，用于获取髋关节CT数据；
区域识别模块，用于将髋关节CT数据输入预设的股骨头坏死区域分割网络模型，识别出股骨头坏死区域；
其中，股骨头坏死区域分割网络模型中的分割区域对比学习模块，用于通过最大化相关样本之间的相似性，并最小化不相关样本之间的相似性来学习数据表示。
9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的基于对比学习及弱监督的股骨头坏死区域识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的基于对比学习及弱监督的股骨头坏死区域识别方法。
CN202311517096.4A 2023-11-14 2023-11-14 基于对比学习及弱监督的股骨头坏死区域识别方法及装置 Active CN117635546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311517096.4A CN117635546B (zh) 2023-11-14 2023-11-14 基于对比学习及弱监督的股骨头坏死区域识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311517096.4A CN117635546B (zh) 2023-11-14 2023-11-14 基于对比学习及弱监督的股骨头坏死区域识别方法及装置

Publications (2)

Publication Number Publication Date
CN117635546A true CN117635546A (zh) 2024-03-01
CN117635546B CN117635546B (zh) 2024-07-23

Family

ID=90024476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311517096.4A Active CN117635546B (zh) 2023-11-14 2023-11-14 基于对比学习及弱监督的股骨头坏死区域识别方法及装置

Country Status (1)

Country Link
CN (1) CN117635546B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248736A1 (en) * 2018-06-13 2021-08-12 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images
CN114419000A (zh) * 2022-01-20 2022-04-29 哈尔滨工业大学 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN115311302A (zh) * 2022-10-12 2022-11-08 四川大学华西医院 股骨头缺血坏死分期特征构建方法、诊断系统和存储介质
CN115471512A (zh) * 2022-09-21 2022-12-13 吉林大学 一种基于自监督对比学习的医学影像分割方法
CN116597002A (zh) * 2023-05-12 2023-08-15 北京长木谷医疗科技股份有限公司 基于深度强化学习的股骨柄自动放置方法、装置及设备
CN116650110A (zh) * 2023-06-12 2023-08-29 北京长木谷医疗科技股份有限公司 基于深度强化学习的膝关节假体自动放置方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248736A1 (en) * 2018-06-13 2021-08-12 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images
CN114419000A (zh) * 2022-01-20 2022-04-29 哈尔滨工业大学 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN115471512A (zh) * 2022-09-21 2022-12-13 吉林大学 一种基于自监督对比学习的医学影像分割方法
CN115311302A (zh) * 2022-10-12 2022-11-08 四川大学华西医院 股骨头缺血坏死分期特征构建方法、诊断系统和存储介质
CN116597002A (zh) * 2023-05-12 2023-08-15 北京长木谷医疗科技股份有限公司 基于深度强化学习的股骨柄自动放置方法、装置及设备
CN116650110A (zh) * 2023-06-12 2023-08-29 北京长木谷医疗科技股份有限公司 基于深度强化学习的膝关节假体自动放置方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
欧阳汉强;姜亮;刘晓光;袁慧书;刘忠军;: "人工智能在脊柱影像中的应用现状及发展趋势相关研究进展", 中国脊柱脊髓杂志, no. 12, 25 December 2019 (2019-12-25) *

Also Published As

Publication number Publication date
CN117635546B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN116543221B (zh) 关节病变智能检测方法、装置、设备及可读存储介质
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN113505820B (zh) 图像识别模型训练方法、装置、设备及介质
CN108376257B (zh) 一种燃气表不完整码字识别方法
CN116650110B (zh) 基于深度强化学习的膝关节假体自动放置方法及装置
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN117350992A (zh) 基于自导向注意机制多任务分割网络金属植入物识别方法
CN117635546B (zh) 基于对比学习及弱监督的股骨头坏死区域识别方法及装置
CN116704549A (zh) 三维空间关键点的位置检测方法、装置、设备及存储介质
CN116152197B (zh) 膝关节分割方法、装置、电子设备及计算机可读存储介质
CN116363150A (zh) 髋关节分割方法、装置、电子设备及计算机可读存储介质
CN116630828A (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN116543222A (zh) 膝关节病变检测方法、装置、设备及计算机可读存储介质
CN116310713A (zh) 红外图像识别方法、装置、电子设备及存储介质
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN114418629A (zh) 一种用户流失预测方法、装置、电子设备及可读存储介质
CN114202494A (zh) 基于细胞分类模型分类细胞的方法、装置及设备
CN117351232B (zh) 膝关节关键点检测方法、装置、设备及可读存储介质
CN118411568B (zh) 目标识别模型的训练、目标识别方法、系统、设备及介质
CN116563314B (zh) 腰椎分割方法、装置、电子设备及计算机可读存储介质
CN117679160B (zh) 创伤骨折复位方法、装置、设备及可读存储介质
CN113554048B (zh) 数据识别方法、装置、设备及存储介质
CN118691548A (zh) 腰椎骨质疏松诊断方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant