CN116894973A - 一种基于集成学习的髋关节病变智能自标注方法及装置 - Google Patents
一种基于集成学习的髋关节病变智能自标注方法及装置 Download PDFInfo
- Publication number
- CN116894973A CN116894973A CN202310826402.6A CN202310826402A CN116894973A CN 116894973 A CN116894973 A CN 116894973A CN 202310826402 A CN202310826402 A CN 202310826402A CN 116894973 A CN116894973 A CN 116894973A
- Authority
- CN
- China
- Prior art keywords
- image
- hip joint
- sample image
- labeling
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004394 hip joint Anatomy 0.000 title claims abstract description 119
- 238000002372 labelling Methods 0.000 title claims abstract description 93
- 230000003902 lesion Effects 0.000 title claims abstract description 19
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 72
- 201000010099 disease Diseases 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 71
- 208000012659 Joint disease Diseases 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 5
- 230000007170 pathology Effects 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 230000036285 pathological change Effects 0.000 claims description 2
- 231100000915 pathological change Toxicity 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 201000008482 osteoarthritis Diseases 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003631 expected effect Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000007875 Femur Head Necrosis Diseases 0.000 description 1
- 206010028851 Necrosis Diseases 0.000 description 1
- 206010057178 Osteoarthropathies Diseases 0.000 description 1
- 230000002917 arthritic effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 208000014906 developmental dysplasia of the hip Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 208000037922 refractory disease Diseases 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于集成学习的髋关节病变智能自标注方法及装置，所述方法包括：将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元。本申请中，通过使用相互结合的位置检测模型集成学习模型，实现了对于待标注图像的疾病种类进行自动化标注，通过批量化标注大大提高了疾病种类标注的速度和数量，且统一了标注规则，从而避免了相同图像经由不同人工标注不同的情况。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于集成学习的髋关节病变智能自标注方法及装置。
背景技术
目前对于髋关节病变的发现方式主要是依靠X光的形式实现，即患者通过拍摄X光片，并由影像科医生进行阅片给出诊断的建议。但是随着中国老龄化程度的发展，以及影像科医生的缺乏，导致髋关节病变的人工诊断方式越来越难以满足需求。
目前越来越多的研究者开始使用深度学习的方法进行髋关节疾病的诊断，但是深度训练可以达到预期效果的前提是有好的标注，现有人工标注的方式很难满足对标注质量和标注速度的要求。
发明内容
本申请解决的问题是很难解决当前标注方式无法满足深度训练对髋关节疾病标注要求的问题。
为解决上述问题，本申请第一方面提供了一种基于集成学习的髋关节病变智能自标注方法，包括：
将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
本申请第二方面提供了一种基于集成学习的髋关节病变智能自标注装置，其包括：
图像提取模块，其用于将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
集成分类模块，其用于将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
类别确定模块，其用于基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于集成学习的髋关节病变智能自标注方法。
本申请中，通过使用相互结合的位置检测模型集成学习模型，实现了对于待标注图像的疾病种类进行自动化标注。一方面，通过批量化标注大大提高了疾病种类标注的速度和数量，另一方面，通过批量标注统一了标注规则，从而避免了相同图像经由不同人工标注不同的情况。
本申请中，通过将集成学习模型设置为一体化模型进行同步训练，避免了分散训练造成的复杂度增加和兼容性问题；在降低模型复杂度的同时，也降低了模型的推理时间，并且结合综合策略可以自动进行智能标注。
附图说明
图1为根据本申请实施例的髋关节疾病智能自标注方法的流程图；
图2为根据本申请实施例的髋关节疾病智能自标注方法的模型架构图；
图3为根据本申请实施例的髋关节疾病智能自标注方法模型预训练的流程图；
图4为根据本申请实施例的髋关节疾病智能自标注方法集成学习模型训练过程的流程图；
图5为根据本申请实施例的髋关节疾病智能自标注方法连续Swin Transformer模块的架构图；
图6为根据本申请实施例的髋关节疾病智能自标注方法集成学习模型中特征提取单元的数据处理的流程图；
图7为根据本申请实施例的髋关节疾病智能自标注方法Dropout方式获取多个分类单元的示意图；
图8为根据本申请实施例的髋关节疾病智能自标注方法基准分类模型的架构图；
图9为根据本申请实施例的髋关节疾病智能自标注装置的结构框图；
图10为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
髋关节的疾病给病人带来了很多的烦恼，在髋关节疾病形成之前，在髋关节的位置通常会出现一些形态的变化，如果能够在疾病的早期发现这些病变，并作为疾病的早期信号对疾病进行早期的预防和干预，则可以为病人带来极大的益处。
目前对于髋关节病变的发现方式主要是依靠X光的形式实现，即患者通过拍摄X光片，并由影像科医生进行阅片给出诊断的建议。但是随着中国老龄化程度的发展，以及影像科医生的缺乏，导致影像科医生长期处于高强度的工作压力下。这种状态，一方面不利于影像科医生的健康；另一方面，由于疲劳状态下的工作，也容易产生错误诊断的情况。
基于此，越来越多的研究者开始使用深度学习的方法进行髋关节疾病的诊断，但是深度训练可以达到预期效果的前提是有好的标注，但是现有人工标注的方式很难满足对标注质量和标注速度的要求。
针对上述问题，本申请提供一种新的基于集成学习的髋关节病变智能自标注方案，能够通过集成学习模型进行髋关节疾病的智能自标注，解决当前标注方式无法满足深度训练对髋关节疾病标注要求的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
端到端学习：(End-To-End Learning)，也称端到端训练，是指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。
AVN：股骨头缺血性坏死(AVN)，又称股骨头坏死(ONFH)，是骨科领域常见的难治性疾病。
DDH：发育性髋关节发育不良(DDH)，又称发育性髋关节脱位，是儿童骨科最常见的髋关节疾病
OA：骨关节炎(OA)是最常见的关节炎之一，是一种非对称性、非炎症性、无全身性征象的疾病，也称退行性关节病、骨关节病或增生性关节炎。
MSA模块：标准多头自注意力模块；
W-MSA：基于非重叠局部窗口的多头自注意力模块；
SW-MSA：基于移位窗口的多头自注意力模块。
Retina模型：是一个One-Stage密集预测模型，由Backbone和两个执行特定任务的自网络构成的一个整体模型。
本申请实施例提供了一种基于集成学习的髋关节病变智能自标注方法，该方法的具体方案由图1-图8所示，该方法可以由基于集成学习的髋关节病变智能自标注装置来执行，该基于集成学习的髋关节病变智能自标注装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本申请一个实施例的基于集成学习的髋关节病变智能自标注方法的流程图；其中，所述基于集成学习的髋关节病变智能自标注方法，包括：
S200，将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
本申请中，所述待标注图像为包含髋关节的医学图像，基于该医学图像可以判断出髋关节状态/病变类别。医学图像例如包括：X线片、电子计算机断层扫描(ComputedTomography，CT)图像、磁共振(Magnetic Resonance Imaging，MRI)图像，或者上述多个图像的合成图像等。
本申请中，所述髋关节图像为所述待标注图像中的一部分，通过位置检测模型确定所述髋关节图像在所述待标注图像中的具体位置，也即可以将髋关节图像从所述待标注图像中提取出来。
需要说明的是，位置检测模型可以输出髋关节图像在所述待标注图像中的具体位置，也可以直接输出提取的髋关节图像，具体输出形式可以根据实际需求进行选取。
S300，将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
本申请中，集成学习中，对于训练集数据，通过训练若干个个体学习器，通过一定的结合策略，来完成学习任务，(常常可以获得比单一学习显著优越的学习器)就可以最终形成一个强学习器。
S400，基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
其中，预设的综合策略，即是对多个分类单元的输出结果进行投票的投票策略。通过投票可以从多个分类单元的输出中确定最终的预测类别结果并进行标注。
其中，硬投票的投票策略的预测结果是多个模型预测结果中出现次数最多的类别，软投票的投票策略是对各类预测结果的概率进行求和，最终选取概率之和最大的类别。
需要说明的是，人工标注的过程中，由于X-ray图像本身存在“同影异症”，“同症异影”以及标注人员水平差异的问题，导致标注的规则难以统一，容易出现相同图像但标注不同的情况，严重干扰了深度学习的准确性。
本申请中，通过使用相互结合的位置检测模型集成学习模型，实现了对于待标注图像的疾病种类进行自动化标注。一方面，通过批量化标注大大提高了疾病种类标注的速度和数量，另一方面，通过批量标注统一了标注规则，从而避免了相同图像经由不同人工标注不同的情况。
本申请中，通过将相互结合的位置检测模型集成学习模型设置为一体化模型进行同步训练，实现了端到端的训练，避免了分散训练造成的复杂度增加和兼容性问题；在降低模型复杂度的同时，也降低了模型的推理时间，并且可以自动进行智能标注。
一般情况下，集成学习是通过多个弱分类器通过类似“并联”的方式组成强分类器，每个弱分类器单独进行模型训练。这种集成学习的方式中，每个弱分类器均需要单独进行训练，从而会占用大量的数据资源和训练资源，且总体训练时间长。
本申请中，将集成学习模型的结构设置为特征提取单元和与所述特征提取单元连接的多个分类单元，其中，特征提取单元用于提取技术特征，分类单元用于基于技术特征进行分类。
本申请中，通过将特征提取的模型与分类的模型设置为不同结构，从而将弱分类器中的特征提取部分整合为一个特征提取单元，通过复用特征提取单元与不同的分类单元进行连接，减少了特征提取单元训练的次数；且将特征提取单元与多个分类单元连接，从而不再对分类单元进行单独训练，而是将多个分类单元视为集成学习模型的一部分进行整体训练，大大降低了需要训练的次数和占用的训练时间。
结合图3所示，在一种实施方式中，所述S200，将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像之前，还包括：
S101，获取所述第一样本图像，所述第一样本图像上具有标注的第二样本图像，所述第二样本图像具有标注的疾病类别；
本申请中，所述第一样本图像为包含髋关节的医学图像，基于该医学图像可以判断出髋关节状态/病变类别。所述第二样本图像为所述第一样本图像的一部分。
需要说明的是，所述第一样本图像与所述待标注图像为相同类型的图像，所述第二样本图像与髋关节图像为相同类型的图像。
本申请中，所述第二样本图像标注的疾病类别，即为基于第二样本图像判断出的髋关节状态/病变类别。
本申请中，所述待标注图像、髋关节图像、所述第一样本图像和所述第二样本图像用于指示任意对象的髋关节部位。其中，对象用于指示患者。第一样本图像、第二样本图像可以是对患者进行扫描获取的医学图像。
S102，根据所述第一样本图像对所述位置检测模型进行训练，得到训练后的所述位置检测模型；
其中，所述第一样本图像上具有标注的第二样本图像，基于该标注可以对所述位置检测模型进行训练。
本申请中，所述位置检测模型可以为YOLO检测模型或者Retina检测模型。
对于上述位置检测模型的具体训练过程，本申请中不再赘述。
本申请中，使用YOLO检测模型作为所述位置检测模型，可以利用YOLO模型算法的边界框损失函数，提高目标检测的准确率。
本申请中，使用Retina检测模型作为所述位置检测模型，可以利用Retina检测模型算法的焦点损失函数，提高困难样本的训练，以提高识别相近类别的疾病的准确性。
S103，根据所述第二样本图像和标注的疾病类别对所述集成学习模型进行训练，得到训练后的所述集成学习模型。
其中，所述第二样本图像上标注有疾病类别，标注的疾病类别为监督信号，基于该标注可以对所述集成学习模型进行训练。
本申请中，可以将位置检测模型和集成学习模型分别进行训练，也可以将位置检测模型和集成学习模型分别进行粗训练后再基于第一样本图像和标注的疾病类别对位置检测模型和集成学习模型进行同步微调，以实现端到端训练。
本申请中，通过复用第一样本图像-第二样本图像-标注的疾病类别，以提高训练的协调性以及减少样本数据的搜集。
本申请中，通过计算机实现类别与标注的疾病种类的自对应，从而达到智能自标注的效果。
结合图4所示，在一种实施方式中，所述S103，根据所述第二样本图像和标注的疾病类别对所述集成学习模型进行训练，得到训练后的所述集成学习模型，包括：
S301，获取所述第二样本图像，所述第二样本图像上标注有疾病类别；
需要说明的是，所述第二样本图像为第一样本图像中标注的图像，而非第一样本图像输入位置检测模型后预测的图像。通过使用标注的第二样本图像作为训练数据，避免了训练错误的传播以及误差递增的后果。
S302，将所述第二样本图像输入所述特征提取单元，得到图像特征信息；
本申请中，特征提取单元用于提取第二样本图像的特征，以便于后部分通过提取的特征直接进行分类。
需要说明的是，特征提取单元与每个分类单元分别连接，输出的图像特征信息同时输出给哥哥分类单元，供各个分类单元分别进行分类。
S303，将所述图像特征信息分别输入多个所述分类单元，得到各个分类单元输出的分类信息；
本步骤中，各个分类单元独立进行分类，每个分类单元接收到图像特征信息后，基于自身参数输出对应的分类信息。
S304，根据所述第二样本图像对应的多个所述分类信息和标注的疾病类别，计算整体损失函数；
本申请中，将第二样本图像的图像特征信息输入分类单元，可以得到该分类单元输出的第二样本图像的(预测)分类信息，多个分类单元输出多个与第二样本图像对应的分类信息。
本申请中，所述分类信息用于表征多种预设的疾病类别中的一种，其具体表现形式可以为：所述分类信息可以为一维数组(也称为向量)，数组中的每个数字表示将第二样本图像划分为某个疾病类别的概率，数组中的所有数字之和为1；也可以为其他表现形式。
结合图2中所示，本申请中，所述髋关节图像的疾病类别至少包括：AVN-2期、AVN-2期、AVN-2期、DDH-型、DDH-型、DDH-型、DDH-型、OA和NORMAL(正常无髋关节疾病，该种类也可以不包含在本申请的髋关节图像的疾病类别中)。
本申请中，第二样本图像具有标注的疾病类别，该疾病类别作为监督信号以计算整体损失函数。
需要说明的是，第二样本图像对应的分类信息(疾病类别的预测值)有多个，对应的标注的疾病类别(疾病类别的真实值)只有一个；计算整体损失函数时，该标注的疾病类别作为该第二样本图像的每一个分类信息的监督信号。
本申请中，不同类别的疾病互相不兼容，也即是不会存在髋关节图像具有两种或两种以上的疾病类别。
在一种实施方式中，所述整体损失的计算公式为：
其中，Loss为整体损失，n为分类单元的总数量，n为该批样本的总数量，Pi为第i个样本标注的标签向量，Qij为第j个分类单元输出的第i个样本的预测向量。
需要说明的是，其中的预测向量为分类单元输出的分类信息，所述标签向量为标注疾病类别的向量表示形式，其具体为该向量中与标注的疾病种类对应的向量中的数字位为1，其余数字位为0。
例如，标签向量和预测向量中包含9个数字位，分别表示AVN-2期、AVN-2期、AVN-2期、DDH-型、DDH-型、DDH-型、DDH-型、OA和NORMAL的疾病概率；则标注为OA疾病种类的标签向量表示为[0，0，0，0，0，0，0，1，0]，其预测向量可能为[0.02，0.01，0.05，0，0.06，0，0.01，0.75，0.1]。
需要说明的是，计算公式中的预测向量和标签向量计算过程中，其实际计算过程是将预测向量和标签向量中对应数字位的数据分别进行计算后相加。以上述的标签向量(P)和预测向量(Q)为例，其计算过程为：
Plog Q＝0×log0.02+0×log0.01+…+1×log0.75+0×log0.1＝log0.75
S305，根据所述损失函数对所述特征提取单元、多个所述分类单元进行迭代，直至整体损失收敛为止。
本申请中，通过将集成学习模型中各个弱分类器的特征提取部分独立出来为一个特征提取单元，从而将多个弱分类器视为同一个深度网络模型进行训练，避免了各个弱分类器单独训练造成的大量资源占用。
本申请中，第二样本图像/第一样本图像的疾病类别是均匀分布的，也即是标注为不同的疾病类别的第二样本图像/第一样本图像的数量应当相同或相近，以避免样本数量差距导致的模型训练不准确。
本申请中，设置特征提取单元，可以同时提取图像特征且降维，提高分类模型的分类的准确性。
结合图5、图6所示，在一种实施方式中，所述特征提取单元包括线性嵌入层、第一重塑层、偶数个Swin Transformer模块和第二重塑层；所述S302，将所述第二样本图像输入所述特征提取单元，得到图像特征信息，包括：
S401，将所述第二样本图像依次输入所述线性嵌入层和所述第一重塑层，以改变所述第二样本图像的维度和通道数；
S402，将维度和通道数改变后的所述第二样本图像输入所述Swin Transformer模块进行特征提取，得到所述第二样本图像的特征信息；
S403，将所述特征信息输入所述第二重塑层进行重新排列，得到所述图像特征信息。
本申请中，所述线性嵌入层为图2中Linear Embedding层，其将输入向量的维度转换成预设的维度值即Swin Transformer模块能够接收的维度值；所述第一重塑层为图2中Swin Transformer模块前的Reshape层，用于将指定的矩阵变换成特定维数的矩阵，且矩阵中元素个数不变，其可以重新调整矩阵的行数、列数、维数，本申请中用于调整输入向量的通道数，以将输入向量的通道数转换成预设的通道数即Swin Transformer模块能够接收的通道数；多个所述Swin Transformer模块为图2中Swin Transformer Block×N层，用于对输入的图像数据进行特征提取，已提取图像特性，得到特征信息/特征图；所述第二重塑层为图2中Swin Transformer模块后的Reshape层，用于重塑特征提取模型的输出，以得到图像特征信息。
本申请中，Swin Transformer模块为偶数个，两个相邻的Swin Transformer模块的结构相似且构成组合，与其余的两个Swin Transformer模块的组合的结构完全相同。
结合图5所示，在一种实施方式中，所述Swin Transformer模块包括：MLP模块和基于位移窗口的MSA模块，所述MSA模块和所述MLP模块前均具有归一化层，且所述MSA模块和所述MLP模块后均具有残差连接。
其中，图5中为两个连续的Swin Transformer Block的架构图，可以看出，两个Swin Transformer Block的架构相似，但MSA模块并不相同，其中前一Swin TransformerBlock为W-MSA模块，后一Swin Transformer Block为SW-MSA模块，其余部分保持相同。
其中，MLP模块为接一个夹有ReLU非线性在中间的2层MLP模块，图中Layernorm(LN)层为所述归一化层。
本申请Swin Transformer模块中，W-MSA模块在非重叠的局部窗口中计算自注意力，取代全局自注意力；以不重叠的方式均匀地划分图像得到各个窗口，W-MSA模块具有线性复杂度，与具有二次复杂度的MSA模块相比，大大降低了计算复杂度。
基于窗口的自注意力模块(W-MSA)虽将计算复杂度从二次降为线性，但跨窗口之间交流与联系的匮乏将限制其建模表征能力；因此通过移位窗口引入夸窗口的联系，且同时保持非重叠窗口的计算效率；该引入在连续Swin Transformer Blocks中的两种分区配置间交替。
本申请中，通过循环向左上方移位，在这种移位后，批窗口可由特征图中不相邻的子窗口组成，因此使用屏蔽机制将(Masked MSA)自注意计算限制在每个子窗口内，具体为：先正常计算自注意力，再进行Mask操作将不需要的注意力图置0，从而将自注意力计算限制在各子窗口内。
结合图7所示，在一种实施方式中，所述多个分类单元是由基准分类模型基于Dropout方式得到的。
其中，所述多个分类单元的具体确定方法可以为：获取基准分类模型；对于基准分类模型，设定每一个神经网络层进行Dropout的概率，根据相应的概率拿掉一部分的神经元，得到第一个分类单元；基于相同的策略，得到所述多个分类单元。
需要说明的是，一般情况下，通过Dropout的训练方式为：拿掉一部分的神经元，然后开始训练，更新没有被拿掉神经元以及权重的参数，将其保留，参数全部更新之后，又重新根据相应的概率拿掉一部分神经元，然后开始训练，如果新用于训练的神经元已经在第一次当中训练过，那么我们继续更新它的参数，而第二次被剪掉的神经元，同时第一次已经更新过参数的，我们保留它的权重，不做修改，直到第N次Batch进行Dropout时没有将其删除。
本申请中，在基于Dropout方式确定多个分类单元后，将多个分类单元进行固定，也即是将Dropout方式确定的分类单元作为最终的单元进行训练及后续的种类预测；已经被删除的神经元不再恢复，仅保留没有删除的神经元，并在每次训练过程中均进行训练，不断迭代其参数，直至训练完成。训练完成后，依然不再恢复已经被删除的神经元，仅保留没有删除的神经元和迭代后的参数，作为一个完整的分类单元，对类别进行预测。
本申请中，由同一个基准分类模型生成多个分类单元，从而利用分类单元之间的同源性，降低不同源造成的误差现象，提高分类的准确性。
本申请中，将Dropout应用于类别预测(而非现有常用的仅训练过程的应用)，利用Dropout造成的扰动性，生成差异性的分类单元，从而在保持分类单元同源性的同时，实现差异性的分布。
结合图8所示，在一种实施方式中，所述基准分类模型包括多个依次连接的FC层和用于输出的Softmax层，相邻的所述FC层之间通过ReLU函数连接。
其中，Softmax函数可以将上一层的原始数据进行归一化，转化为一个0～1之间的数值，这些数值可以被当做概率分布，用来作为多分类的目标预测值。
本申请中，Softmax函数作为基准分类模型的最后一层，接受来自上一层网络的输入值，然后将其转化为概率。需要说明的是，基于Dropout的方式对每一个神经网络层进行Dropout时，并不会对Softmax层进行dropout。
所述基准分类模型中，原始图像中的数据经过全连接层、ReLU函数、…、全连接层后，最终经过Softmax层输出成概率。
本申请中，所述基准分类模型中FC层的数量可以为3～7个。从而在实现特征提取的前提下，降低所述基准分类模型的层数。
本申请实施例提供了一种基于集成学习的髋关节病变智能自标注装置，用于执行本申请上述内容所述的基于集成学习的髋关节病变智能自标注方法，以下对所述基于集成学习的髋关节病变智能自标注装置进行详细描述。
如图9所示，所述基于集成学习的髋关节病变智能自标注装置，包括：
图像提取模块101，其用于将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
集成分类模块102，其用于将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
类别确定模块103，其用于基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
在一种实施方式中，所述基于集成学习的髋关节病变智能自标注装置还包括：模型训练模块，其用于：
获取所述第一样本图像，所述第一样本图像上具有标注的第二样本图像，所述第二样本图像具有标注的疾病类别；根据所述第一样本图像对所述位置检测模型进行训练，得到训练后的所述位置检测模型；根据所述第二样本图像和标注的疾病类别对所述集成学习模型进行训练，得到训练后的所述集成学习模型。
在一种实施方式中，所述模型训练模块还用于：
获取所述第二样本图像，所述第二样本图像上标注有疾病类别；将所述第二样本图像输入所述特征提取单元，得到图像特征信息；将所述图像特征信息分别输入多个所述分类单元，得到各个分类单元输出的分类信息；根据所述第二样本图像对应的多个所述分类信息和标注的疾病类别，计算整体损失函数；根据所述损失函数对所述特征提取单元、多个所述分类单元进行迭代，直至整体损失收敛为止。
在一种实施方式中，所述整体损失的计算公式为：
其中，Loss为整体损失，n为分类单元的总数量，n为该批样本的总数量，Pi为第i个样本标注的标签向量，Qij为第j个分类单元输出的第i个样本的预测向量。
在一种实施方式中，所述特征提取单元包括线性嵌入层、第一重塑层、偶数个SwinTransformer模块和第二重塑层；所述模型训练模块还用于：
将所述第二样本图像依次输入所述线性嵌入层和所述第一重塑层，以改变所述第二样本图像的维度和通道数；将维度和通道数改变后的所述第二样本图像输入所述SwinTransformer模块进行特征提取，得到所述第二样本图像的特征信息；将所述特征信息输入所述第二重塑层进行重新排列，得到所述图像特征信息。
在一种实施方式中，所述多个分类单元是由基准分类模型基于Dropout方式得到的。
在一种实施方式中，所述基准分类模型包括多个依次连接的FC层和用于输出的Softmax层，相邻的所述FC层之间通过ReLU函数连接。
本申请的上述实施例提供的基于集成学习的髋关节病变智能自标注装置与本申请实施例提供的基于集成学习的髋关节病变智能自标注方法具有对应关系，因此该装置中的具体内容与髋关节疾病智能自标注方法具有对应关系，具体内容可以参照髋关节疾病智能自标注方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的基于集成学习的髋关节病变智能自标注装置与本申请实施例提供的基于集成学习的髋关节病变智能自标注方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于集成学习的髋关节病变智能自标注装置的内部功能和结构，如图10所示，实际中，该基于集成学习的髋关节病变智能自标注装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
在一种实施方式中，处理器303还用于：
获取所述第一样本图像，所述第一样本图像上具有标注的第二样本图像，所述第二样本图像具有标注的疾病类别；根据所述第一样本图像对所述位置检测模型进行训练，得到训练后的所述位置检测模型；根据所述第二样本图像和标注的疾病类别对所述集成学习模型进行训练，得到训练后的所述集成学习模型。
在一种实施方式中，处理器303还用于：
获取所述第二样本图像，所述第二样本图像上标注有疾病类别；将所述第二样本图像输入所述特征提取单元，得到图像特征信息；将所述图像特征信息分别输入多个所述分类单元，得到各个分类单元输出的分类信息；根据所述第二样本图像对应的多个所述分类信息和标注的疾病类别，计算整体损失函数；根据所述损失函数对所述特征提取单元、多个所述分类单元进行迭代，直至整体损失收敛为止。
在一种实施方式中，所述整体损失的计算公式为：
其中，Loss为整体损失，n为分类单元的总数量，n为该批样本的总数量，Pi为第i个样本标注的标签向量，Qij为第j个分类单元输出的第i个样本的预测向量。
在一种实施方式中，所述特征提取单元包括线性嵌入层、第一重塑层、偶数个SwinTransformer模块和第二重塑层；处理器303还用于：
将所述第二样本图像依次输入所述线性嵌入层和所述第一重塑层，以改变所述第二样本图像的维度和通道数；将维度和通道数改变后的所述第二样本图像输入所述SwinTransformer模块进行特征提取，得到所述第二样本图像的特征信息；将所述特征信息输入所述第二重塑层进行重新排列，得到所述图像特征信息。
在一种实施方式中，所述多个分类单元是由基准分类模型基于Dropout方式得到的。
在一种实施方式中，所述基准分类模型包括多个依次连接的FC层和用于输出的Softmax层，相邻的所述FC层之间通过ReLU函数连接。
本申请中，处理器还具体用于执行上述基于集成学习的髋关节病变智能自标注方法的所有流程及步骤，具体内容可参照髋关节疾病智能自标注方法中的记录，本申请中对此不再赘述。
本申请中，图10中仅示意性给出部分组件，并不意味着电子设备只包括图10所示组件。
本实施例提供的电子设备，与本申请实施例提供的基于集成学习的髋关节病变智能自标注方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于集成学习的髋关节病变智能自标注方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于集成学习的髋关节病变智能自标注方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于集成学习的髋关节病变智能自标注方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于集成学习的髋关节病变智能自标注方法，其特征在于，包括：
将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
2.根据权利要求1所述的髋关节病变智能自标注方法，其特征在于，所述将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像之前，还包括：
获取所述第一样本图像，所述第一样本图像上具有标注的第二样本图像，所述第二样本图像具有标注的疾病类别；
根据所述第一样本图像对所述位置检测模型进行训练，得到训练后的所述位置检测模型；
根据所述第二样本图像和标注的疾病类别对所述集成学习模型进行训练，得到训练后的所述集成学习模型。
3.根据权利要求1所述的髋关节病变智能自标注方法，其特征在于，所述根据所述第二样本图像和标注的疾病类别对所述集成学习模型进行训练，得到训练后的所述集成学习模型，包括：
获取所述第二样本图像，所述第二样本图像上标注有疾病类别；
将所述第二样本图像输入所述特征提取单元，得到图像特征信息；
将所述图像特征信息分别输入多个所述分类单元，得到各个分类单元输出的分类信息；
根据所述第二样本图像对应的多个所述分类信息和标注的疾病类别，计算整体损失函数；
根据所述损失函数对所述特征提取单元、多个所述分类单元进行迭代，直至整体损失收敛为止。
4.根据权利要求3所述的髋关节病变智能自标注方法，其特征在于，所述整体损失的计算公式为：
其中，Loss为整体损失，n为分类单元的总数量，n为该批样本的总数量，Pi为第i个样本标注的标签向量，Qij为第j个分类单元输出的第i个样本的预测向量。
5.根据权利要求3所述的髋关节病变智能自标注方法，其特征在于，所述特征提取单元包括线性嵌入层、第一重塑层、偶数个Swin Transformer模块和第二重塑层；所述将所述第二样本图像输入所述特征提取单元，得到图像特征信息，包括：
将所述第二样本图像依次输入所述线性嵌入层和所述第一重塑层，以改变所述第二样本图像的维度和通道数；
将维度和通道数改变后的所述第二样本图像输入所述Swin Transformer模块进行特征提取，得到所述第二样本图像的特征信息；
将所述特征信息输入所述第二重塑层进行重新排列，得到所述图像特征信息。
6.根据权利要求1-5中任一项所述的髋关节病变智能自标注方法，其特征在于，所述多个分类单元是由基准分类模型基于Dropout方式得到的。
7.根据权利要求6所述的髋关节病变智能自标注方法，其特征在于，所述基准分类模型包括多个依次连接的FC层和用于输出的Softmax层，相邻的所述FC层之间通过ReLU函数连接。
8.一种基于集成学习的髋关节病变智能自标注装置，其特征在于，包括：
图像提取模块，其用于将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
集成分类模块，其用于将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
类别确定模块，其用于基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将待标注图像输入位置检测模型，得到所述待标注图像中的髋关节图像；
将所述髋关节图像输入集成学习模型，得到所述髋关节图像的多个疾病类别；
基于预设的综合策略从多个所述疾病类别中确定所述髋关节图像的真实类别并标注；
所述集成学习模型包括一个特征提取单元和与所述特征提取单元连接的多个分类单元；所述位置检测模型是基于第一样本图像进行训练后得到的，所述集成学习模型是基于第二样本图像进行训练后得到的，所述第二样本图像为所述第一样本图像的标注信息。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的基于集成学习的髋关节病变智能自标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310826402.6A CN116894973B (zh) | 2023-07-06 | 2023-07-06 | 一种基于集成学习的髋关节病变智能自标注方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310826402.6A CN116894973B (zh) | 2023-07-06 | 2023-07-06 | 一种基于集成学习的髋关节病变智能自标注方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116894973A true CN116894973A (zh) | 2023-10-17 |
| CN116894973B CN116894973B (zh) | 2024-05-03 |
Family
ID=88310241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310826402.6A Active CN116894973B (zh) | 2023-07-06 | 2023-07-06 | 一种基于集成学习的髋关节病变智能自标注方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894973B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576375A (zh) * | 2023-11-27 | 2024-02-20 | 北京长木谷医疗科技股份有限公司 | 基于深度学习算法的髋关节病变识别方法、装置及设备 |
| CN117853432A (zh) * | 2023-12-26 | 2024-04-09 | 北京长木谷医疗科技股份有限公司 | 一种基于混合模型的骨关节病变识别方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
| CN112528664A (zh) * | 2021-02-05 | 2021-03-19 | 湖南工商大学 | 基于多任务联合学习与地址层级结构知识的地址匹配方法 |
| CN113139141A (zh) * | 2021-04-22 | 2021-07-20 | 康键信息技术（深圳）有限公司 | 用户标签扩展标注方法、装置、设备及存储介质 |
| CN113658700A (zh) * | 2021-08-16 | 2021-11-16 | 复旦大学附属中山医院 | 一种基于机器学习的门脉高压无创评估方法及系统 |
| CN113706491A (zh) * | 2021-08-20 | 2021-11-26 | 西安电子科技大学 | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 |
| CN114387464A (zh) * | 2021-12-01 | 2022-04-22 | 杭州脉流科技有限公司 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
| CN114820491A (zh) * | 2022-04-18 | 2022-07-29 | 汕头大学 | 一种基于小样本学习的多模态脑卒中病变分割方法和系统 |
| CN114842085A (zh) * | 2022-07-05 | 2022-08-02 | 松立控股集团股份有限公司 | 一种全场景车辆姿态估计方法 |
| CN114937021A (zh) * | 2022-05-31 | 2022-08-23 | 哈尔滨工业大学 | 一种基于Swin-Transformer的农作物病害细粒度分类方法 |
| CN114972918A (zh) * | 2022-05-30 | 2022-08-30 | 中国人民解放军国防科技大学 | 基于集成学习与ais数据的遥感图像舰船目标识别方法 |
| CN115100574A (zh) * | 2022-07-19 | 2022-09-23 | 电子科技大学长三角研究院(衢州) | 基于融合图卷积网络与Transformer网络的动作识别方法及系统 |
| CN115359483A (zh) * | 2022-08-09 | 2022-11-18 | 杭州迪英加科技有限公司 | 一种针对宫颈液基细胞分类的训练方法 |
| CN116310795A (zh) * | 2023-02-08 | 2023-06-23 | 中山大学 | 一种sar飞机检测方法、系统、装置及存储介质 |
| US20230207061A1 (en) * | 2021-12-29 | 2023-06-29 | Illumina, Inc. | Pathogenicity language model |
| CN116740714A (zh) * | 2023-06-12 | 2023-09-12 | 北京长木谷医疗科技股份有限公司 | 一种基于无监督学习的髋关节疾病智能自标注方法及装置 |
-
2023
- 2023-07-06 CN CN202310826402.6A patent/CN116894973B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
| CN112528664A (zh) * | 2021-02-05 | 2021-03-19 | 湖南工商大学 | 基于多任务联合学习与地址层级结构知识的地址匹配方法 |
| CN113139141A (zh) * | 2021-04-22 | 2021-07-20 | 康键信息技术（深圳）有限公司 | 用户标签扩展标注方法、装置、设备及存储介质 |
| CN113658700A (zh) * | 2021-08-16 | 2021-11-16 | 复旦大学附属中山医院 | 一种基于机器学习的门脉高压无创评估方法及系统 |
| CN113706491A (zh) * | 2021-08-20 | 2021-11-26 | 西安电子科技大学 | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 |
| CN114387464A (zh) * | 2021-12-01 | 2022-04-22 | 杭州脉流科技有限公司 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
| US20230207061A1 (en) * | 2021-12-29 | 2023-06-29 | Illumina, Inc. | Pathogenicity language model |
| CN114820491A (zh) * | 2022-04-18 | 2022-07-29 | 汕头大学 | 一种基于小样本学习的多模态脑卒中病变分割方法和系统 |
| CN114972918A (zh) * | 2022-05-30 | 2022-08-30 | 中国人民解放军国防科技大学 | 基于集成学习与ais数据的遥感图像舰船目标识别方法 |
| CN114937021A (zh) * | 2022-05-31 | 2022-08-23 | 哈尔滨工业大学 | 一种基于Swin-Transformer的农作物病害细粒度分类方法 |
| CN114842085A (zh) * | 2022-07-05 | 2022-08-02 | 松立控股集团股份有限公司 | 一种全场景车辆姿态估计方法 |
| CN115100574A (zh) * | 2022-07-19 | 2022-09-23 | 电子科技大学长三角研究院(衢州) | 基于融合图卷积网络与Transformer网络的动作识别方法及系统 |
| CN115359483A (zh) * | 2022-08-09 | 2022-11-18 | 杭州迪英加科技有限公司 | 一种针对宫颈液基细胞分类的训练方法 |
| CN116310795A (zh) * | 2023-02-08 | 2023-06-23 | 中山大学 | 一种sar飞机检测方法、系统、装置及存储介质 |
| CN116740714A (zh) * | 2023-06-12 | 2023-09-12 | 北京长木谷医疗科技股份有限公司 | 一种基于无监督学习的髋关节疾病智能自标注方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| DONG WU等: "Utility of a novel integrated deep convolutional neural network for the segmentation of hip joint from computed tomography images in the preoperative planning of total hip arthroplasty", 《JOURNAL OF ORTHOPAEDIC SURGERY AND RESEARCH》, pages 1 - 17 * |
| ZE LIU等: "Swin Transformer Hierarchical Vision Transformer using Shifted Windows", 《ARXIV》, pages 1 - 14 * |
| 宋平等: "基于深度学习的膝关节CT图像自动分割准确性验证研究", 《中国修复重建外科杂志》, vol. 36, no. 05, pages 534 - 539 * |
| 张贺贺等: "基于Transformer的弱监督医疗影像多模预训练模型", 《2022中国自动化大会论文集》, pages 444 - 449 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576375A (zh) * | 2023-11-27 | 2024-02-20 | 北京长木谷医疗科技股份有限公司 | 基于深度学习算法的髋关节病变识别方法、装置及设备 |
| CN117853432A (zh) * | 2023-12-26 | 2024-04-09 | 北京长木谷医疗科技股份有限公司 | 一种基于混合模型的骨关节病变识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116894973B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116894973B (zh) | 一种基于集成学习的髋关节病变智能自标注方法及装置 | |
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| US20230230241A1 (en) | System and method for detecting lung abnormalities | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| CN111798976A (zh) | 一种ddh人工智能辅助诊断方法及装置 | |
| Lang et al. | Automatic localization of landmarks in craniomaxillofacial CBCT images using a local attention-based graph convolution network | |
| US11893659B2 (en) | Domain adaption | |
| CN113763340A (zh) | 基于多任务深度学习强直性脊柱炎的自动分级方法 | |
| CN116758341B (zh) | 一种基于gpt的髋关节病变智能诊断方法、装置及设备 | |
| Erdman et al. | Predicting obstructive hydronephrosis based on ultrasound alone | |
| CN110827291A (zh) | 一种用于自动化脑mri定量分析的方法和装置 | |
| Cao et al. | Supervised contrastive pre-training formammographic triage screening models | |
| Aina et al. | Classification of cervical intraepithelial neoplasia (cin) using fine-tuned convolutional neural networks | |
| CN115187566A (zh) | 基于mra影像的颅内动脉瘤检测方法及装置 | |
| CN116740714B (zh) | 一种基于无监督学习的髋关节疾病智能自标注方法及装置 | |
| CN114926396A (zh) | 一种精神障碍类磁共振图像初步筛查模型构建方法 | |
| US11809826B2 (en) | Assertion detection in multi-labelled clinical text using scope localization | |
| Dong et al. | Momentum contrast transformer for COVID-19 diagnosis with knowledge distillation | |
| CN115858820B (zh) | 一种基于医疗知识图谱的预测方法、装置、电子设备和存储介质 | |
| JP7222882B2 (ja) | 医用画像評価のためのディープラーニングの応用 | |
| RU2789260C1 (ru) | Система поддержки принятия врачебных решений на основе анализа медицинских изображений | |
| KR20230002238A (ko) | 심층 학습을 이용한 성인 신장 예측 방법 및 그 시스템 | |
| CN115035133A (zh) | 一种模型训练方法、图像分割方法及相关装置 | |
| CN112396597A (zh) | 不明原因肺炎影像快速筛查方法及装置 | |
| RU2806982C1 (ru) | Устройство и способ для анализа медицинских изображений |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |