CN116824265A - 一种基于glm的脊柱智能诊断评估方法及装置 - Google Patents

一种基于glm的脊柱智能诊断评估方法及装置 Download PDF

Info

Publication number
CN116824265A
CN116824265A CN202310861061.6A CN202310861061A CN116824265A CN 116824265 A CN116824265 A CN 116824265A CN 202310861061 A CN202310861061 A CN 202310861061A CN 116824265 A CN116824265 A CN 116824265A
Authority
CN
China
Prior art keywords
feature extraction
image
glm
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310861061.6A
Other languages
English (en)
Other versions
CN116824265B (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202310861061.6A priority Critical patent/CN116824265B/zh
Publication of CN116824265A publication Critical patent/CN116824265A/zh
Application granted granted Critical
Publication of CN116824265B publication Critical patent/CN116824265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于GLM的脊柱智能诊断评估方法及装置，所述方法包括：将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。本申请中，通过相互结合的特征提取单元和GLM模型，实现脊柱图像中脊柱病变的端到端训练和推理；在降低模型复杂度的同时，也降低了模型的推理时间。

Description

一种基于GLM的脊柱智能诊断评估方法及装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于GLM的脊柱智能诊断评估方法及装置。
背景技术
目前对于脊柱病变的发现方式主要是依靠X光的形式实现，即患者通过拍摄X光片，并由影像科医生进行阅片给出诊断的建议。但是随着中国老龄化程度的发展，以及影像科医生的缺乏，导致脊柱病变的人工诊断方式越来越难以满足需求。
目前越来越多的研究者开始使用深度学习的方法进行脊柱疾病的辅助诊断，但是目前的深度模型均是通过多个模型分别训练得到的，过程繁琐，难以实现端到端的辅助诊断工作。
发明内容
本申请解决的问题是当前深度模型很难解决端到端的辅助诊断的问题。
为解决上述问题，本申请第一方面提供了一种基于GLM的脊柱智能诊断评估方法，包括：
将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
本申请第二方面提供了一种基于GLM的脊柱智能诊断评估装置，其包括：
特征提取子装置，其用于将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
诊断评估子装置，其用于将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于GLM的脊柱智能诊断评估方法。
本申请中，通过相互结合的特征提取单元和GLM模型，实现脊柱图像中脊柱病变的端到端训练和推理；在降低模型复杂度的同时，也降低了模型的推理时间。
本申请中，通过使用互结合的特征提取单元和GLM模型，实现对于脊柱图像的脊柱病变进行自动化诊断评估。一方面，减少单个病例医生的阅片时长；另一方面，降低医生的误诊情况。
附图说明
图1为根据本申请实施例的脊柱智能诊断评估方法的流程图；
图2为根据本申请实施例的脊柱智能诊断评估方法的模型架构图；
图3为根据本申请实施例的脊柱智能诊断评估方法模型训练的流程图；
图4为根据本申请实施例的脊柱智能诊断评估方法特征提取单元的架构图；
图5为根据本申请实施例的脊柱智能诊断评估方法特征提取层的架构图；
图6为根据本申请实施例的脊柱智能诊断评估方法知识蒸馏的示意图；
图7为根据本申请实施例的脊柱智能诊断评估方法知识蒸馏的流程图；
图8为根据本申请实施例的脊柱智能诊断评估装置的结构框图；
图9为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
针对上述问题，本申请提供一种新的基于GLM的脊柱智能诊断评估方案，能够通过联动特征提取单元的训练与GLM模型的微调，解决当前深度模型无法进行端到端的辅助诊断的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
端到端学习：(End-To-End Learning)，也称端到端训练，是指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。
GLM：是一个通用的预训练语言模型(General Language Model Pretrainingwith Autoregressive Blank Infilling)，其在NLU(自然语言理解)、conditional(条件文本生成)and unconditional generation(非条件文本生成)上都有着不错的表现。
本申请实施例提供了一种基于GLM的脊柱智能诊断评估方法，该方法的具体方案由图1-图8所示，该方法可以由基于GLM的脊柱智能诊断评估装置来执行，该基于GLM的脊柱智能诊断评估装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本申请一个实施例的基于GLM的脊柱智能诊断评估方法的流程图；其中，所述基于GLM的脊柱智能诊断评估方法，包括：
S200，将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
本申请中，所述待标注图像为包含脊柱的医学图像，基于该医学图像可以判断出脊柱状态/病变类别。医学图像例如包括：X线片、电子计算机断层扫描(ComputedTomography，CT)图像、磁共振(Magnetic Resonance Imaging，MRI)图像，或者上述多个图像的合成图像等。
S300，将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
本申请中，特征提取单元为未训练的深度网络模型，GLM单元为经过预训练的模型；本申请中，对特征提取单元和所述GLM单元进行训练，实质上是对特征提取单元进行训练，和对所述GLM单元进行微调。
需要说明的是，实际执行过程中，训练过程和微调过程的过程相同，因此可以同步进行。
本申请中，对所述特征提取单元和所述GLM单元是进行同步训练，即是将所述特征提取单元和所述GLM单元作为一个整体模型进行训练。
本申请中，通过特征提取单元将待标注图像编码为GLM可以识别的图像编码信息，从而解决了GLM难以处理脊柱图像信息的问题。
本申请中，通过使用互结合的特征提取单元和GLM模型，实现对于脊柱图像的脊柱病变进行自动化诊断评估。一方面，减少单个病例医生的阅片时长；另一方面，降低医生的误诊情况。
本申请中，通过相互结合的特征提取单元和GLM模型，实现脊柱图像中脊柱病变的端到端训练和推理；在降低模型复杂度的同时，也降低了模型的推理时间。
本申请中，得到诊断评估信息后，可以将该诊断评估信息进行展示，以辅助医疗人员做出准确诊断。
结合图3所示，在一种实施方式中，S200，将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息之前，还包括：
S101，获取第一样本图像，所述第一样本图像具有标注的诊断信息；
本申请中，待标注图像、第一样本图像用于指示任意对象的脊柱部位，其中，对象用于指示患者。
本申请中，在训练时，标注的诊断信息作为特征提取单元和GLM的监督信号。
S102，将所述第一样本图像输入所述特征提取单元，得到所述第一样本图像的图像特征信息；
本申请中，图像特征信息，为GLM可以识别的信息格式。
S103，将所述图像特征信息和标注的诊断信息输入所述GLM单元，得到预测的诊断评估信息；
S104，基于所述诊断评估信息和标注的诊断信息，确定所述特征提取单元和GLM单元的整体损失；
S105，根据所述整体损失同步迭代所述特征提取单元、所述GLM单元的参数，直至所述整体损失收敛为止。
本申请中，所述诊断评估信息为训练过程中GLM输出的信息，其与标注的诊断信息的类型相同。
在一种实施方式中，在训练过程中，图像特征信息输入模型GLM，标注的诊断信息作为监督信号进行训练，在预测过程中，图像特征信息输入模型GLM，得到诊断评估信息，以保证在训练和预测过程中的一致性。
在一种实施方式中，在训练过程中，图像特征信息和标注的诊断信息这两个分支通过Concate的方式输入模型GLM，在预测过程中，图像分支通过与“空”Concate的方式输入模型GLM，以保证在训练和预测过程中的一致性。
实际执行时，训练过程中所述GLM单元包含两个分支的输入，上分支为第一样本图像，该医学影像通过特征提取单元，将视觉信息提取为图像特征信息；下分支为第一样本图像标注的诊断信息，该诊断信息直接为与图像特征信息对应的形式(也即是将诊断信息的格式与图像特征信息保持一致)；最终两个分支输入到GLM单元中进行微调，该微调过程中同步迭代特征提取单元的参数，直至收敛为止。模型推理过程中，GLM单元的输入变成了单分支，即待标注图像，输出为基于GLM单元微调后的诊断评估信息，即待标注图像的诊断报告。
本申请中，通过将图像信息(第一样本图像)和文本信息(诊断信息)作为两个分支合并后输入GLM单元，从而在GLM单元输入的过程中同时完成图像和文本的输入，达到更好的训练效果。
在一种实施方式中，所述整体损失的计算公式为：
loss＝-log(exp(cos_sim)/(exp(cos_sim)+exp(negative_margin)))
其中，cos_sim为所述诊断评估信息和标注的诊断信息的余弦相似度，negative_margin为负边界。
其中，negative_margin是负边界，用于将余弦相似度限制在一个预定义的范围内。
需要说明的是，negative_margin的值是根据具体任务和数据集的特点来设定的。较小的negative_margin值会使得模型更加敏感，即更加严格地判断相似性，而较大的negative_margin值会使得模型更加宽松，即更容易接受相似度较低的样本。
本申请中，所述负边界基于实际情况确定，不再赘述。
本申请中，余弦相似度损失(Cosine Similarity Loss)的计算过程为：
假设有两个向量A和B，它们的余弦相似度定义为它们的内积除以它们的范数的乘积：
cos_sim＝dot_product(A,B)/(norm(A)*norm(B))
其中，余弦相似度损失可以通过计算向量A和B的余弦相似度与目标标签之间的差异来衡量相似性损失。
其中，两个向量A和B，分别用于指代诊断评估信息和标注的诊断信息。
本申请中，设置诊断评估信息和标注的诊断信息对应的数据为预设长度，若诊断评估信息和/或标注的诊断信息转换后的数据小于预设长度，则补0至预设长度；若诊断评估信息和/或标注的诊断信息转换后的数据大于预设长度，则仅保留预设长度内的数据。
本申请中，通过设置预设长度，从而增加诊断评估信息和标注的诊断信息的一致性，避免该情况对损失计算的干扰。
结合图4所示，在一种实施方式中，所述特征提取单元包括多个依次排列的特征提取模块，所述特征提取模块包括依次设置的第一重塑层、特征提取层和第二重塑层；
所述第一重塑层用以改变输入所述特征提取模块的图像数据的维度和通道数；
所述特征提取层用以提取图像数据的图像特征；
所述第二重塑层用以重塑提取的图像特征的维度和通道数。
其中，在训练时，输入所述特征提取模块的图像数据为待标注图像，在预测时，输入所述特征提取模块的图像数据为第一样本图像。
本申请中，所述第一重塑层、第二重塑层可以为Linear Embedding层，以将输入向量的维度转换成预设的维度值，也可以为Reshape层，用于将指定的矩阵变换成特定维数的矩阵，且矩阵中元素个数不变，其可以重新调整矩阵的行数、列数、维数。
本申请中，可以使用Reshape层调整输入向量的通道数，以将输入向量的通道数转换成预设的通道数
本申请中，所述特征提取层用于对输入的图像数据进行特征提取，以提取图像特性，得到特征信息/特征图；该特征提取层可以为卷积层。
本申请中，设置多个依次排列的特征提取模块，在实际执行时，第一个特征提取模块对输入的图像数据执行特征提取，并将提取得到的特征信息输入第二个特征提取模块；以此执行，直至最后一个特征提取模块输出特征信息作为对应的图像特征信息。
本申请中，通过设置多个特征提取模块，增加对图像特征的深度提取，以获取与文本信息/诊断评估信息相关性更高的特征。
在一种实施方式中，所述特征提取模块的数量为四个，以对深度特征的提取进行控制，避免过拟合。
结合图5所示，在一种实施方式中，所述特征提取层包括：第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路和输出层；
所述第一卷积支路包括1×1卷积层；
所述第二卷积支路包括依次设置的池化层和1×1卷积层；
所述第三卷积支路包括依次设置的1×1卷积层和3×3卷积层；
所述第四卷积支路包括依次设置的1×1卷积层和两个3×3卷积层；
所述输出层与所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路连接，以将所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路的输出进行合并。
本申请中，通过设置多个卷积支路的卷积层，然后合并输出的方式，来代替单独的卷积层，通过多个卷积支路上的不同感受野的设置，从而使得多个卷积支路合并后的特征信息包含不同感受野，增加了提取的特征信息的丰富性。
本申请中，结合图5所示，第三卷积支路上设置1×1卷积层，并将1×1卷积层的分别输出到并联的1×3卷积层和3×1卷积层，通过并联的1×3卷积层和3×1卷积层来替换3×3的卷积层，在保持感受野相同的情况下减少参数量和计算量。
本申请中，结合图5所示，第四卷积支路上设置串联的1×1卷积层和两个3×3卷积层(第二个3×3卷积层替换为并联的1×3卷积层和3×1卷积层)，通过串联的两个3×3卷积层来替换5×5卷积层，从而在保持感受野相同的情况下减少参数量和计算量。
需要说明的是，本申请中，还可以增加第五卷积支路、第六卷积支路等，用于设置更大感受野(7×7等)，从而进一步增加感受野的丰富性。
需要说明的是，本申请中，两个卷积层串联，是指数据输入第一个卷积层，且第一个卷积层的输出作为第二个卷积层的输入；两个卷积层并联，是指相同数据分别输入第一个卷积层和第二个卷积层。
本申请中，所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路的输出通过Concate的方式进行合并。
具体地，图5中的Filter Concat为合并，具体执行过程中，卷积1*1，3*3，5*5的输出尺寸仅与步长有关，与卷积核的大小无关；图像经过的卷积核1，3，5输出的特征数W×H×C，W、H都是一样的，是每一个特征图的长宽，只有C不同，C为特征图的个数。因此FilterConcat仅是将不同的卷积核的输出叠加在一起，只是C相加。
本申请中，Concate就是将原始特征直接拼接。通过该合并方式，可以保留不同感受野的卷积层提取到的特性。
在一种实施方式中，所述S105，根据所述整体损失同步迭代所述特征提取单元、所述GLM单元的参数，直至所述整体损失收敛为止，之后，还包括：
根据训练完成的所述特征提取单元，对所述特征提取单元进行知识蒸馏，得到知识蒸馏后的特征提取单元。
本申请中，通过设置知识蒸馏的步骤，从而可以将多个特征提取模块组成的特征提取单元进行简化，降低模型的复杂度。
需要说明的是，本申请中，可以在知识蒸馏后，直接使用知识蒸馏后的模型进行二次训练，从而得到轻量级的已训练模型对诊断评估信息进行预测。
结合图6、图7所示，在一种实施方式中，所述根据训练完成的所述特征提取单元，对所述特征提取单元进行知识蒸馏，得到知识蒸馏后的特征提取单元，包括：
S401，获取特征提取单元中每个特征提取模块输出的图像特征信息；
S402，根据特征提取模块的输入和输出的图像特征信息计算特征提取模块的L1损失值，当前特征模块的输入的图像特征信息为前一特征提取模块输出的图像特征信息；
本申请中，结合图6可以看出，一个特征提取模块的输出即为后一个特征提取模块的输入，且，第一个特征提取模块不计算损失值，第二个特征提取模块根据前一特征提取模块的输出和自身的输出计算对应的L1损失值，依次执行，直至计算出最后一个特征提取模块的L1损失值。
本申请中，使用平均绝对误差(MAE)这个回归损失函数计算L1损失值，从而仅预测值的平均误差幅度，而不需要考虑误差的方向。
S403，在所述L1损失值小于预设阈值的情况下，删除对应的特征提取模块，并将保留的特征提取模块作为知识蒸馏后的特征提取单元。
本申请中，通过计算特征提取模块的输入输出之间的L1损失值，来衡量该特征提取模块在整个模型的“贡献”，并将贡献较小的特征提取模块删除，以在保证模型的训练效果和预测效果的前提下，精简模型架构。
本申请中，通过将标注的诊断信息作为标准答案输入语言模型GLM，从而在实现脊柱病变的端到端训练和推理的基础上，限制了错误传播的范围，从而保证整体损失的顺利收敛。
本申请实施例提供了一种基于GLM的脊柱智能诊断评估装置，用于执行本申请上述内容所述的基于GLM的脊柱智能诊断评估方法，以下对所述基于GLM的脊柱智能诊断评估装置进行详细描述。
如图8所示，所述基于GLM的脊柱智能诊断评估装置，包括：
特征提取子装置101，其用于将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
诊断评估子装置102，其用于将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
在一种实施方式中，所述基于GLM的脊柱智能诊断评估装置还包括：模型训练子装置，其用于：
获取第一样本图像，所述第一样本图像具有标注的诊断信息；将所述第一样本图像输入所述特征提取单元，得到所述第一样本图像的图像特征信息；将所述图像特征信息和标注的诊断信息输入所述GLM单元，得到预测的诊断评估信息；基于所述诊断评估信息和标注的诊断信息，确定所述特征提取单元和GLM单元的整体损失；根据所述整体损失同步迭代所述特征提取单元、所述GLM单元的参数，直至所述整体损失收敛为止。
在一种实施方式中，所述整体损失的计算公式为：
loss＝-log(exp(cos_sim)/(exp(cos_sim)+exp(negative_margin)))
其中，cos_sim为所述诊断评估信息和标注的诊断信息的余弦相似度，negative_margin为负边界。
在一种实施方式中，所述特征提取单元包括多个依次排列的特征提取模块，所述特征提取模块包括依次设置的第一重塑层、特征提取层和第二重塑层；
所述第一重塑层用以改变输入所述特征提取模块的图像数据的维度和通道数；所述特征提取层用以提取图像数据的图像特征；所述第二重塑层用以重塑提取的图像特征的维度和通道数。
在一种实施方式中，所述特征提取层包括：第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路和输出层；
所述第一卷积支路包括1×1卷积层；所述第二卷积支路包括依次设置的池化层和1×1卷积层；所述第三卷积支路包括依次设置的1×1卷积层和3×3卷积层；所述第四卷积支路包括依次设置的1×1卷积层和两个3×3卷积层；所述输出层与所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路连接，以将所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路的输出进行合并。
在一种实施方式中，所述模型训练子装置还用于：
根据训练完成的所述特征提取单元，对所述特征提取单元进行知识蒸馏，得到知识蒸馏后的特征提取单元。
在一种实施方式中，所述模型训练子装置还用于：
获取特征提取单元中每个特征提取模块输出的图像特征信息；根据特征提取模块的输入和输出的图像特征信息计算特征提取模块的L1损失值，当前特征模块的输入的图像特征信息为前一特征提取模块输出的图像特征信息；在所述L1损失值小于预设阈值的情况下，删除对应的特征提取模块，并将保留的特征提取模块作为知识蒸馏后的特征提取单元。
本申请的上述实施例提供的基于GLM的脊柱智能诊断评估装置与本申请实施例提供的基于GLM的脊柱智能诊断评估方法具有对应关系，因此该装置中的具体内容与脊柱智能诊断评估方法具有对应关系，具体内容可以参照脊柱智能诊断评估方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的基于GLM的脊柱智能诊断评估装置与本申请实施例提供的基于GLM的脊柱智能诊断评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于GLM的脊柱智能诊断评估装置的内部功能和结构，如图9所示，实际中，该基于GLM的脊柱智能诊断评估装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
在一种实施方式中，处理器303还用于：
获取第一样本图像，所述第一样本图像具有标注的诊断信息；将所述第一样本图像输入所述特征提取单元，得到所述第一样本图像的图像特征信息；将所述图像特征信息和标注的诊断信息输入所述GLM单元，得到预测的诊断评估信息；基于所述诊断评估信息和标注的诊断信息，确定所述特征提取单元和GLM单元的整体损失；根据所述整体损失同步迭代所述特征提取单元、所述GLM单元的参数，直至所述整体损失收敛为止。
在一种实施方式中，所述整体损失的计算公式为：
loss＝-log(exp(cos_sim)/(exp(cos_sim)+exp(negative_margin)))
其中，cos_sim为所述诊断评估信息和标注的诊断信息的余弦相似度，negative_margin为负边界。
在一种实施方式中，所述特征提取单元包括多个依次排列的特征提取模块，所述特征提取模块包括依次设置的第一重塑层、特征提取层和第二重塑层；
所述第一重塑层用以改变输入所述特征提取模块的图像数据的维度和通道数；所述特征提取层用以提取图像数据的图像特征；所述第二重塑层用以重塑提取的图像特征的维度和通道数。
在一种实施方式中，所述特征提取层包括：第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路和输出层；
所述第一卷积支路包括1×1卷积层；所述第二卷积支路包括依次设置的池化层和1×1卷积层；所述第三卷积支路包括依次设置的1×1卷积层和3×3卷积层；所述第四卷积支路包括依次设置的1×1卷积层和两个3×3卷积层；所述输出层与所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路连接，以将所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路的输出进行合并。
在一种实施方式中，处理器303还用于：
根据训练完成的所述特征提取单元，对所述特征提取单元进行知识蒸馏，得到知识蒸馏后的特征提取单元。
在一种实施方式中，处理器303还用于：
获取特征提取单元中每个特征提取模块输出的图像特征信息；根据特征提取模块的输入和输出的图像特征信息计算特征提取模块的L1损失值，当前特征模块的输入的图像特征信息为前一特征提取模块输出的图像特征信息；在所述L1损失值小于预设阈值的情况下，删除对应的特征提取模块，并将保留的特征提取模块作为知识蒸馏后的特征提取单元。
本申请中，处理器还具体用于执行上述基于GLM的脊柱智能诊断评估方法的所有流程及步骤，具体内容可参照脊柱智能诊断评估方法中的记录，本申请中对此不再赘述。
本申请中，图9中仅示意性给出部分组件，并不意味着电子设备只包括图9所示组件。
本实施例提供的电子设备，与本申请实施例提供的基于GLM的脊柱智能诊断评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于GLM的脊柱智能诊断评估方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于GLM的脊柱智能诊断评估方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于GLM的脊柱智能诊断评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于GLM的脊柱智能诊断评估方法，其特征在于，包括：
将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
2.根据权利要求1所述的脊柱智能诊断评估方法，其特征在于，将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息之前，还包括：
获取第一样本图像，所述第一样本图像具有标注的诊断信息；
将所述第一样本图像输入所述特征提取单元，得到所述第一样本图像的图像特征信息；
将所述图像特征信息和标注的诊断信息输入所述GLM单元，得到预测的诊断评估信息；
基于所述诊断评估信息和标注的诊断信息，确定所述特征提取单元和GLM单元的整体损失；
根据所述整体损失同步迭代所述特征提取单元、所述GLM单元的参数，直至所述整体损失收敛为止。
3.根据权利要求2所述的脊柱智能诊断评估方法，其特征在于，所述整体损失的计算公式为：
loss＝-log(exp(cos_sim)/(exp(cos_sim)+exp(negative_margin)))
其中，cos_sim为所述诊断评估信息和标注的诊断信息的余弦相似度，negative_margin为负边界。
4.根据权利要求1-3中任一项所述的脊柱智能诊断评估方法，其特征在于，所述特征提取单元包括多个依次排列的特征提取模块，所述特征提取模块包括依次设置的第一重塑层、特征提取层和第二重塑层；
所述第一重塑层用以改变输入所述特征提取模块的图像数据的维度和通道数；
所述特征提取层用以提取图像数据的图像特征；
所述第二重塑层用以重塑提取的图像特征的维度和通道数。
5.根据权利要求4所述的脊柱智能诊断评估方法，其特征在于，所述特征提取层包括：第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路和输出层；
所述第一卷积支路包括1×1卷积层；
所述第二卷积支路包括依次设置的池化层和1×1卷积层；
所述第三卷积支路包括依次设置的1×1卷积层和3×3卷积层；
所述第四卷积支路包括依次设置的1×1卷积层和两个3×3卷积层；
所述输出层与所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路连接，以将所述第一卷积支路、第二卷积支路、第三卷积支路、第四卷积支路的输出进行合并。
6.根据权利要求2或3所述的脊柱智能诊断评估方法，其特征在于，所述根据所述整体损失同步迭代所述特征提取单元、所述GLM单元的参数，直至所述整体损失收敛为止之后，还包括：
根据训练完成的所述特征提取单元，对所述特征提取单元进行知识蒸馏，得到知识蒸馏后的特征提取单元。
7.根据权利要求6所述的脊柱智能诊断评估方法，其特征在于，所述根据训练完成的所述特征提取单元，对所述特征提取单元进行知识蒸馏，得到知识蒸馏后的特征提取单元，包括：
获取特征提取单元中每个特征提取模块输出的图像特征信息；
根据特征提取模块的输入和输出的图像特征信息计算特征提取模块的L1损失值，当前特征模块的输入的图像特征信息为前一特征提取模块输出的图像特征信息；
在所述L1损失值小于预设阈值的情况下，删除对应的特征提取模块，并将保留的特征提取模块作为知识蒸馏后的特征提取单元。
8.一种基于GLM的脊柱智能诊断评估装置，其特征在于，包括：
特征提取子装置，其用于将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
诊断评估子装置，其用于将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将待标注图像输入特征提取单元，得到所述待标注图像的图像特征信息；
将所述图像特征信息输入GLM单元，得到所述待标注图像的诊断评估信息；
所述特征提取单元和所述GLM单元是基于第一样本图像和标注的诊断信息进行同步训练后得到的，所述GLM单元为预训练语言模型GLM。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的基于GLM的脊柱智能诊断评估方法。
CN202310861061.6A 2023-07-13 2023-07-13 一种基于glm的脊柱智能诊断评估方法及装置 Active CN116824265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310861061.6A CN116824265B (zh) 2023-07-13 2023-07-13 一种基于glm的脊柱智能诊断评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310861061.6A CN116824265B (zh) 2023-07-13 2023-07-13 一种基于glm的脊柱智能诊断评估方法及装置

Publications (2)

Publication Number Publication Date
CN116824265A true CN116824265A (zh) 2023-09-29
CN116824265B CN116824265B (zh) 2024-05-03

Family

ID=88125799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310861061.6A Active CN116824265B (zh) 2023-07-13 2023-07-13 一种基于glm的脊柱智能诊断评估方法及装置

Country Status (1)

Country Link
CN (1) CN116824265B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN111540461A (zh) * 2020-04-22 2020-08-14 山东凯鑫宏业生物科技有限公司 一种具有问题理解的智能医疗系统及其诊断方法
CN114330297A (zh) * 2021-11-30 2022-04-12 腾讯科技（深圳）有限公司 语言模型的预训练方法、语言文本的处理方法及装置
CN115862839A (zh) * 2022-11-15 2023-03-28 德宏州人民医院 自闭症风险评估模型的建立方法、装置及电子设备
CN115905856A (zh) * 2022-10-08 2023-04-04 鹏城实验室 基于人机交互的模型训练方法、装置、终端及存储介质
CN116403701A (zh) * 2023-03-23 2023-07-07 中国科学院合肥肿瘤医院 一种非小细胞肺癌患者tmb水平的预测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN111540461A (zh) * 2020-04-22 2020-08-14 山东凯鑫宏业生物科技有限公司 一种具有问题理解的智能医疗系统及其诊断方法
CN114330297A (zh) * 2021-11-30 2022-04-12 腾讯科技（深圳）有限公司 语言模型的预训练方法、语言文本的处理方法及装置
CN115905856A (zh) * 2022-10-08 2023-04-04 鹏城实验室 基于人机交互的模型训练方法、装置、终端及存储介质
CN115862839A (zh) * 2022-11-15 2023-03-28 德宏州人民医院 自闭症风险评估模型的建立方法、装置及电子设备
CN116403701A (zh) * 2023-03-23 2023-07-07 中国科学院合肥肿瘤医院 一种非小细胞肺癌患者tmb水平的预测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
52AI: "清华glm团队新作：多模态的VisualGLM-6b", pages 1 - 6, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/630268112?utm_id=0> *
黄友文;游亚东;赵朋;: "融合卷积注意力机制的图像描述生成模型", 计算机应用, no. 01, 30 September 2019 (2019-09-30) *

Also Published As

Publication number Publication date
CN116824265B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
Min et al. Overview of deep learning in gastrointestinal endoscopy
CN109344833B (zh) 医学图像分割方法、分割系统及计算机可读存储介质
Zhang et al. SHA-MTL: soft and hard attention multi-task learning for automated breast cancer ultrasound image segmentation and classification
WO2023020198A1 (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
CN116758341B (zh) 一种基于gpt的髋关节病变智能诊断方法、装置及设备
CN111627531A (zh) 一种基于人工智能的医学影像分类处理系统
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
CN111079901A (zh) 基于小样本学习的急性脑卒中病变分割方法
CN114419020A (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN114732431B (zh) 对血管病变进行检测的计算机实现方法、装置及介质
CN116894973B (zh) 一种基于集成学习的髋关节病变智能自标注方法及装置
CN116824265B (zh) 一种基于glm的脊柱智能诊断评估方法及装置
Kim et al. Bone age assessment using artificial intelligence in Korean pediatric population: a comparison of deep-learning models trained with healthy chronological and Greulich-Pyle ages as labels
CN116894844A (zh) 一种髋关节图像分割与关键点联动识别方法及装置
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN115858820A (zh) 一种基于医疗知识图谱的预测方法、装置、电子设备和存储介质
CN116228660A (zh) 胸部正片异常部位检测方法及装置
US11809826B2 (en) Assertion detection in multi-labelled clinical text using scope localization
CN114764784A (zh) 用于生理相关参数预测的机器学习模型的训练方法及系统
CN114359133A (zh) 基于特征提取的手骨影像分析方法及相关设备
Dong et al. A rectal CT tumor segmentation method based on improved U-Net
CN113362350A (zh) 癌症病历图像的分割方法、装置、终端设备和存储介质
CN116993607B (zh) 一种基于残差注意力机制的医学图像智能去噪方法及装置
CN117352120B (zh) 基于gpt的膝关节病变诊断智能自生成方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant