CN115578372A - 基于目标检测和卷积变换的骨龄评估方法、设备及介质 - Google Patents

基于目标检测和卷积变换的骨龄评估方法、设备及介质 Download PDF

Info

Publication number
CN115578372A
CN115578372A CN202211349392.3A CN202211349392A CN115578372A CN 115578372 A CN115578372 A CN 115578372A CN 202211349392 A CN202211349392 A CN 202211349392A CN 115578372 A CN115578372 A CN 115578372A
Authority
CN
China
Prior art keywords
training
image
sample
adopting
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211349392.3A
Other languages
English (en)
Inventor
惠庆磊
洪源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Bozhao Technology Co ltd
Original Assignee
Hangzhou Bozhao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Bozhao Technology Co ltd filed Critical Hangzhou Bozhao Technology Co ltd
Priority to CN202211349392.3A priority Critical patent/CN115578372A/zh
Publication of CN115578372A publication Critical patent/CN115578372A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于目标检测和卷积变换的骨龄评估方法、设备及介质，涉及图像处理领域，包括：建立初始模型，获取若干包含骨龄信息的图像作为训练样本，获取训练数据，采用目标检测模型对训练数据进行识别后裁剪，获得若干包含ROI块的训练子图像；进行特征提取，获得样本特征信息；根据样本数据的性别信息进行编码，并与样本特征信息融合，获得样本融合特征信息；采用变换网络对样本融合特征信息进行处理，采用均值‑方差损失函数调整模型权重分布，迭代训练直至生成目标模型；获取骨影像，预处理后获得待处理图像，采用目标模型对待处理图像处理，输出骨龄评估结果，解决现有缺乏挖掘数据特征的全自动骨龄评估方法的问题。

Description

基于目标检测和卷积变换的骨龄评估方法、设备及介质
技术领域
本发明涉及图像处理领域，尤其涉及一种基于目标检测和卷积变换的骨龄评估方法、设备及介质。
背景技术
在医学领域，人类的成长和发展主要以“年龄”来衡量，年龄可分为生理学年龄和生物学年龄。其中，生理年龄相对简单，是由出生日期决定的。不同的个体，由于其不同的生长环境和营养水平，同龄人群的实际生长发育状况可能会有很大的差异，尤其是儿童或青少年，其生物成熟度具有相当大的差异。因此，有必要使用生物年龄，生物年龄又称骨骼年龄，由于人的骨骼发育与人的生理成熟程度密切相关，比生理年龄更能准确地反映人体发育的生理成熟程度，是判断人类生长发育是否正常的重要指标之一。通过骨龄可以确定儿童或青少年的生长发育与实际年龄之间的差异，从而作为诊断和治疗儿童与青少年生长和内分泌失调的重要依据；也可以用来预测儿童和青少年的成人身高，帮助进行脊柱矫正、下肢均衡等方面的外科手术。除此以外，骨龄评估还可以应用在体育、司法鉴定等领域。
传统的骨龄评估流程通常是对待测者的左手拍摄X射线图像，医生通过观察指骨、腕骨及桡尺骨等区域的成熟程度，然后根据已定的评测标准来确定骨龄，主要方法有Greulich-Pyle图谱法(GP)和Tanner-Whitehouse计分法(TW)两种。其中GP是根据儿童生长研究制定X光图谱，骨龄评估时直接将被测者的X光图像与标准图谱对照，即可得出骨龄。GP图谱法简便、明确、易行，在国际上广泛使用，但是主观性强，不能确保准确度。TW通过对特定骨骺的成熟度打分，查骨龄评分表得出骨骼年龄(目前已经修订到TW3)。由于TW3方法对每块骨骺的成熟度进行独立评分，所以相较于图谱法，TW3计分法更加客观且具有一定的鲁棒性，但是评估过程较为复杂，需要有经验的医生花费一定时间才能完成对骨龄的评估，因此许多研究者致力于研究一种快速、准确且不依赖医生经验的骨龄评估方法。
骨龄阅片由于人工判读主观性强，不同年资医生判读结果有很大的差异性。同时，由于医学图像的采集成本更高，标记需要专业的放射科医生，费时费力，因此专门用于骨龄预测并具有高质量标签的数据集非常有限。传统的自动化评估方法大多需要人工设计特征作为输入，无法满足自动化的要求，其性能也难以满足实际应用的要求。因此，提出一种不仅满足临床需求，也可以充分挖掘数据特征的全自动骨龄评估方法很有必要。
发明内容
为了克服上述技术缺陷，本发明的目的在于提供基于目标检测和卷积变换的骨龄评估方法、设备及介质，解决现有缺乏挖掘数据特征的全自动骨龄评估方法的问题。
本发明公开了一种基于目标检测和卷积变换的骨龄评估方法，包括：
基于目标检测模型和卷积变换网络建立初始模型，获取若干包含骨龄信息的图像作为训练样本，将所述训练样本分为训练集、验证集和测试集；
获取训练集中任一训练数据，采用预训练好的目标检测模型对所述训练数据进行识别后裁剪，获得若干包含ROI块的训练子图像；
采用卷积网络对所述训练子图像进行特征提取，获得样本特征信息；
根据所述样本数据的性别信息进行编码，并在激活函数处理后与所述样本特征信息融合，获得样本融合特征信息；
采用变换网络对所述样本融合特征信息进行处理，利用多次编码和解码提取深层特征，通过分类函数生成样本输出，根据所述样本输出和所述验证集采用优化算法调整特征融合并采用均值-方差损失函数调整模型权重分布，迭代训练直至测试集测试完成，生成目标模型；
获取受验者的骨影像，预处理后获得待处理图像，采用所述目标模型对所述待处理图像处理，输出骨龄评估结果。
优选地，采用均值-方差损失函数调整模型权重分布，包括：
建立平均损失函数和方差损失函数，其中，所述平均损失函数用于惩罚样本输出相对验证集中对应的真实值的均值差异，所述方差损失函数用于惩罚样本输出的分散性；
采用交叉熵损失函数结合平均损失函数和方差损失函数生成均值-方差损失函数；
根据样本输出相对所述验证集中对应的真实值的差异，采用所述均值-方差损失函数调整模型权重分布。
优选地，所述均值-方差损失函数表示为：
L＝Ls+λ1Lm+λ2Lv；
其中，Ls为交叉熵损失函数；Lm为平均损失函数；Lv为方差损失函数；λ1、λ2为超参数；
Figure BDA0003918322490000031
Figure BDA0003918322490000032
Figure BDA0003918322490000033
其中，yi为样本输出；pi,j为样本数据i属于骨龄j的概率；N为参数数量；mi为均值、vi为方差；
Figure BDA0003918322490000034
优选地，所述采用所述目标模型对所述待处理图像处理，输出骨龄评估结果，包括：
采用预训练好的目标检测模型对所述待处理图像处理进行识别后裁剪，获得若干包含ROI块的子图像；
采用卷积网络对所述子图像进行特征提取，获得特征信息；
根据所述待处理图像的性别信息进行编码，并在激活函数处理后与所述特征信息融合，获得融合特征信息；
采用变换网络对所述融合特征信息进行处理，利用多次编码和解码提取深层特征，通过分类函数输出骨龄评估结果。
优选地，所述获取若干包含骨龄信息的图像作为训练样本，包括：
从一数据库中收集已标定有骨龄信息的骨影像，并基于所述骨龄信息，以自然年周期分类，形成包含至少一组骨龄信息位于[a，b)区间，其中a、b为正整数的骨影像作为训练样本；
对所述训练样本中的各个图像作直方图均衡化处理。
优选地，所述采用预训练好的目标检测模型对所述训练数据进行识别前，对目标检测模型进行训练，包括：
从一数据库中获取若干骨影像，并预先标记预设类型的ROI块，以生成训练图像集；
基于YOLO网络建立目标检测模型，并根据预设类别的ROI块设置模型参数；
采用训练图像集对所述目标检测模型进行训练，更新目标检测模型的损失函数和权重参数，以获得预训练后的目标检测模型。
优选地，在裁剪，获得若干包含ROI块的训练子图像前，还包括：
丢弃ROI块数量低于预设值的样本数据；
对样本数据中预设位置的点进行定位，并调整样本数据对应的图像位置。
优选地，在获得若干包含ROI块的训练子图像后，将各个训练子图像统一为相同大小的尺寸，组成58×58×18的三维矩阵；
所述采用卷积网络对所述训练子图像进行特征提取，获得的样本特征信息组成56×56×144的三维矩阵。
本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述评估方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述评估方法的步骤。
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
1、本发明包括两阶段网络：目标检测网络和卷积变换网络(包括卷积网络和变换网络)，可以实现骨龄评估的自动化。目标检测网络，仅用少量标注数据可以达到快速高效提取图像关键区域；卷积变换网络捕捉检测到的图像关键区域之间的信息，挖掘数据特征，准确且高效。
2、本发明充分考虑性别的先验信息，对性别标签编码，与ROI块的特征信息融合作为变换网络的输入，以输出骨龄评估结果。
3、本发明在模型训练过程中采用均值-方差损失函数，平均损失用于惩罚骨龄估计和标记的真实值的平均值之间的分布，以确保评估的准确性，方差损失用于惩罚估算骨龄估计的方差，以提高目标模型的鲁棒性。
附图说明
图1为本发明所述基于目标检测和卷积变换的骨龄评估方法实施例一的流程图；
图2为本发明所述基于目标检测和卷积变换的骨龄评估方法实施例一中初始模型的处理过程参考图；
图3为本发明所述基于目标检测和卷积变换的骨龄评估方法实施例一中包含若干ROI块预测框的图像的参考图；
图4为本发明所述基于目标检测和卷积变换的骨龄评估方法实施例一中用于体现调整图像位置的参考图；
图5为本发明所述基于目标检测和卷积变换的骨龄评估方法实施例一中变换网络的结构示意图；
图6为本发明实施例二装置的模块示意图；
图7为本发明实施例三设备示意图。
附图标记：
7-基于目标检测和卷积变换的骨龄评估装置；71-训练样本获取模块；72-特征提取模块；73-特征与性别信息融合模块；74-调整模块；75-评估模块；8-计算机设备；81-存储器；82-处理器。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
实施例一：本实施例公开了一种基于目标检测和卷积变换的骨龄评估方法，参阅图1和图2，包括：
S100：基于目标检测模型和卷积变换网络建立初始模型，获取若干包含骨龄信息的图像作为训练样本，将所述训练样本分为训练集、验证集和测试集；
在本实施方式中，可视作为借助于两个阶段的网络：目标检测网络和卷积变换(融合)网络，可以实现骨龄评估的自动化。目标检测网络，用于快速高效提取图像关键区域(ROI块)，卷积变换网络则用于捕捉检测到的ROI之间的信息，卷积变换网络又可分为卷积网络和变换网络，卷积网络用于提取特征，变换网络用于提取特征之间的信息，以便实现对骨龄的评估。
具体的，所述获取若干包含骨龄信息的图像作为训练样本，包括：从一数据库中收集已标定有骨龄信息的骨影像，并基于所述骨龄信息，以自然年周期分类，形成包含至少一组骨龄信息位于[a，b)区间，其中a、b为正整数的骨影像作为训练样本；对所述训练样本中的各个图像作直方图均衡化处理。
在上述步骤中，该数据库可以是从医院放射科收集X射线图像形成的，可以设置男女比例各占一半，并根据标定的骨龄情况，以12个月为单位将数据分类，如[7,8)岁为一组，[8,9)岁为一组，由此生成包含若干组的训练数据。将上述数据集中的各个图像(X射线图像)做直方图均衡化，以增强对比度，还可进一步执行调整操作，如调整各个图像的尺寸，以便于后续模型的处理。
作为说明的是，可以从收集的手腕骨数据(即训练样本)中随机选取80％作为训练集，10％作为验证集，10％作为测试集。为了进一步增加数据的广泛性，提高对模型训练的准确性，对其中的训练集和验证集做数据增广，将数据量增加至原数据量的10倍，具体的，采用的数据增广方法主要包括但不限于：图像转置、水平镜像、旋转、平移、缩放、尺度变换的任意一种或多种
S200：获取训练集中的训练数据，采用预训练好的目标检测模型对所述训练数据进行识别后裁剪，获得若干包含ROI块的训练子图像；
具体的，可以是任一训练数据，对训练集中各个训练数据逐个进行处理，所述采用预训练好的目标检测模型对所述训练数据进行识别前，对目标检测模型进行训练，包括：从一数据库中获取若干骨影像，并预先标记预设类型的ROI块，以生成训练图像集；基于YOLO网络建立目标检测模型，并根据预设类别的ROI块设置模型参数；采用训练图像集对所述目标检测模型进行训练，更新目标检测模型的损失函数和权重参数，以获得预训练后的目标检测模型。
在上述训练过程中，具体的，可随机选取1000例各年龄段的图像，基于TW方法的标准人工标记指定的ROI区域，800例用于训练目标检测网络，200例用于测试；建立目标检测模型，该目标检测模型可使用FastR-CNN模型，类别(参数)设置为18(即预设类别的ROI块的类别数)，预测边框包括目标类别的置信度以及每个边框区域在多个类别上的概率，通过非极大值抑制去除冗余窗口；将上述训练图像集和图像预先标定的类别输入至目标检测模型进行训练，通过降低损失函数值并更新网络权重参数，经过训练后，得到学习后的网络权重参数，获得预训练后的目标检测模型。
具体的在裁剪，获得若干包含ROI块的训练子图像前，还对样本数据对应的图像进行修正，具体的，包括：
S210：丢弃ROI块数量低于预设值的样本数据；
具体的，在上述步骤中，经过上述采用目标检测模型的识别之后，输出的样本数据对应的图像带有预测框(参阅图3)，每一预测框均对应预设类别的ROI块之一，如上所述，设预设类别的ROI区为18个，这预测框应当包含18个，对于ROI类别数(块)<14的数据删除，从而排除了一部分发育不良或者有病变的图片，从而减少该图片对后续模型训练及输出结果的准确性的影响。
S220：对样本数据中预设位置的点进行定位，并调整样本数据对应的图像位置。
在上述步骤中，具体的，参阅图4，以样本数据为手部骨影像作为举例的，可通过检测出中指的三个关节的中心点坐标对手骨进行对齐，使中指处于垂直状态，即上述预设位置的点可以包括多个，上述调整样本数据中对应的图像位置，可以是旋转或上下左右预设幅度的移动，用于使得样本数据中的图像位于相对正向的位置上，以便于后续对ROI块的分割以及特征提取。
S300：采用卷积网络对所述训练子图像进行特征提取，获得样本特征信息；
具体的，该卷积网络可以设置为组卷积，也可以设置其他多层卷积网络，用于实现特征提取即可；该样本特征信息为多个ROI块的特征集合。作为补充的是，在获得若干包含ROI块的训练子图像后，将各个训练子图像统一为相同大小的尺寸，组成58×58×18的三维矩阵；所述采用卷积网络对所述训练子图像进行特征提取，获得的样本特征信息组成56×56×144的三维矩阵，即，修正好的图像中裁剪出检测到的18个ROI块，经过数字化采样，将各个ROI块统一为相同大小的尺寸，组成58×58×18的三维矩阵，然后执行组卷积操提取ROI的特征信息，变成56×56×144。
S400：根据所述样本数据的性别信息进行编码，并在激活函数处理后与所述样本特征信息融合，获得样本融合特征信息；
在上述步骤中，对X射线图像(即样本数据)的性别信息进行编码，经过sigmoid激活后与上述步骤提取到的特征信息(上述样本特征信息)矩阵做融合，作为Transformer网络(即下述变换网络)的输入。作为说明的是，对性别信息进行编码可以按照预设规则进行，sigmoid激活函数用于实现二分类功能，进而实现性别信息与特征信息的融合，本实施方式充分考虑性别的先验信息，对性别标签编码，与ROI特征信息融合作为骨龄评估网络的输入，进而提高后续利用该模型进行骨龄评估结果的准确性。
S500：采用变换网络对所述样本融合特征信息进行处理，利用多次编码和解码提取深层特征，通过分类函数生成样本输出，根据所述样本输出和所述验证集采用优化算法调整特征融合并采用均值-方差损失函数调整模型权重分布，迭代训练直至测试集测试完成，生成目标模型；
在本实施方式中，训练过程中采用均值-方差损失函数(即图2中的混合损失函数)，平均损失用于惩罚估计骨龄(即模型输出)和标记年龄(真实值)的平均值之间的分布，以确保评估的准确性，方差损失用于惩罚估算年龄值(即模型输出)分布的方差，以确保骨龄评估的鲁棒性。
具体的，采用均值-方差损失函数调整模型权重分布，包括：建立平均损失函数和方差损失函数，其中，所述平均损失函数用于惩罚样本输出相对验证集中对应的真实值的均值差异，所述方差损失函数用于惩罚样本输出的分散性；采用交叉熵损失函数结合平均损失函数和方差损失函数生成均值-方差损失函数；根据样本输出相对所述验证集中对应的真实值的差异，采用所述均值-方差损失函数调整模型权重分布。
在上述步骤中，作为举例说明的，样本融合特征信息输入到Transformer网络中，经过N次编码和解码提取深层次特征，通过Adam高效优化算法训练融合网络，损失函数采用均值-方差损失损失函数，经过Softmax后得到骨龄的评估结果。
具体的，所述均值-方差损失函数表示为：
L＝Ls+λ1Lm+λ2Lv (1)；
其中，Ls为交叉熵损失函数；Lm为平均损失函数；Lv为方差损失函数；λ1、λ2为超参数；
Figure BDA0003918322490000091
Figure BDA0003918322490000092
Figure BDA0003918322490000093
其中，yi为样本输出；pi,j为样本数据i属于骨龄j的概率；N为参数数量；mi为均值、vi为方差；
Figure BDA0003918322490000094
基于上述公式(1)-(6)，作为解释的，上述公式(5)、(6)分别用于计算均值和方差，设该损失函数具有j∈{1,2,...,K}表示骨龄的真实值；对于均值-方差损失中的均值损失部分，惩罚估计年龄分布(模型输出)和真实年龄(验证值)的均值差异，平均损失函数参考上述式(3)，基于式(5)的均值计算出；对于均值-方差损失中的方差损失部分，惩罚了估计骨龄分布(上述模型输出)的分散性，参考上述式(4)，基于式(5)、(6)计算获得的，而后联合式(2)，(3)-(2)即可获得式(1)，即损失函数的表达，该损失函数用于训练过程中根据训练集的模型输出与验证集的比较来调整模型参数(权重分布)，以实现对模型的训练，用于下述操作过程输出准确的骨龄估计结果，上述式(1)其中λ1和λ2是两个超参数，用于在训练过程中迭代调整，以平衡损失函数(1)中子损失函数(3)、(4)的影响，以在训练过程完成后固定以生成目标模型。
S600：获取受验者的骨影像，预处理后获得待处理图像，采用所述目标模型对所述待处理图像处理，输出骨龄评估结果。
需要说明的是，该待评估的骨影响为受试者的骨影像，一个受试者可以关联一个或多个骨影像，对于每一骨影像都逐个进行处理。上述预处理可以是做直方图均衡化，以增强对比度；和/或进行数字化采样，使图像形成预设尺寸，以便于提高模型处理效率。
作为说明的，上述步骤S100-S500为初始模型的训练过程，并在训练完成后获得目标模型，用于实际场景下的自动骨龄评估，初始模型与目标模型的处理过程是一致的，不同之处在于，在训练过程执行损失函数的调整和特征融合的优化，以调整模型的参数，以便实现自动骨龄评估，在训练过程完成后固定模型的参数即可获得目标模型。因此具体的，所述采用所述目标模型对所述待处理图像处理，输出骨龄评估结果，包括：
S610：采用预训练好的目标检测模型对所述待处理图像处理进行识别后裁剪，获得若干包含ROI块的子图像；
与上述步骤S200中操作相似的，在识别后的待处理图像应当带有多个预测框，每一预测框均对应预设类别的ROI块之一，在识别后也可对其进行修正，其中ROI块数量过少丢弃同时调整图像位置等，而后根据ROI块裁剪获得若干子图像。
S620：采用卷积网络对所述子图像进行特征提取，获得特征信息；
在上述步骤中，该特征信息为待处理图像中各个ROI块中的特征的集合。
S630：根据所述待处理图像的性别信息进行编码，并在激活函数处理后与所述特征信息融合，获得融合特征信息；
在上述步骤中，上述步骤S610-S630可以视作为第一阶段，为提取特征以及与性别信息的融合，充分考虑性别的先验信息，以提高后续输入至变换网络后获得输出结果的准确性。
S640：采用变换网络对所述融合特征信息进行处理，利用多次编码和解码提取深层特征，通过分类函数输出骨龄评估结果。
在上述步骤中，需要说明的是，变换网络(Transformer网络，参阅图5)包含多个编码和解码结构，作为举例的，每一编码结构或解码结构中可包括残差连接层归一化、前馈网络、多头注意力机制等模块，具体的，编码结构可以包括依序连接的多头注意力机制、残差连接层归一化、前馈网络、残差连接层归一化模块；解码结构可以包括依序连接的多头注意力机制、残差连接层归一化、多头注意力机制、残差连接层归一化、前馈网络、残差连接层归一化模块，最终通过Softmax后输出结果，即上述骨龄评估结果。该变换网络可为现有的其他编解码网络结构，以实现对特征信息的识别，进行对骨龄的自动评估。
本实施方式提供的基于目标检测和卷积变换的骨龄评估方法，包括两个阶段网络：目标检测网络和卷积变换(融合)网络，可以实现骨龄评估的自动化。目标检测网络，仅用少量标注数据可以达到快速高效提取图像关键区域(ROI块)，缓解数据标注的压力；卷积变换(融合)网络(卷积网络+Transformer网络)捕捉检测到的ROI之间的信息，自动评估骨龄，在训练过程中采用均值-方差损失函数，以确保评估的准确性和鲁棒性。同时，还充分考虑性别的先验信息，对性别标签编码，与ROI特征信息融合作为骨龄评估的输入，进一步提高评估结果的准确性。
实施例二：本实施例提供一种基于目标检测和卷积变换的骨龄评估装置7，参阅图6，包括：
训练样本获取模块71，用于基于目标检测模型和卷积变换网络建立初始模型，获取若干包含骨龄信息的图像作为训练样本，将所述训练样本分为训练集、验证集和测试集；
特征提取模块72，用于获取训练集中的训练数据，采用预训练好的目标检测模型对所述训练数据进行识别后裁剪，获得若干包含ROI块的训练子图像；采用卷积网络对所述训练子图像进行特征提取，获得样本特征信息；
特征与性别信息融合模块73，用于根据所述样本数据的性别信息进行编码，并在激活函数处理后与所述样本特征信息融合，获得样本融合特征信息；
调整模块74，用于采用变换网络对所述样本融合特征信息进行处理，利用多次编码和解码提取深层特征，通过分类函数生成样本输出，根据所述样本输出和所述验证集采用优化算法调整特征融合并采用均值-方差损失函数调整模型权重分布，迭代训练直至测试集测试完成，生成目标模型；
评估模块75，用于获取受验者的骨影像，预处理后获得待处理图像，采用所述目标模型对所述待处理图像处理，输出骨龄评估结果。
在本实施方式中，将数据库中(手骨)X射线图像生成训练样本；采用特征提取模块中的目标检测模型进行关键区域ROI的提取和分割，并进行特征提取，获得特征信息；而后利用特征与性别信息融合模块，对性别信息编码，并与ROI特征信息融合；在调整模块中，训练Transformer，采用网络优化算法调整特征融合并采用均值-方差损失函数调整模型权重分布，迭代训练，直至训练完成，固定模型参数，获得目标模型，最后在实际操作过程中，直接利用评估模块将预处理后的受试者手骨X射线图像输入至该目标模型以得到骨龄评估结果，提取待处理图像中关注的感兴趣区域(ROI)，融合性别先验信息，采用Transformer捕捉ROI块之间的信息，预测骨龄。而目标模型的训练过程中，采用均值-方差损失函数，惩罚评估结果(模型输出)与真实标签之间的差异，进一步提高目标模型的准确率和稳定性。
实施例三：为实现上述目的，本发明还提供一种计算机设备8，该计算机设备可包括多个计算机设备，实施例二的基于目标检测和卷积变换的骨龄评估装置7的组成部分可分散于不同的计算机设备8中，计算机设备8可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器81、处理器82以及基于目标检测和卷积变换的骨龄评估装置7。如图7所示，需要指出的是，图7仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器81可以包括存储程序区和存储数据区，其中，存储程序区可存储搡作系统、至少一个功能所需要的应用程序；存储数据区可存储用户在计算机设备的数据。此外，存储器81可以包括高速随机存取存储器，还可以包括非易失性存储器，在一些实施例中，存储器81可选包括相对于处理器远程设置的存储器81，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、局域网等。
处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制计算机设备的总体操作。本实施例中，处理器82用于运行存储器81中存储的程序代码或者处理数据，例如运行基于目标检测和卷积变换的骨龄评估装置7，以实现实施例一的基于目标检测和卷积变换的骨龄评估方法。
需要指出的是，图7仅示出了具有部件81-82的计算机设备8，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
实施例四：
为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁盘、光盘、服务器等等，其上存储有计算机程序，程序被处理器82执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于目标检测和卷积变换的骨龄评估装置7，被处理器82执行时实现实施例一的目标检测和卷积变换的骨龄评估方法。
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于目标检测和卷积变换的骨龄评估方法，其特征在于，包括：
基于目标检测模型和卷积变换网络建立初始模型，获取若干包含骨龄信息的图像作为训练样本，将所述训练样本分为训练集、验证集和测试集；
获取训练集中任一训练数据，采用预训练好的目标检测模型对所述训练数据进行识别后裁剪，获得若干包含ROI块的训练子图像；
采用卷积网络对所述训练子图像进行特征提取，获得样本特征信息；
根据所述样本数据的性别信息进行编码，并在激活函数处理后与所述样本特征信息融合，获得样本融合特征信息；
采用变换网络对所述样本融合特征信息进行处理，利用多次编码和解码提取深层特征，通过分类函数生成样本输出，根据所述样本输出和所述验证集采用优化算法调整特征融合并采用均值-方差损失函数调整模型权重分布，迭代训练直至测试集测试完成，生成目标模型；
获取受验者的骨影像，预处理后获得待处理图像，采用所述目标模型对所述待处理图像处理，输出骨龄评估结果。
2.根据权利要求1所述的评估方法，其特征在于，采用均值-方差损失函数调整模型权重分布，包括：
建立平均损失函数和方差损失函数，其中，所述平均损失函数用于惩罚样本输出相对验证集中对应的真实值的均值差异，所述方差损失函数用于惩罚样本输出的分散性；
采用交叉熵损失函数结合平均损失函数和方差损失函数生成均值-方差损失函数；
根据样本输出相对所述验证集中对应的真实值的差异，采用所述均值-方差损失函数调整模型权重分布。
3.根据权利要求1所述的评估方法，其特征在于：。
所述均值-方差损失函数表示为：
L＝Ls+λ1Lm+λ2Lv；
其中，Ls为交叉熵损失函数；Lm为平均损失函数；Lv为方差损失函数；λ1、λ2为超参数；
Figure FDA0003918322480000011
Figure FDA0003918322480000021
Figure FDA0003918322480000022
其中，yi为样本输出；pi,j为样本数据i属于骨龄j的概率；N为参数数量；mi为均值、vi为方差；
Figure FDA0003918322480000023
4.根据权利要求1所述的评估方法，其特征在于，所述采用所述目标模型对所述待处理图像处理，输出骨龄评估结果，包括：
采用预训练好的目标检测模型对所述待处理图像处理进行识别后裁剪，获得若干包含ROI块的子图像；
采用卷积网络对所述子图像进行特征提取，获得特征信息；
根据所述待处理图像的性别信息进行编码，并在激活函数处理后与所述特征信息融合，获得融合特征信息；
采用变换网络对所述融合特征信息进行处理，利用多次编码和解码提取深层特征，通过分类函数输出骨龄评估结果。
5.根据权利要求1所述的评估方法，其特征在于，所述获取若干包含骨龄信息的图像作为训练样本，包括：
从一数据库中收集已标定有骨龄信息的骨影像，并基于所述骨龄信息，以自然年周期分类，形成包含至少一组骨龄信息位于[a，b)区间，其中a、b为正整数的骨影像作为训练样本；
对所述训练样本中的各个图像作直方图均衡化处理。
6.根据权利要求1所述的评估方法，其特征在于：所述采用预训练好的目标检测模型对所述训练数据进行识别前，对目标检测模型进行训练，包括：
从一数据库中获取若干骨影像，并预先标记预设类型的ROI块，以生成训练图像集；
基于YOLO网络建立目标检测模型，并根据预设类别的ROI块设置模型参数；
采用训练图像集对所述目标检测模型进行训练，更新目标检测模型的损失函数和权重参数，以获得预训练后的目标检测模型。
7.根据权利要求1所述的评估方法，其特征在于，在裁剪，获得若干包含ROI块的训练子图像前，还包括：
丢弃ROI块数量低于预设值的样本数据；
对样本数据中预设位置的点进行定位，并调整样本数据对应的图像位置。
8.根据权利要求1所述的评估方法，其特征在于，还包括：
在获得若干包含ROI块的训练子图像后，将各个训练子图像的尺寸统一，组成58×58×18的三维矩阵；
所述采用卷积网络对所述训练子图像进行特征提取，获得的样本特征信息组成56×56×144的三维矩阵。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述评估方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求1-8所述评估方法的步骤。
CN202211349392.3A 2022-10-31 2022-10-31 基于目标检测和卷积变换的骨龄评估方法、设备及介质 Pending CN115578372A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211349392.3A CN115578372A (zh) 2022-10-31 2022-10-31 基于目标检测和卷积变换的骨龄评估方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211349392.3A CN115578372A (zh) 2022-10-31 2022-10-31 基于目标检测和卷积变换的骨龄评估方法、设备及介质

Publications (1)

Publication Number Publication Date
CN115578372A true CN115578372A (zh) 2023-01-06

Family

ID=84588783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211349392.3A Pending CN115578372A (zh) 2022-10-31 2022-10-31 基于目标检测和卷积变换的骨龄评估方法、设备及介质

Country Status (1)

Country Link
CN (1) CN115578372A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115796306A (zh) * 2023-02-07 2023-03-14 四川大学 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法
CN116128863A (zh) * 2023-03-01 2023-05-16 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN117058100A (zh) * 2023-08-14 2023-11-14 阿里巴巴达摩院(杭州)科技有限公司 图像识别方法、电子设备和计算机可读存储介质
CN117670845A (zh) * 2023-12-08 2024-03-08 北京长木谷医疗科技股份有限公司 一种基于x光医学图像的脊柱滑脱识别及评估方法、装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115796306A (zh) * 2023-02-07 2023-03-14 四川大学 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法
CN115796306B (zh) * 2023-02-07 2023-04-18 四川大学 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法
CN116128863A (zh) * 2023-03-01 2023-05-16 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116128863B (zh) * 2023-03-01 2023-09-12 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116342516B (zh) * 2023-03-17 2024-04-16 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN117058100A (zh) * 2023-08-14 2023-11-14 阿里巴巴达摩院(杭州)科技有限公司 图像识别方法、电子设备和计算机可读存储介质
CN117670845A (zh) * 2023-12-08 2024-03-08 北京长木谷医疗科技股份有限公司 一种基于x光医学图像的脊柱滑脱识别及评估方法、装置

Similar Documents

Publication Publication Date Title
CN115578372A (zh) 基于目标检测和卷积变换的骨龄评估方法、设备及介质
CN107591200B (zh) 基于深度学习及影像组学的骨龄标记识别评估方法及系统
WO2022063199A1 (zh) 一种肺结节自动检测方法、装置及计算机系统
CN112184617B (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
Sorensen et al. Quantitative analysis of pulmonary emphysema using local binary patterns
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN107247971B (zh) 一种超声甲状腺结节风险指标的智能分析方法及系统
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN112634261A (zh) 基于卷积神经网络的胃癌病灶检测方法及装置
CN108062749B (zh) 肛提肌裂孔的识别方法、装置和电子设备
CN111008974A (zh) 多模型融合的股骨颈骨折区域定位和分割方法及系统
CN111784704B (zh) Mri髋关节炎症分割与分类自动定量分级序贯方法
CN115393351B (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN114565613A (zh) 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN113743463A (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN111798408A (zh) 一种内窥镜干扰图像检测与分级系统及方法
CN114897760A (zh) 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统
CN117541574A (zh) 一种基于ai语义分割和图像识别的舌诊检测方法
CN115578373A (zh) 基于全局和局部特征协作的骨龄评估方法、装置、设备及介质
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
CN112837264A (zh) 肋骨定位、骨折临床结局预测装置及自动诊断系统
CN111667469A (zh) 肺部疾病分类方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination