CN115393336A - 一种骨龄评估方法、系统及计算机可读存储介质 - Google Patents

一种骨龄评估方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN115393336A
CN115393336A CN202211065741.9A CN202211065741A CN115393336A CN 115393336 A CN115393336 A CN 115393336A CN 202211065741 A CN202211065741 A CN 202211065741A CN 115393336 A CN115393336 A CN 115393336A
Authority
CN
China
Prior art keywords
neural network
bone age
convolutional neural
image
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211065741.9A
Other languages
English (en)
Inventor
王佩怡
洪源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Bozhao Technology Co ltd
Puyang Institute Of Big Data And Artificial Intelligence
Hangzhou Lianao Technology Co ltd
Original Assignee
Hangzhou Bozhao Technology Co ltd
Puyang Institute Of Big Data And Artificial Intelligence
Hangzhou Lianao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Bozhao Technology Co ltd, Puyang Institute Of Big Data And Artificial Intelligence, Hangzhou Lianao Technology Co ltd filed Critical Hangzhou Bozhao Technology Co ltd
Priority to CN202211065741.9A priority Critical patent/CN115393336A/zh
Publication of CN115393336A publication Critical patent/CN115393336A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种骨龄评估方法、系统及计算机可读存储介质，骨龄评估方法，包括以下步骤：获取具有手掌图像的医学图像，并基于YOLOV5目标检测方法提取医学图像中的骨骺区域；筛选具有骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像；将每一ROI图像作为输入图像输入至卷积神经网络中，其中卷积神经网络具有预设数量的并行本地网络；卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。采用上述技术方案后，基于卷积神经网络模拟骨龄评估过程，在临床医学应用上很有必要。

Description

一种骨龄评估方法、系统及计算机可读存储介质
技术领域
本发明涉及医学图像处理领域，尤其涉及一种骨龄评估方法、系统及计算机可读存储介质。
背景技术
骨骼年龄，简称骨龄，指骨骼测定年龄，是用骨骼生长发育中成熟和衰老的规律推断的年龄。骨骼在不同的成熟阶段呈现不同的形态特征，因此可以根据骨骼特征对骨龄进行评估，一般是利用影像判断手腕骨、膝部骨等部位在生长中的发育情况，测定骨骼的形态、大小、结构以及相互关系的变化，通过制定完备的标准得到生物年龄。
如上所述的，骨龄能够最为准确地表示人体的发育程度，因此骨骼评估被广泛应用在各个领域。比如，可以用来确定儿童或青少年的生长发育与实际年龄之间的差异，从而作为诊断和治疗儿童与青少年生长和内分泌失调的重要依据；也可以用来预测儿童和青少年的成人身高，帮助进行脊柱矫正、下肢均衡等方面的外科手术。除此以外，骨龄评估还可以应用在体育、司法鉴定等领域。在体育领域，骨龄评估可以通过预测身高来帮助挑选具有潜力的运动员，从而培养最适合各个体育项目的选手；在司法鉴定领域，骨龄评估可以用于确定死者的年龄信息，或者判断犯罪嫌疑人的年龄。
目前传统骨龄评估方式是依据既定的骨龄评测标准通过人工观察骨骼图像来计算骨龄，评估过程耗时长，且结果的主观性强、鲁棒性差，基于传统图像处理方法的骨龄评估方法学习能力弱。
因此，需要一种可自动提取图像特征，进而通过回归或分类得到骨骼年龄的骨龄评估方法，具有比以往方法更快速、更稳定、更准确的效果。
发明内容
为了克服上述技术缺陷，本发明的目的在于提供一种骨龄评估方法、系统及计算机可读存储介质，其基于卷积神经网络模拟骨龄评估过程，在临床医学应用上很有必要。
本发明公开了一种骨龄评估方法，包括以下步骤：
获取具有手掌图像的医学图像，并基于YOLOV5目标检测方法提取医学图像中的骨骺区域；
筛选具有骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像；
将每一ROI图像作为输入图像输入至卷积神经网络中，其中卷积神经网络具有预设数量的并行本地网络，且每一本地网络包括4个卷积层和2个池化层；
卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
优选地，筛选具有骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像的步骤包括：
设定一第二阈值，计算所提取的骨骺区域的数量与类别数的比值，并比较比值与第二阈值；
当比值小于第二阈值时，保留所提取的骨骺区域；
当比值大于第二阈值时，基于YOLOV5目标检测方法中的检测框类别和位置信息，确定骨骺区域中上边沿、下边沿、右边沿及右手拇指检测框定义的左边沿的各自坐标；
以确定的各自坐标为参考位置，计算所有骨骺区域的检测框的宽度平均值和高度平均值；
以参考位置为基准起点，将骨骺区域分别沿宽度方向和高度方向扩展一倍宽度平均值和一倍高度平均值，并将扩展至的位置定义为裁剪框的裁剪坐标；
基于YOLOV5目标检测方法中的检测框类别和位置信息，对裁剪框裁剪形成ROI图像。
优选地，筛选具有骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像的步骤还包括：
统一每一ROI图像的尺寸为64×64，并将所有ROI图像整理成n通道ROI图像，其中卷积神经网络的并行本地网络的数量也为n。
优选地，每一本地网络包括的4个卷积层包括：
第一卷积层，第一卷积层的卷积核为16，步长为1，使得ROI图像的维度提取为15×15；
第二卷积层，第二卷积层的卷积核为32，步长为2，使得的ROI图像的维度提取为7×7；
第三卷积层，第三卷积层的卷积核为64，步长为1，使得的ROI图像的维度提取为5×5；
第四卷积层，第四卷积层的卷积核为128，步长为1，使得的ROI图像的维度提取为3×3；
每一本地网络包括的2个池化层包括：
第一池化层，连接于第一卷积层和第二卷积层间，第一池化层呈平均池化，平均池化的窗口为2×2；
第二池化层，连接于第四卷积层之后，第二池化层呈全局平均池化。
优选地，卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息的步骤包括：
每一本地网络输出一1×1×128维的特征向量；
卷积神经网络将每一本地网络输出的特征向量拼接，形成一2304维的特征向量集；
卷积神经网络对特征向量集执行Dropout操作后，将特征向量集输入至具有两个激活函数为ReLU的全连接层，以得到维数分别为256和128的输出特征向量；
对输出特征向量使用带线性激活的全连接层执行回归操作，得到骨龄信息。
优选地，骨龄评估方法还包括以下步骤：
于卷积神经网络内增加SENet注意力模块，使得SENet注意力模块为每一ROI图像内的局部特征分配权重；
卷积神经网络对未经目标检测的医学图像学习后，与特征向量拼接融合，再执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
本发明还公开了一种骨龄评估系统，包括：
获取模块，获取具有手掌图像的医学图像，并基于YOLOV5目标检测方法提取医学图像中的骨骺区域；
筛选模块，筛选具有骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像；
处理模块，处理模块内建立有卷积神经网络，每一ROI图像作为输入图像输入至卷积神经网络中，其中卷积神经网络具有预设数量的并行本地网络，且每一本地网络包括4个卷积层和2个池化层；
卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的步骤。
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
1.所搭建的卷积神经网络结构简单，训练时间短，并行的本地网络可模拟TW3(TannerWhitehouse)方法的骨龄评测模式；
2.由于骨骺区域内的图像对结果影响程度不同，注意力机制模块可使模型自适应地为各个骨骺区域包含的局部特征分配权重；
3.特征融合的方式使现有数据信息利用得更加充分。
附图说明
图1为符合本发明一优选实施例中骨龄评估方法的流程示意图；
图2为符合本发明一优选实施例中骨龄评估方法的逻辑示意图；
图3为符合本发明一优选实施例中本地网络的结构示意图；
图4为符合本发明另一优选实施例中骨龄评估方法的逻辑示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
参阅图1，示出了符合本发明一优选实施例中骨龄评估方法的流程示意图，在该实施例中骨龄评估方法包括以下步骤：
S100：获取具有手掌图像的医学图像，并基于YOLOV5目标检测方法提取医学图像中的骨骺区域；
医学图像中可包含有右手或左手的放射科图像，YOLO原始模型是基于Darknet网络。YOLO网络主要由三个主要组件组成，Backbone：在不同图像细粒度上聚合并形成图像特征的卷积神经网络；Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；Head：对图像特征进行预测，生成边界框和并预测类别。经YOLOV5目标检测方法提取出医学图像中TW3方法关注的骨骺区域。
S200：筛选具有骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像；
对于医学图像的筛选，包括所有骨骺区域均为用户的左手。且对医学图像裁剪后，所有ROI图像的尺寸一致，且ROI图像的数量受限，以对应于后续卷积神经网络的处理通道。
S300：将每一ROI图像作为输入图像输入至卷积神经网络中，其中卷积神经网络具有预设数量的并行本地网络，且每一本地网络包括4个卷积层和2个池化层；
该并行本地网络(LocalNet)的数量与ROI图像的数量一致，即每一ROI图像对应一本地网络，且所有本地网络呈并行设置，模拟TW3方法的骨龄评测模式(TW3骨龄记分法的分期方法是将手、腕部20个骨骺的骨发育分为8或9期，即桡骨、掌骨、指骨、钩骨和大多角骨各分为9期，尺骨和7个腕骨各分为8期。各期的顺序以英文大写字母、从A起依次表示)。
S400：卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。
通过上述配置，所提出基于卷积神经网络的模拟骨龄评估过程的全自动骨龄评估方法在临床医学具有重大的应用。
一优选实施例中，步骤S200包括：
S210：设定一第二阈值，计算所提取的骨骺区域的数量与类别数的比值，并比较比值与第二阈值；
以类别数为18为例，第二阈值可以是1，使得该步骤S210中所提取的期望的骨骺区域少于18，避免一本地网络处理多个ROI图像。
S220：当比值小于第二阈值时，保留所提取的骨骺区域；
S220’：当比值大于第二阈值时，表示某些骨骺区域的医学图像具有两只手，需要对医学图像进行裁剪，基于YOLOV5目标检测方法中的检测框类别和位置信息，确定骨骺区域中上边沿、下边沿、右边沿及右手拇指检测框定义的左边沿的各自坐标；
S230：以确定的各自坐标为参考位置，计算所有骨骺区域的检测框的宽度平均值和高度平均值；
S240：以参考位置为基准起点，将骨骺区域分别沿宽度方向和高度方向扩展一倍宽度平均值和一倍高度平均值，并将扩展至的位置定义为裁剪框的裁剪坐标，从而确定裁剪框的位置；
S250：基于YOLOV5目标检测方法中的检测框类别和位置信息，对裁剪框裁剪形成ROI图像，例如ROI图像的数量可以是18张。
进一步地，步骤S200还包括：
S260：统一每一ROI图像的尺寸为64×64，并将所有ROI图像整理成n通道ROI图像，其中卷积神经网络的并行本地网络的数量也为n。参阅图2，也即每一ROI图像对应一卷积神经网络的本地网络，当对ROI图像作切片操作后，可将其输入至卷积神经网络内。
进一步地，参阅图3，每一本地网络包括的4个卷积层包括：第一卷积层，第一卷积层的卷积核为16，步长为1，使得ROI图像的维度提取为15×15；第二卷积层，第二卷积层的卷积核为32，步长为2，使得的ROI图像的维度提取为7×7；第三卷积层，第三卷积层的卷积核为64，步长为1，使得的ROI图像的维度提取为5×5；第四卷积层，第四卷积层的卷积核为128，步长为1，使得的ROI图像的维度提取为3×3；每一本地网络包括的2个池化层包括：第一池化层，连接于第一卷积层和第二卷积层间，第一池化层呈平均池化，平均池化的窗口为2×2；第二池化层，连接于第四卷积层之后，第二池化层呈全局平均池化。换句话说，经所搭建的卷积神经网络LocalNet并行处理后，最终输出的为一个128维的特征向量。也即步骤S400包括：
S410：每一本地网络输出一1×1×128维的特征向量；
S420：卷积神经网络将每一本地网络输出的特征向量拼接，形成一2304维(线性拼接)的特征向量集；
S430：卷积神经网络对特征向量集执行Dropout操作后，将特征向量集输入至具有两个激活函数为ReLU的全连接层，以得到维数分别为256和128的输出特征向量；
神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。如果不用激励函数，在这种情况下每一层节点的输入都是上层输出的线性函数，很容易验证，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机(Perceptron)，那么网络的逼近能力就相当有限。正因为上面的原因，需要引入非线性函数作为激励函数，这样深层神经网络表达能力就更加强大(不再是输入的线性组合，而是几乎可以逼近任意函数)。修正线性单元(Rectified linear unit，ReLU)保留了step函数的生物学启发(只有输入超出阈值时神经元才激活)，不过当输入为正的时候，导数不为零，从而允许基于梯度的学习(尽管在x＝0的时候，导数是未定义的)。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一直保持静默。
S440：对输出特征向量使用带线性激活的全连接层执行回归操作，得到骨龄信息。
参阅图4，骨龄评估方法还具有注意力机制和特征融合方法，具体地，还包括以下步骤：
S500：于卷积神经网络内增加SENet注意力模块，使得SENet注意力模块为每一ROI图像内的局部特征分配权重；
SENet模块主要是实现了一种通道注意力，提升模型对于图像通道之间的特征的感知能力，增加少量计算，提升模型性能，即模型能够自适应地为各个ROI图像代表的局部特征分配权重。
S600：卷积神经网络对未经目标检测的医学图像学习后，与特征向量拼接融合，再执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息
VGG全称是Visual Geometry Group，可以应用在人脸识别、图像分类等方面，分别从VGG16～VGG19。VGG研究卷积网络深度的初衷是想搞清楚卷积网络深度是如何影响大规模图像分类与识别的精度和准确率的，最初是VGG-16号称非常深的卷积网络全称为(GG-Very-Deep-16 CNN)，VGG在加深网络层数同时为了避免参数过多，在所有层都采用3x3的小卷积核，卷积层步长被设置为1。VGG的输入被设置为224x244大小的RGB图像，在训练集图像上对所有图像计算RGB均值，然后把图像作为输入传入VGG卷积网络，使用3x3或者1x1的filter，卷积步长被固定1。VGG全连接层有3层，根据卷积层+全连接层总数目的不同可以从VGG11～VGG19，最少的VGG11有8个卷积层与3个全连接层，最多的VGG19有16个卷积层+3个全连接层，此外VGG网络并不是在每个卷积层后面跟上一个池化层，还是总数5个池化层，分布在不同的卷积层之下。
通过上述配置，PLNet-VGG使用特征融合的方式，综合考虑局部特征和全局特征，可以使现有数据信息利用得更加充分。
本发明还公开了一种骨龄评估系统，包括：获取模块，获取具有手掌图像的医学图像，并基于YOLOV5目标检测方法提取医学图像中的骨骺区域；筛选模块，筛选具有骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像；处理模块，处理模块内建立有卷积神经网络，每一ROI图像作为输入图像输入至卷积神经网络中，其中卷积神经网络具有预设数量的并行本地网络，且每一本地网络包括4个卷积层和2个池化层；卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的步骤。
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种骨龄评估方法，其特征在于，包括以下步骤：
获取具有手掌图像的医学图像，并基于YOLOV5目标检测方法提取所述医学图像中的骨骺区域；
筛选具有所述骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像；
将每一ROI图像作为输入图像输入至卷积神经网络中，其中所述卷积神经网络具有所述预设数量的并行本地网络，且每一本地网络包括4个卷积层和2个池化层；
所述卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对所述特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
2.如权利要求1所述的骨龄评估方法，其特征在于，筛选具有所述骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像的步骤包括：
设定一第二阈值，计算所提取的骨骺区域的数量与类别数的比值，并比较所述比值与所述第二阈值；
当所述比值小于所述第二阈值时，保留所提取的骨骺区域；
当所述比值大于所述第二阈值时，基于YOLOV5目标检测方法中的检测框类别和位置信息，确定骨骺区域中上边沿、下边沿、右边沿及右手拇指检测框定义的左边沿的各自坐标；
以确定的各自坐标为参考位置，计算所有骨骺区域的检测框的宽度平均值和高度平均值；以参考位置为基准起点，将所述骨骺区域分别沿宽度方向和高度方向扩展一倍宽度平均值和一倍高度平均值，并将扩展至的位置定义为裁剪框的裁剪坐标；
基于YOLOV5目标检测方法中的检测框类别和位置信息，对裁剪框裁剪形成ROI图像。
3.如权利要求2所述的骨龄评估方法，其特征在于，筛选具有所述骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像的步骤还包括：
统一每一ROI图像的尺寸为64×64，并将所有ROI图像整理成n通道ROI图像，其中卷积神经网络的并行本地网络的数量也为n。
4.如权利要求3所述的骨龄评估方法，其特征在于，
每一本地网络包括的4个卷积层包括：
第一卷积层，所述第一卷积层的卷积核为16，步长为1，使得所述ROI图像的维度提取为15×15；
第二卷积层，所述第二卷积层的卷积核为32，步长为2，使得所述的ROI图像的维度提取为7×7；
第三卷积层，所述第三卷积层的卷积核为64，步长为1，使得所述的ROI图像的维度提取为5×5；
第四卷积层，所述第四卷积层的卷积核为128，步长为1，使得所述的ROI图像的维度提取为3×3；
每一本地网络包括的2个池化层包括：
第一池化层，连接于所述第一卷积层和第二卷积层间，所述第一池化层呈平均池化，平均池化的窗口为2×2；
第二池化层，连接于所述第四卷积层之后，所述第二池化层呈全局平均池化。
5.如权利要求4所述的骨龄评估方法，其特征在于，
所述卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对所述特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息的步骤包括：
每一本地网络输出一1×1×128维的特征向量；
所述卷积神经网络将每一本地网络输出的特征向量拼接，形成一2304维的特征向量集；所述卷积神经网络对所述特征向量集执行Dropout操作后，将所述特征向量集输入至具有两个激活函数为ReLU的全连接层，以得到维数分别为256和128的输出特征向量；对输出特征向量使用带线性激活的全连接层执行回归操作，得到骨龄信息。
6.如权利要求1所述的骨龄评估方法，其特征在于，骨龄评估方法还包括以下步骤：
于卷积神经网络内增加SENet注意力模块，使得所述SENet注意力模块为每一ROI图像内的局部特征分配权重；
所述卷积神经网络对未经目标检测的医学图像学习后，与所述特征向量拼接融合，再执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
7.一种骨龄评估系统，其特征在于，包括：
获取模块，获取具有手掌图像的医学图像，并基于YOLOV5目标检测方法提取所述医学图像中的骨骺区域；
筛选模块，筛选具有所述骨骺区域的医学图像的数量至一第一阈值，并对筛选后的医学图像裁剪至预设尺寸，以得到预设数量的ROI图像；
处理模块，所述处理模块内建立有卷积神经网络，每一ROI图像作为输入图像输入至卷积神经网络中，其中所述卷积神经网络具有所述预设数量的并行本地网络，且每一本地网络包括4个卷积层和2个池化层；
所述卷积神经网络将每一本地网络输出的特征向量拼接，形成一特征向量集，并对所述特征向量集执行Dropout操作后使用带线性激活的全连接层执行回归操作，得到骨龄信息。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的步骤。
CN202211065741.9A 2022-09-01 2022-09-01 一种骨龄评估方法、系统及计算机可读存储介质 Withdrawn CN115393336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211065741.9A CN115393336A (zh) 2022-09-01 2022-09-01 一种骨龄评估方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211065741.9A CN115393336A (zh) 2022-09-01 2022-09-01 一种骨龄评估方法、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115393336A true CN115393336A (zh) 2022-11-25

Family

ID=84124089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211065741.9A Withdrawn CN115393336A (zh) 2022-09-01 2022-09-01 一种骨龄评估方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115393336A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433607A (zh) * 2023-03-17 2023-07-14 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433607A (zh) * 2023-03-17 2023-07-14 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN116433607B (zh) * 2023-03-17 2024-03-15 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统

Similar Documents

Publication Publication Date Title
US20210390706A1 (en) Detection model training method and apparatus, computer device and storage medium
CN106951825A (zh) 一种人脸图像质量评估系统以及实现方法
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN105701120B (zh) 确定语义匹配度的方法和装置
CN108109160A (zh) 一种基于深度学习的免交互式GrabCut舌体分割方法
CN109508644A (zh) 基于深度视频数据分析的面瘫等级评估系统
CN109344851B (zh) 图像分类显示方法和装置、分析仪器和存储介质
CN107463906A (zh) 人脸检测的方法及装置
CN110009628A (zh) 一种针对连续二维图像中多形态目标的自动检测方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN110503155A (zh) 一种信息分类的方法及相关装置、服务器
CN114495241B (zh) 一种图像识别方法及装置、电子设备、存储介质
CN110110663A (zh) 一种基于人脸属性的年龄识别方法及系统
CN109102501B (zh) 一种关节图像处理方法及图像处理设备
Shoohi et al. DCGAN for Handling Imbalanced Malaria Dataset based on Over-Sampling Technique and using CNN.
CN115393336A (zh) 一种骨龄评估方法、系统及计算机可读存储介质
Sangeetha et al. Diagnosis of pneumonia using image recognition techniques
CN115393351A (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN116705310A (zh) 围术期风险评估的数据集构建方法、装置、设备及介质
JP7073171B2 (ja) 学習装置、学習方法及びプログラム
Corso et al. Segmentation of sub-cortical structures by the graph-shifts algorithm
Simu et al. Automated bone age assessment using bag of features and random forests
CN113537375B (zh) 一种基于多尺度级联的糖尿病视网膜病变分级方法
CN115331045A (zh) 基于神经网络自适应膨胀剪枝的视觉对象分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221125