CN113781398A - 一种基于双向门控循环网络的骨龄识别方法和模型 - Google Patents

一种基于双向门控循环网络的骨龄识别方法和模型 Download PDF

Info

Publication number
CN113781398A
CN113781398A CN202110929013.7A CN202110929013A CN113781398A CN 113781398 A CN113781398 A CN 113781398A CN 202110929013 A CN202110929013 A CN 202110929013A CN 113781398 A CN113781398 A CN 113781398A
Authority
CN
China
Prior art keywords
bone
image
age identification
network
gru
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110929013.7A
Other languages
English (en)
Other versions
CN113781398B (zh
Inventor
叶金德
林坚
林铭强
陈集房
麻元兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Keyi Intelligent Medical Technology Co ltd
Original Assignee
Zhejiang Keyi Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Keyi Intelligent Medical Technology Co ltd filed Critical Zhejiang Keyi Intelligent Medical Technology Co ltd
Priority to CN202110929013.7A priority Critical patent/CN113781398B/zh
Publication of CN113781398A publication Critical patent/CN113781398A/zh
Application granted granted Critical
Publication of CN113781398B publication Critical patent/CN113781398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双向门控循环网络的骨龄识别方法和模型，克服了现有技术骨龄片拍摄出现姿势不规范且图像不清晰导致的骨关节等级识别准确率低的问题，利用Bi‑GRU获取上下文信息的能力，来获取手骨中各骨关节图像之间的上下文信息，因拍摄姿势不规范或生长异常导致骨龄难以识别时，可以通过这些上下文信息来提高评价的准确度；过滤门机制通过结合前向后向的隐藏状态来计算出过滤门，当输入图像特征经过此门时，就会被过滤筛选出对Bi‑GRU网络有用的特征信息，从而提高了网络对图像特征信息获取的能力；通过识别手骨的骨龄来约束模型评价各骨关节等级的范围，通过损失函数避免识别出现极端错误的情况。

Description

一种基于双向门控循环网络的骨龄识别方法和模型
技术领域
本发明涉及图像数据处理技术领域，尤其是涉及一种基于双向门控循环网络的骨龄识别方法和模型。
背景技术
目前，中国0-15岁儿童青少年人数已达2.48亿，随着医疗技术的进步，传染性、感染性疾病逐渐得到控制，矮小症、肥胖症、性早熟等生长发育问题逐渐成为主流。据调查显示，我国6-17岁的儿童青少年儿童生长发育异常占比为48％-63％，粗略估计，每年需进行规律的生长发育评测的儿童及青少年超过1亿。作为衡量青少年生长发育水平的重要指标，基于骨龄的生长发育测评相较于身高、体重等指标能够更加精准、客观地反映儿童实际生长发育水平。
临床上采用较为广泛的骨龄检测标准主要有TW3、中华05等计分法和GP图谱法等。其中TW3、中华05等计分法具备判读精度高、相对一致性较高等特点，但由于需要人工对20来块手骨进行发育评级并代入函数运算，平均单人耗时达到10-15分钟，对门诊医生提出较大考验。而GP图谱法通过类比标准图谱的方式虽然能够快速阅片，评价省时，但同时存在主观性大、可靠性差、一致性低等问题。
由于手骨的各个骨关节的生长发育存在着一定的联系，而且在骨龄片拍摄会出现姿势不规范现象，使得某些骨关节发生旋转而导致某些骨关节姿势不正确或者图像不清晰，这时医生会根据与该骨关节相近的骨关节等级来判断此不清晰骨关节的等级。而现有技术只是单独的将各骨关节分别用独立的卷积神经网络分类器预测对应骨关节的等级，从而忽略了一只手掌中各骨关节之间的联系，导致部分骨关节等级识别准确率不高。
发明内容
本发明是为了克服现有技术的骨龄片拍摄出现姿势不规范且图像不清晰导致的骨关节等级识别准确率低的问题，提供一种基于双向门控循环网络的骨龄识别方法和模型，通过Bi-GRU获取与过滤门机制结合获取到骨关节图像上所需识别的特征信息，从而提高骨龄识别准确率。
为了实现上述目的，本发明采用以下技术方案：
一种基于双向门控循环网络的骨龄识别方法，包括以下步骤：
S1、检测获取左手手骨所需骨关节图像，定位骨关节图像所需骨关节位置，截取骨关节区域图像；
S2、采用卷积神经网络进行各个骨关节图像的特征提取并对骨龄识别模型进行预训练操作；
S3、将提取特征经过过滤门传入Bi-GRU网络进行对应骨关节等级识别并通过约束函数对骨关节等级识别进行纠正和约束。
本发明的骨龄鉴定标准依据依据TW3-RUS和中华05两种骨龄鉴定标准，因此需要检测左手手骨的13个骨关节部位区域图像，作为骨龄识别模型的输入。
作为优选，所述S1包括以下步骤：
S101、获取左手正位X片图像，图像格式为包括DICOM的手骨医学图像，将获得的图像输入到骨关节检测模型中进行所需骨关节ROI检测；
S102、骨关节检测模型基于深度学习的目标检测、图像分割模型，其训练数据是标注了所需所有骨关节区域的左手正位X片图像；
骨关节检测模型可以是基于深度学习的目标检测或者图像分割模型，其训练数据是标注了所需所有骨关节区域的左手正位X片图像，由于手骨关节图像和位置都比较固定，所以用基于深度学习的检测模型会有很好的检测效果；
S103、将S101获取的图像输入到训练完成的骨关节检测模型，骨关节检测模型输出所有骨关节区域的位置坐标；
本发明采用目标检测算法，框选中的区域为模型检测到的骨关节区域；
S104、根据S103所检测到的骨关节区域位置，在左手正位X片图像上截取各个骨关节的区域图像，并进行归一化处理。
作为优选，所述S2包括以下步骤：
S201、针对骨龄识别任务，提取到后续骨龄识别网络所需的各骨关节相应的图像特征，采用卷积神经网络作为主干网络；
S1中已经通过检测模型获取到了骨龄鉴定所需的骨关节区域图像，由于Bi-GRU网络的输入的限制，同时为更好地提取到区域图像的特征信息，接下来将使用卷积神经网络来提取图像深度特征；本发明采用卷积神经网络作为主干网络，可选地，网络可以但不限于使用ResNet、InceptionNet、DenseNet等；
S202、用图像分类任务对模型进行预训练操作；为了使模型有针对性的提取所需特征，同时为保证后续将卷积神经网络集成到骨龄识别模型整体一起训练时更容易训练，对模型进行预训练操作；
S203、预训练操作输入截取并处理过的各个骨关节区域图像作为训练数据，输出为对应的骨龄等级向量，计算输出与骨关节对应真实等级的损失函数；
S204、对训练数据进行数据增强，数据增强操作包括旋转、平移；数据增强能够保证模型的泛化性，以及数据平衡；
S205、在手骨正位X片图像原图像上先进行随机角度旋转、随机上下左右平移、随机亮度调整的数据增强操作，然后获取骨关节区域图像位置坐标，截取骨关节区域图像；
由于对截取后的骨关节区域图像进行数据增强操作，如旋转、平移等，或出现黑边情况，与实际使用情况不符，本发明采用在手骨正位片原图像上进行增强操作，后截取骨关节区域图像；
截取骨关节区域图像通过S103获取的骨关节区域的位置坐标进行；
S206、对各骨关节评价等级对应的图像数目进行统计，在数据增强时对数据量少的等级图像进行更多的数据增强操作，增广数据量；
这一步可以保持数据平衡，使模型训练更加准确，达到数据平衡；
S207、完成卷积神经网络的预训练，输出采用预训练模型最后分类器的前一层网络，作为图像经过模型提取的最终输出特征，所述特征为骨龄识别模型的输入特征向量
Figure 100002_DEST_PATH_IMAGE001
。
作为优选，所述S3包括以下步骤：
S301、特征提取模块将最终输出特征输入上下文信息提取模块，上下文信息提取模块采用双向循环神经网络获取各骨关节之间的上下信息；
S302、经过上下文提取模块的特征向量
Figure 100002_DEST_PATH_IMAGE002
输入过滤门，过滤门筛选输入的图像特征有用信息再传入Bi-GRU网；
S303、Bi-GRU网络在每一个时刻输出对应骨关节的等级评价，整体骨龄识别模块对整只手骨进行骨龄识别。
特征提取模块主要功能就是提取输入图像特征并进行特征维度的压缩，后传入到Bi-GRU网络中。在传入Bi-GRU网络前会有一个过滤门，过滤门会筛选出输入的图像特征有用的信息再传入到Bi-GRU网络，Bi-GRU在每一个时刻会输出对应骨关节的等级评价，最后还有一个手骨整体骨龄识别模块，会对整只手骨进行骨龄识别。
作为优选，所述S302包括以下内容：
在Bi-GRU网络中，最重要的信息是在每个时刻产生的两种隐藏状态，用
Figure 100002_DEST_PATH_IMAGE003
和
Figure 100002_DEST_PATH_IMAGE004
表示指定时刻相应产生的前后隐藏状态，其中式
Figure 100002_DEST_PATH_IMAGE005
；
两种隐藏状态的生成公式分别为：
Figure 100002_DEST_PATH_IMAGE006
Figure 100002_DEST_PATH_IMAGE007
其中
Figure 100002_DEST_PATH_IMAGE008
和
Figure 100002_DEST_PATH_IMAGE009
表示的是前向GRU和后向GRU，
Figure 100002_DEST_PATH_IMAGE010
和
Figure 100002_DEST_PATH_IMAGE011
表示其上一时刻的隐藏状态，
Figure 100002_DEST_PATH_IMAGE012
表示为当前时刻t输入的图像特征；
过滤门：GRU的当前隐藏状态主要由图像特征
Figure 100002_DEST_PATH_IMAGE013
和上一时刻隐藏状态
Figure 100002_DEST_PATH_IMAGE014
决定；图像通过过滤门筛选有用信息，过滤无用信息；
过滤门由前向GRU和后向GRU的上一时刻隐藏状态以及计算而得，其计算公式如下：
Figure 100002_DEST_PATH_IMAGE015
其中
Figure 100002_DEST_PATH_IMAGE016
表示t时刻的过滤门，
Figure 100002_DEST_PATH_IMAGE017
和
Figure 100002_DEST_PATH_IMAGE018
为可学习参数矩阵，
Figure 100002_DEST_PATH_IMAGE019
为可学习偏置项，
Figure 100002_DEST_PATH_IMAGE020
和
Figure 100002_DEST_PATH_IMAGE021
分别表示前后向GRU的上一时刻隐藏状态，
Figure 100002_DEST_PATH_IMAGE022
表示sigmoid函数
Figure 100002_DEST_PATH_IMAGE023
，通过sigmoid函数将输出限制在0-1之间。
作为优选，所述过滤门采用以下方式实现过滤图像特征重的无用干扰信息并加强所需信息：
让图像经过过滤门
Figure 100002_DEST_PATH_IMAGE024
，实现过滤，公式如下：
Figure 100002_DEST_PATH_IMAGE025
其中
Figure 100002_DEST_PATH_IMAGE026
表示t时刻经过过滤门后的图像特征，
Figure 100002_DEST_PATH_IMAGE027
表示t时刻的输入图像特征，
Figure 100002_DEST_PATH_IMAGE028
表示矩阵的逐元素相乘。
作为优选，所述S303包括以下内容：
骨关节等级评价：将一个骨关节区域图像通过卷积神经网络提取到的图像特征
Figure 100002_DEST_PATH_IMAGE029
，又经过过滤门得到特征向量
Figure 100002_DEST_PATH_IMAGE030
，在t时刻将
Figure 100002_DEST_PATH_IMAGE031
传入到Bi-GRU模型中，模型会在t时刻输出两个对应的隐藏状态如步骤S306所述，将两个隐藏状态拼接后，输入到一个全连接层网络进行维度变换后，最终输出t时刻下的骨关节等级概率向量，公式表示如下：
Figure 100002_DEST_PATH_IMAGE032
其中
Figure 100002_DEST_PATH_IMAGE033
表示t时刻GRU输出的骨关节等级概率向量，
Figure 100002_DEST_PATH_IMAGE034
表示
Figure 100002_DEST_PATH_IMAGE035
函数，
Figure 100002_DEST_PATH_IMAGE036
表示全连接层，[ , ]表示矩阵的拼接；
骨龄识别：骨龄识别模型识别出所有骨关节等级后，每个时刻都会产生两个拼接隐藏状态
Figure 100002_DEST_PATH_IMAGE037
,这里表示为
Figure 100002_DEST_PATH_IMAGE038
；通过将每个时刻的
Figure 100002_DEST_PATH_IMAGE039
加权求平均后将其输入到一个多层感知机中，通过多层感知机的输出来识别给定手骨的骨龄，其公式可表示为：
Figure 100002_DEST_PATH_IMAGE040
其中age表示识别的骨龄，
Figure 100002_DEST_PATH_IMAGE041
表示多层感知机，
Figure 100002_DEST_PATH_IMAGE042
表示识别骨关节的数量；最后以回归任务的方式去训练手骨整体骨龄识别模块。
作为优选，所述整体骨龄识别模块采用以下方式训练：训练数据为截取并处理过的骨关节区域图像、各骨关节对应的骨等级标注和手骨对应的骨龄标注，对训练数据进行数据增强，骨龄识别模型内部四个部分以端到端的形式进行训练，特征提取模块中的卷积神经网络需加载预训练模型，后与骨龄识别模型联合整体一起训练，骨龄识别模型内部有两个损失函数，一个是Bi-GRU网络的骨等级评价损失函数
Figure 100002_DEST_PATH_IMAGE043
，另一个是手骨整体骨龄识别模块的骨龄识别损失函数
Figure 100002_DEST_PATH_IMAGE044
，骨龄识别模型的损失函数为两个损失函数相加，并由超参数
Figure 100002_DEST_PATH_IMAGE045
和
Figure 100002_DEST_PATH_IMAGE046
来控制两个损失函数的对模型训练时的影响，其表示形式如下：
Figure 100002_DEST_PATH_IMAGE047
。
数据增强和S204-S206中所述的增强操作原理相同。
通过在训练数据上的训练，本发明提出的骨龄识别模型，可以实现对输入的手骨正位片图像中各所需骨关节区域图像进行等级评价，同时整体手骨骨龄识别模型也会给出一个手骨的骨龄识别，最后通过TW3-RUS或中华05两种鉴定标准，将各骨关节图像评价的等级转换为分数，给出此手骨正位片的最终骨龄识别。
一种基于双向门控循环网络的骨龄识别模型，采用基于双向门控循环网络的骨龄识别方法，所述骨龄识别模型包括依次连接的特征提取模块、上下文信息提取模块、过滤门、Bi-GRU网络和整体骨龄识别模块；
特征提取模块：通过S207的预训练拥有提取图像特征的能力，传入检测的骨关节区域图像；
上下文信息提取模块：获取到整只手骨上的各骨关节之间的联系；
过滤门：图像经过过滤门，筛选有用信息，过滤无用信息；
在图像通过设计的过滤门后，可以筛选有用的信息，过滤无用的信息，避免向GRU引入过多图像无用的信息，从而造成GRU在信息处理和传递上出现错误，导致最终骨龄识别的准确度降低；
过滤门是可以进行训练学习的，在模型的训练中，不断调整学习参数，从而达到更好的特征过滤效果。
在基于深度学习的骨龄识别模型中，学习到各手骨关节之间的联系，是解决骨龄识别时出现部分骨关节难以鉴别时的关键，因此让模型能有效地获取到整只手骨上的各骨关节之间的联系将很大程度地提高模型对骨龄的评价准确度；而双向循环神经网络在获取图像之间的上下文信息有着很好的应用，因此本发明采用此网络获取各骨关节之间的上下信息。
Bi-GRU网络：前向GRU和后向GRU，前向GRU从左到右依次对图像信息进行获取和编码，后向GRU从右到左反向依次对图像信息进行获取和编码；
采用Bi-GRU作为骨龄识别项目的主干模型，GRU为长短期记忆神经网络（LSTM）的变体，其参数相较于LSTM要少，训练速度也会更快，同时也具有和LSTM相同的获取上下文信息的能力。
整体骨龄识别模块：纠正和约束骨龄识别模型对骨关节等级识别。
在骨龄鉴定中，处在某一年龄段的手骨各骨关节等级会分布在一定范围内，如果能够知道当前手骨的年龄，那么将可以确定各骨关节等级的范围，若超出该范围，说明等级评价有误，因此本发明在骨龄识别模型上添加了整体手骨骨龄识别模块，此模块可以一定程度上纠正和约束骨龄识别模型对骨关节等级识别。
因此，本发明具有如下有益效果：
1.本发明提出了基于Bi-GRU网络的骨龄识别模型，利用Bi-GRU获取上下文信息的能力，来获取手骨中各骨关节图像之间的上下文信息，通过结合的这些上下文信息，能够让模型在识别评价一个骨关节的等级时，特别是出现有些骨关节因拍摄姿势不规范或生长异常导致骨龄难以识别时，可以通过这些上下文信息来提高评价的准确度；
2. 本申请的过滤门机制，可以通过结合前向后向的隐藏状态来计算出过滤门，当输入图像特征经过此门时，就会被过滤筛选出对Bi-GRU网络有用的特征信息，从而提高了网络对图像特征信息获取的能力；
3. 最后添加的整体骨龄识别模块，可以通过识别手骨的骨龄来约束模型评价各骨关节等级的范围，通过损失函数避免识别出现极端错误的情况，使得对每一个骨关节的等级评价在此一个合理的范围之内。
附图说明
图1是本实施例骨龄识别模型的结构示意图。
图2是本实施例的流程图。
图3是本实施例左手正位X片图像骨关节检测示意图。
图中：1、特征提取模块 2、上下文信息提取模块 3、过滤门 4、Bi-GRU网络 5、整体骨龄识别模块。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
实施例1：
本实施例提供了一种基于双向门控循环网络的骨龄识别模型，如图1所示，包括依次连接的特征提取模块1、上下文信息提取模块2、过滤门3、Bi-GRU网络4和整体骨龄识别模块5；
特征提取模块1：通过预训练拥有提取图像特征的能力，传入检测的骨关节区域图像；
上下文信息提取模块2：获取到整只手骨上的各骨关节之间的联系；
过滤门3：图像经过过滤门，筛选有用信息，过滤无用信息；
Bi-GRU网络4：前向GRU和后向GRU，前向GRU从左到右依次对图像信息进行获取和编码，后向GRU从右到左反向依次对图像信息进行获取和编码；
整体骨龄识别模块5：通过误差函数纠正和约束骨龄识别模型对骨关节等级识别。
如图2所示，本实施例相应的提供了一种基于双向门控循环网络的骨龄识别方法，包括以下步骤：
S1、检测获取左手手骨所需骨关节图像，定位骨关节图像所需骨关节位置，截取骨关节区域图像；
S1包括以下步骤：
S101、获取左手正位X片图像，图像格式为包括DICOM的手骨医学图像，将获得的图像输入到骨关节检测模型中进行所需骨关节ROI检测；
输入图像可以是dicom图像或者是jpg或png图像，如果是dicom图像，输入图像获取模块会自动解析dicom图像，获取待检测者的性别和图像；如果输入图像为jpg或png图像，本实施例输入图像为dicom图像；
S102、骨关节检测模型基于深度学习的目标检测、图像分割模型，其训练数据是标注了所需所有骨关节区域的左手正位X片图像；
S103、将S101获取的图像输入到训练完成的骨关节检测模型，骨关节检测模型输出所有骨关节区域的位置坐标；骨关节检测定位的算法可以是YOLOv3深度学习目标检测模型，通过此模型可以准确检测定位左手所需骨关节，为适用中华05和TW3-RUS两种骨龄鉴定标准，需检测的骨关节有13个，分别为第一、三、五远节指骨、第一、三、五近节指骨、第一、三、五近节指骨、第三、五中节指骨、尺骨以及桡骨。
S104、根据S103所检测到的骨关节区域位置，在左手正位X片图像上截取各个骨关节的区域图像，并进行归一化处理。
由于YOLOv3的输入尺寸固定，因此要将图像尺寸缩放为416*416并进行归一化处理，将处理后图像通过YOLOv3模型可以检测出13个骨关节的位置坐标信息（图像左上角和右下角坐标），检测结果如图3所示，框选的为模型检测到的骨关节。
S2、采用卷积神经网络进行各个骨关节图像的特征提取；
S2包括以下步骤：
S201、针对骨龄识别任务，提取到后续骨龄识别网络所需的各骨关节相应的图像特征，采用卷积神经网络作为主干网络；
首先需要将图像的尺寸缩放到128*128，同时进行归一化处理；后将处理的图像输入到卷积神经网络种，进行特征提取，这里的卷积神经网络可以是ResNet，InceptionNet、DenseNet等，本实施例使用ResNet为特征提取网络；通过RenseNet网络可以为每个图像提取到一个的特征向量，这里的特征向量的维度不固定，可自行设置，因此总共可以获取到13个特征向量。
S202、用图像分类任务对模型进行预训练操作；
预训练操作首先标注各骨关节图像对应的评定等级，由于标注的图像数据会出现不平衡现象，因此需要对图像做数据增强操作，达到数据平衡，让模型训练时不会出现偏差；数据增强操作主要是对图像进行随机亮度调整、随机泊松噪声添加，随机高斯模糊添加等，同时还需要做图像旋转和平移操作，但如果在截取的图像上做这些操作会出现黑边，因此，需要先对原左手X光图像进行旋转操作，再在图像上截取对应骨关节区域图像，平移操作同样方式；最后利用标注的原数据和数据增强后的数据一起传入到ResNet模型中，对其进行训练得到卷积神经网络。
S203、预训练操作输入截取并处理过的各个骨关节区域图像作为训练数据，输出为对应的骨龄等级向量，计算输出与骨关节对应真实等级的损失函数；
S204、对训练数据进行数据增强，数据增强操作包括旋转、平移；
S205、在手骨正位X片图像原图像上先进行随机角度旋转、随机上下左右平移、随机亮度调整的数据增强操作，然后获取骨关节区域图像位置坐标，截取骨关节区域图像；
S206、对各骨关节评价等级对应的图像数目进行统计，在数据增强时对数据量少的等级图像进行更多的数据增强操作，增广数据量；
S207、完成卷积神经网络的预训练，输出采用预训练模型最后分类器的前一层网络，作为图像经过模型提取的最终输出特征，所述特征为骨龄识别模型的输入特征向量
Figure DEST_PATH_IMAGE048
。
S3、将提取特征经过过滤门传入Bi-GRU网络进行对应13个骨关节进行等级识别；
S3包括以下步骤：
S301、特征提取模块将最终输出特征输入上下文信息提取模块，上下文信息提取模块采用双向循环神经网络获取各骨关节之间的上下信息；
S302、经过上下文提取模块的特征向量
Figure DEST_PATH_IMAGE049
输入过滤门，过滤门筛选输入的图像特征有用信息再传入Bi-GRU网；
所述S302包括以下内容：
在Bi-GRU网络中，最重要的信息是在每个时刻产生的两种隐藏状态，用
Figure DEST_PATH_IMAGE050
和
Figure DEST_PATH_IMAGE051
表示指定时刻相应产生的前后隐藏状态，其中式
Figure DEST_PATH_IMAGE052
；
两种隐藏状态的生成公式分别为：
Figure DEST_PATH_IMAGE053
Figure DEST_PATH_IMAGE054
其中
Figure DEST_PATH_IMAGE055
和
Figure DEST_PATH_IMAGE056
表示的是前向GRU和后向GRU，
Figure DEST_PATH_IMAGE057
和
Figure DEST_PATH_IMAGE058
表示其上一时刻的隐藏状态，
Figure DEST_PATH_IMAGE059
表示为当前时刻t输入的图像特征；
过滤门：GRU的当前隐藏状态主要由图像特征
Figure DEST_PATH_IMAGE060
和上一时刻隐藏状态
Figure DEST_PATH_IMAGE061
决定；图像通过过滤门筛选有用信息，过滤无用信息；
过滤门由前向GRU和后向GRU的上一时刻隐藏状态以及计算而得，其计算公式如下：
Figure DEST_PATH_IMAGE062
其中
Figure DEST_PATH_IMAGE063
表示t时刻的过滤门，
Figure DEST_PATH_IMAGE064
和
Figure DEST_PATH_IMAGE065
为可学习参数矩阵，
Figure DEST_PATH_IMAGE066
为可学习偏置项，
Figure DEST_PATH_IMAGE067
和
Figure DEST_PATH_IMAGE068
分别表示前后向GRU的上一时刻隐藏状态，
Figure DEST_PATH_IMAGE069
表示sigmoid函数
Figure DEST_PATH_IMAGE070
，通过sigmoid函数将输出限制在0-1之间。
过滤门采用以下方式实现过滤图像特征重的无用干扰信息并加强所需信息：
让图像经过过滤门
Figure DEST_PATH_IMAGE071
，实现过滤，公式如下：
Figure DEST_PATH_IMAGE072
其中
Figure DEST_PATH_IMAGE073
表示t时刻经过过滤门后的图像特征，
Figure DEST_PATH_IMAGE074
表示t时刻的输入图像特征，
Figure DEST_PATH_IMAGE075
表示矩阵的逐元素相乘。
S303、Bi-GRU网络在每一个时刻输出对应骨关节的等级评价，整体骨龄识别模块对整只手骨进行骨龄识别；
所述S303包括以下内容：
骨关节等级评价：将一个骨关节区域图像通过卷积神经网络提取到的图像特征
Figure DEST_PATH_IMAGE076
，又经过过滤门得到特征向量
Figure DEST_PATH_IMAGE077
，在t时刻将
Figure DEST_PATH_IMAGE078
传入到Bi-GRU模型中，模型会在t时刻输出两个对应的隐藏状态如步骤S306所述，将两个隐藏状态拼接后，输入到一个全连接层网络进行维度变换后，最终输出t时刻下的骨关节等级概率向量，公式表示如下：
Figure DEST_PATH_IMAGE079
其中
Figure DEST_PATH_IMAGE080
表示t时刻GRU输出的骨关节等级概率向量，
Figure DEST_PATH_IMAGE081
表示
Figure DEST_PATH_IMAGE082
函数，
Figure DEST_PATH_IMAGE083
表示全连接层，[ , ]表示矩阵的拼接；
骨龄识别：骨龄识别模型识别出所有骨关节等级后，每个时刻都会产生两个拼接隐藏状态
Figure DEST_PATH_IMAGE084
,这里表示为
Figure DEST_PATH_IMAGE085
；通过将每个时刻的
Figure DEST_PATH_IMAGE086
加权求平均后将其输入到一个多层感知机中，通过多层感知机的输出来识别给定手骨的骨龄，其公式可表示为：
Figure DEST_PATH_IMAGE087
其中age表示识别的骨龄，
Figure DEST_PATH_IMAGE088
表示多层感知机，
Figure DEST_PATH_IMAGE089
表示识别骨关节的数量；最后以回归任务的方式去训练手骨整体骨龄识别模块。
整体骨龄识别模块采用以下方式训练：训练数据为截取并处理过的骨关节区域图像、各骨关节对应的骨等级标注和手骨对应的骨龄标注，对训练数据进行数据增强，骨龄识别模型内部四个部分以端到端的形式进行训练，特征提取模块中的卷积神经网络需加载预训练模型，后与骨龄识别模型联合整体一起训练，骨龄识别模型内部有两个损失函数，一个是Bi-GRU网络的骨等级评价损失函数
Figure DEST_PATH_IMAGE090
，另一个是手骨整体骨龄识别模块的骨龄识别损失函数
Figure DEST_PATH_IMAGE091
，骨龄识别模型的损失函数为两个损失函数相加，并由超参数
Figure DEST_PATH_IMAGE092
和
Figure DEST_PATH_IMAGE093
来控制两个损失函数的对模型训练时的影响，其表示形式如下：
Figure DEST_PATH_IMAGE094
。
实施例2：
本实施例将数据代入S3，其余步骤与实施例1一致，具体包括以下步骤：
步骤301：上述步骤已经获取到13个骨关节区域图像的特征，接下来通过:这13个骨关节进行等级识别，基于双向门控循环神经网络的模型实现不同骨关节等级的识别。
步骤302：对模型进行训练，首先将实施例1中S202预训练的结果加入整体骨龄识别模块，训练数据和S202相同但对于整体骨龄识别结构还需要骨龄片的真实骨龄，通过骨等级评价损失和整体骨龄识别损失一起训练模型；
过滤门机制用于对接收的特征向量进行过滤，由于实施例1中S1获取的骨关节图像，会存在一定的噪声和干扰信息，经过卷积神经网络的特征提取后，这些噪声信息可能还是会包含在特征信息之内，因此让特征向量经过过滤门，可以将噪声信息进行一定的过滤，同时能够放大对模型识别有用的信息，提高模型识别精度。
步骤303：将提取的特征向量与过滤门逐元素相乘，过滤门的维度与特征向量维度相等，因此最后经过过滤的特征向量的维度也和原特征向量维度相等，这样就实现了特征过滤，这步操作后，得到的仍然是13个特征向量，分别对应的就是13个骨关节图像。
接下来就是利用基于Bi-GRU网络的骨关节等级识别网络，对13个骨关节进行等级评价。对于13个骨关节来说，它们之间是存在各种联系的，获取这些联系，对等级的识别将会有很大的帮助。因此使用Bi-GRU网络，其双向的设计，可以有效的获取到当前传入图像特征的上下文信息。
步骤304：将步骤S301得到13个骨关节图像特征依次传入Bi-GRU网络，为了更加有效地获取相近的骨关节之间的上下文信息，13个特征传入模型的顺序也应该是相近的骨关节特征依次传入，本实施例中的传入顺序为，第一远节指骨、第三远节指骨、第五远节指骨、第三中节指骨、第五中节指骨、第一近节指骨、第三近节指骨、第五近节指骨、第一掌骨、第三掌骨、第五掌骨、尺骨、桡骨，当然顺序不固定可更改。
步骤305：依次传入各骨关节特征到模型中后，模型会依次输出其对应的等级识别结果，结果为经过
Figure DEST_PATH_IMAGE095
计算的概率向量，表示该骨关节在各等级上的概率，如传入第一近节指骨后模型输入一个概率向量为
Figure DEST_PATH_IMAGE096
，取概率最高的0.7下索引所对应的等级，就为该模型识别该骨关节最终等级。
步骤306：通过上述步骤，已经得到了左手13个骨关节的等级，通过骨龄确定模块，分别计算在中华05和TW3-RUS标准下，各骨关节等级对应的分数，最终得到在两个标准下不同的骨龄结果。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围内。

Claims (9)

1.一种基于双向门控循环网络的骨龄识别方法，其特征是，包括以下步骤：
S1、检测获取左手手骨所需骨关节图像，定位骨关节图像所需骨关节位置，截取骨关节区域图像；
S2、采用卷积神经网络进行各个骨关节图像的特征提取并对骨龄识别模型进行预训练操作；
S3、将提取特征经过过滤门传入Bi-GRU网络进行对应骨关节等级识别并通过约束函数对骨关节等级识别进行纠正和约束。
2.根据权利要求1所述的一种基于双向门控循环网络的骨龄识别方法，其特征是，所述S1包括以下步骤：
S101、获取左手正位X片图像，图像格式为包括DICOM的手骨医学图像，将获得的图像输入到骨关节检测模型中进行所需骨关节ROI检测；
S102、骨关节检测模型基于深度学习的目标检测、图像分割模型，其训练数据是标注了所需所有骨关节区域的左手正位X片图像；
S103、将S101获取的图像输入到训练完成的骨关节检测模型，骨关节检测模型输出所有骨关节区域的位置坐标；
S104、根据S103所检测到的骨关节区域位置，在左手正位X片图像上截取各个骨关节的区域图像，并进行归一化处理。
3.根据权利要求1所述的一种基于双向门控循环网络的骨龄识别方法，其特征是，所述S2包括以下步骤：
S201、针对骨龄识别任务，提取到后续骨龄识别网络所需的各骨关节相应的图像特征，采用卷积神经网络作为主干网络；
S202、用图像分类任务对模型进行预训练操作；
S203、预训练操作输入截取并处理过的各个骨关节区域图像作为训练数据，输出为对应的骨龄等级向量，计算输出与骨关节对应真实等级的损失函数；
S204、对训练数据进行数据增强，数据增强操作包括旋转、平移；
S205、在手骨正位X片图像原图像上先进行随机角度旋转、随机上下左右平移、随机亮度调整的数据增强操作，然后获取骨关节区域图像位置坐标，截取骨关节区域图像；
S206、对各骨关节评价等级对应的图像数目进行统计，在数据增强时对数据量少的等级图像进行更多的数据增强操作，增广数据量；
S207、完成卷积神经网络的预训练，输出采用预训练模型最后分类器的前一层网络，作为图像经过模型提取的最终输出特征，所述特征为骨龄识别模型的输入特征向量
Figure DEST_PATH_IMAGE001
。
4.根据权利要求1所述的一种基于双向门控循环网络的骨龄识别方法，其特征是，所述S3包括以下步骤：
S301、特征提取模块将最终输出特征输入上下文信息提取模块，上下文信息提取模块采用双向循环神经网络获取各骨关节之间的上下信息；
S302、经过上下文提取模块的特征向量
Figure DEST_PATH_IMAGE002
输入过滤门，过滤门筛选输入的图像特征有用信息再传入Bi-GRU网；
S303、Bi-GRU网络在每一个时刻输出对应骨关节的等级评价，整体骨龄识别模块对整只手骨进行骨龄识别。
5.根据权利要求4所述的一种基于双向门控循环网络的骨龄识别方法，其特征是，所述S302包括以下内容：
在Bi-GRU网络中，最重要的信息是在每个时刻产生的两种隐藏状态，用
Figure DEST_PATH_IMAGE003
和
Figure DEST_PATH_IMAGE004
表示指定时刻相应产生的前后隐藏状态，其中式
Figure DEST_PATH_IMAGE005
；
两种隐藏状态的生成公式分别为：
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
其中
Figure DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE009
表示的是前向GRU和后向GRU，
Figure DEST_PATH_IMAGE010
和
Figure DEST_PATH_IMAGE011
表示其上一时刻的隐藏状态，
Figure DEST_PATH_IMAGE012
表示为当前时刻t输入的图像特征；
过滤门：GRU的当前隐藏状态主要由图像特征
Figure DEST_PATH_IMAGE013
和上一时刻隐藏状态
Figure DEST_PATH_IMAGE014
决定；图像通过过滤门筛选有用信息，过滤无用信息；
过滤门由前向GRU和后向GRU的上一时刻隐藏状态以及计算而得，其计算公式如下：
Figure DEST_PATH_IMAGE015
其中
Figure DEST_PATH_IMAGE016
表示t时刻的过滤门，
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
为可学习参数矩阵，
Figure DEST_PATH_IMAGE019
为可学习偏置项，
Figure DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
分别表示前后向GRU的上一时刻隐藏状态，
Figure DEST_PATH_IMAGE022
表示sigmoid函数
Figure DEST_PATH_IMAGE023
，通过sigmoid函数将输出限制在0-1之间。
6.根据权利要求5所述的一种基于双向门控循环网络的骨龄识别方法，其特征是，所述过滤门采用以下方式实现过滤图像特征重的无用干扰信息并加强所需信息：
让图像经过过滤门
Figure DEST_PATH_IMAGE024
，实现过滤，公式如下：
Figure DEST_PATH_IMAGE025
其中
Figure DEST_PATH_IMAGE026
表示t时刻经过过滤门后的图像特征，
Figure DEST_PATH_IMAGE027
表示t时刻的输入图像特征，
Figure DEST_PATH_IMAGE028
表示矩阵的逐元素相乘。
7.根据权利要求4所述的一种基于双向门控循环网络的骨龄识别方法，其特征是，所述S303包括以下内容：
骨关节等级评价：将一个骨关节区域图像通过卷积神经网络提取到的图像特征
Figure DEST_PATH_IMAGE029
，又经过过滤门得到特征向量
Figure DEST_PATH_IMAGE030
，在t时刻将
Figure DEST_PATH_IMAGE031
传入到Bi-GRU网络中，网络会在t时刻输出两个对应的隐藏状态如步骤S306所述，将两个隐藏状态拼接后，输入到一个全连接层网络进行维度变换后，最终输出t时刻下的骨关节等级概率向量，公式表示如下：
Figure DEST_PATH_IMAGE032
其中
Figure DEST_PATH_IMAGE033
表示t时刻GRU输出的骨关节等级概率向量，
Figure DEST_PATH_IMAGE034
表示
Figure DEST_PATH_IMAGE035
函数，
Figure DEST_PATH_IMAGE036
表示全连接层，[ , ]表示矩阵的拼接；
骨龄识别：骨龄识别模型识别出所有骨关节等级后，每个时刻都会产生两个拼接隐藏状态
Figure DEST_PATH_IMAGE037
,这里表示为
Figure DEST_PATH_IMAGE038
；通过将每个时刻的
Figure DEST_PATH_IMAGE039
加权求平均后将其输入到一个多层感知机中，通过多层感知机的输出来识别给定手骨的骨龄，其公式可表示为：
Figure DEST_PATH_IMAGE040
其中age表示识别的骨龄，
Figure DEST_PATH_IMAGE041
表示多层感知机，
Figure DEST_PATH_IMAGE042
表示识别骨关节的数量；最后以回归任务的方式去训练手骨整体骨龄识别模块。
8.根据权利要求7所述的一种基于双向门控循环网络的骨龄识别方法，其特征是，所述整体骨龄识别模块采用以下方式训练：训练数据为截取并处理过的骨关节区域图像、各骨关节对应的骨等级标注和手骨对应的骨龄标注，对训练数据进行数据增强，骨龄识别模型内部五个部分以端到端的形式进行训练，特征提取模块中的卷积神经网络需加载预训练模型，后与骨龄识别模型联合整体一起训练，骨龄识别模型内部有两个损失函数，一个是Bi-GRU网络的骨等级评价损失函数
Figure DEST_PATH_IMAGE043
，另一个是手骨整体骨龄识别模块的骨龄识别损失函数
Figure DEST_PATH_IMAGE044
，骨龄识别模型的损失函数为两个损失函数相加，并由超参数
Figure DEST_PATH_IMAGE045
和
Figure DEST_PATH_IMAGE046
来控制两个损失函数的对模型训练时的影响，其表示形式如下：
Figure DEST_PATH_IMAGE047
。
9.一种基于双向门控循环网络的骨龄识别模型，采用权利要求1-8任意一项所述的基于双向门控循环网络的骨龄识别方法，其特征是，所述骨龄识别模型包括依次连接的特征提取模块、上下文信息提取模块、过滤门、Bi-GRU网络和整体骨龄识别模块；
特征提取模块：通过预训练拥有提取图像特征的能力，传入检测的骨关节区域图像；
上下文信息提取模块：获取到整只手骨上的各骨关节之间的联系；
过滤门：图像经过过滤门，筛选有用信息，过滤无用信息；
Bi-GRU网络：前向GRU和后向GRU，前向GRU从左到右依次对图像信息进行获取和编码，后向GRU从右到左反向依次对图像信息进行获取和编码；
整体骨龄识别模块：纠正和约束骨龄识别模型对骨关节等级识别。
CN202110929013.7A 2021-08-13 2021-08-13 一种基于双向门控循环网络的骨龄识别方法和模型 Active CN113781398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110929013.7A CN113781398B (zh) 2021-08-13 2021-08-13 一种基于双向门控循环网络的骨龄识别方法和模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110929013.7A CN113781398B (zh) 2021-08-13 2021-08-13 一种基于双向门控循环网络的骨龄识别方法和模型

Publications (2)

Publication Number Publication Date
CN113781398A true CN113781398A (zh) 2021-12-10
CN113781398B CN113781398B (zh) 2022-06-24

Family

ID=78837680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110929013.7A Active CN113781398B (zh) 2021-08-13 2021-08-13 一种基于双向门控循环网络的骨龄识别方法和模型

Country Status (1)

Country Link
CN (1) CN113781398B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345508A (zh) * 2018-08-31 2019-02-15 北京航空航天大学 一种基于两阶段神经网络的骨龄评价方法
CN109885670A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种面向话题文本的交互注意力编码情感分析方法
CN110265119A (zh) * 2018-05-29 2019-09-20 中国医药大学附设医院 骨龄评估与身高预测模型、其系统及其预测方法
CN110516715A (zh) * 2019-08-05 2019-11-29 杭州依图医疗技术有限公司 一种手骨分类方法及装置
CN110660484A (zh) * 2019-08-01 2020-01-07 平安科技（深圳）有限公司 骨龄预测方法、装置、介质及电子设备
US20200211187A1 (en) * 2018-12-29 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
US20200372633A1 (en) * 2019-05-23 2020-11-26 HealthHub Co, Ltd. Method and system for assessing bone age using deep neural network
CN112784798A (zh) * 2021-02-01 2021-05-11 东南大学 一种基于特征-时间注意力机制的多模态情感识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110265119A (zh) * 2018-05-29 2019-09-20 中国医药大学附设医院 骨龄评估与身高预测模型、其系统及其预测方法
CN109345508A (zh) * 2018-08-31 2019-02-15 北京航空航天大学 一种基于两阶段神经网络的骨龄评价方法
US20200211187A1 (en) * 2018-12-29 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
CN109885670A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种面向话题文本的交互注意力编码情感分析方法
US20200372633A1 (en) * 2019-05-23 2020-11-26 HealthHub Co, Ltd. Method and system for assessing bone age using deep neural network
CN110660484A (zh) * 2019-08-01 2020-01-07 平安科技（深圳）有限公司 骨龄预测方法、装置、介质及电子设备
CN110516715A (zh) * 2019-08-05 2019-11-29 杭州依图医疗技术有限公司 一种手骨分类方法及装置
CN112784798A (zh) * 2021-02-01 2021-05-11 东南大学 一种基于特征-时间注意力机制的多模态情感识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NING LIU ETAL.: "Aspect-based sentiment analysis with gated alternate neural network", 《KNOWLEDGE-BASED SYSTEMS》 *
陈浩等: "一种基于Bi-GRU的卫星对地观测任务可调度性预测方法", 《湖南大学学报（自然科学版）》 *

Also Published As

Publication number Publication date
CN113781398B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN111259982B (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN110837803B (zh) 基于深度图网络的糖尿病视网膜病变分级方法
CN108334899A (zh) 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法
CN103544483B (zh) 一种基于局部稀疏表示的联合目标追踪方法及其系统
CN110766058B (zh) 一种基于优化rpn网络的战场目标检测方法
CN108846826A (zh) 物体检测方法、装置、图像处理设备及存储介质
CN109902584A (zh) 一种口罩缺陷的识别方法、装置、设备及存储介质
CN111179252B (zh) 基于云平台的消化道病灶辅助识别与正反馈系统
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN110263920A (zh) 卷积神经网络模型及其训练方法和装置、巡检方法和装置
CN116434266B (zh) 一种医疗检验单的数据信息自动提取分析方法
CN111723852B (zh) 针对目标检测网络的鲁棒训练方法
CN114663426A (zh) 一种基于关键骨区定位的骨龄评估方法
Yang et al. A Face Detection Method Based on Skin Color Model and Improved AdaBoost Algorithm.
Zha et al. Rank-n-contrast: learning continuous representations for regression
CN111144462A (zh) 一种雷达信号的未知个体识别方法及装置
CN117557840A (zh) 一种基于小样本学习的眼底病变分级方法
CN113781398B (zh) 一种基于双向门控循环网络的骨龄识别方法和模型
CN109886320B (zh) 一种人体股骨x光片智能识读方法及系统
CN112001877A (zh) 一种基于深度学习的甲状腺恶性结节检测方法
CN117058476A (zh) 一种基于随机不确定性的目标检测方法
CN114067159A (zh) 一种基于eus的粘膜下肿瘤细粒度分类方法
CN113902044A (zh) 一种基于轻量级yolov3的图像目标提取方法
CN113052799A (zh) 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant