CN112950631B - 基于显著图约束和x光头颅定位侧位图像的年龄估计方法 - Google Patents

基于显著图约束和x光头颅定位侧位图像的年龄估计方法 Download PDF

Info

Publication number
CN112950631B
CN112950631B CN202110410483.2A CN202110410483A CN112950631B CN 112950631 B CN112950631 B CN 112950631B CN 202110410483 A CN202110410483 A CN 202110410483A CN 112950631 B CN112950631 B CN 112950631B
Authority
CN
China
Prior art keywords
age
sample set
layer
test
saliency map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110410483.2A
Other languages
English (en)
Other versions
CN112950631A (zh
Inventor
张智勇
刘宁涛
缑水平
姚瑶
阎春霞
卢云飞
续溢男
李继超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Hospital of Stomatology of Xian Jiaotong University
Original Assignee
Xidian University
Hospital of Stomatology of Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Hospital of Stomatology of Xian Jiaotong University filed Critical Xidian University
Priority to CN202110410483.2A priority Critical patent/CN112950631B/zh
Publication of CN112950631A publication Critical patent/CN112950631A/zh
Application granted granted Critical
Publication of CN112950631B publication Critical patent/CN112950631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于显著图约束的头颅定位侧位片年龄估计方法，首次将显著图约束技术和X光头颅定位侧位片应用于年龄估计，解决了现有方法进行年龄估计准确性低并且不稳定的问题。其实现方案为：获取训练样本集、验证样本集和测试样本集；对图像进行填充、缩放和归一化处理；对自适应缩放卷积神经网络进行迭代训练；构建显著图约束训练样本集、显著图约束验证样本集和显著图约束测试样本集；获取自复制样本集和混合训练样本集；构建基于显著图约束的自适应缩放卷积神经网络；对基于显著图约束的自适应缩放卷积神经网络进行迭代训练；获取年龄估计结果；本发明提升了使用X光影像进行年龄估计的准确性和稳定性。

Description

基于显著图约束和X光头颅定位侧位图像的年龄估计方法
技术领域
本发明属于图像处理领域，涉及一种年龄估计方法，具体涉及一种基于显著图约束和X光头颅定位侧位图像的年龄估计方法，可用于刑事侦查、民事审判、灾难事故和跨境移民领域的年龄估计任务。
背景技术
年龄估计(Age Estimation)在刑事侦查、民事审判、灾难事故和跨境移民等方面具有重要的意义，也是目前法医学司法实践中的亟待解决的难题之一。通常以平均绝对误差作为年龄估计任务的准确性指标，平均绝对误差越小表示年龄估计的准确性更好。由于增龄性的变化，人体的许多部位都可以被用于年龄估计。在人类骨骼成熟和退化的过程中，会产生于年龄有关的形态变化，故可以通过评估骨的尺寸、形状和骨化程度来估计年龄。目前人体的很多部位都被用于年龄估计，包括牙齿、手-腕部、膝盖、脚部和锁骨等。然而这些部位通常在成年前发育期的效果较好，对于成年后的年龄估计效果较差。相对于骨骼，牙齿是人体中最坚硬的器官，在体内外各种极端条件下可以保留较长时间，牙齿也较容易进行观察和影像学检查，因此很多法医齿科学家通过研究牙齿的发育和生理特点进行年龄推断。然而由于成年后牙齿的发育已经完成，因此只能通过增龄性变化来估计年龄，例如牙齿磨损，牙周疾病，牙根透明性，牙骨质环化，牙根吸收，牙根粗糙度增加，颜色变化和继发性牙本质沉积等。然而这些增龄性变化难以量化，仍然需要有经验的临床医生或者法医参与评估年龄。
近年来，深度学习在图像处理和分析分析领域表现优异，从图像去噪、分类和回归分析到目标检测、语义分割和报告生成等诸多任务中均有涉及。深度学习中的关键模型卷积神经网络(Convolutional Neural Network,CNN)模仿了人类大脑中视觉神经的工作机制，其参数共享和局部感知机制允许以较少的参数提取图像中的视觉特征。目前已经有一些研究工作将CNN应用到了医学图像分析处理方面，并且取得了很好的效果。
在自动医学影像年龄估计任务中，例如Nicolás Vila-Blanco等人于2020年在IEEE Transactions on Medical Imaging卷39的论文Deep Neural Networks forChronological Age Estimation From OPG Images中，提出了一种基于深度CNN对牙齿曲断片进行年龄估计方法。该方法以正面拍摄的仅包含牙齿区域的曲断片为输入，其模型包含两个相对独立的由卷积层和池化层串联而成的CNN，用于年龄估计。其中用于性别分类的CNN的部分特征被复制到用于年龄估计的CNN的特征中，从而使性别标签指导年龄估计，最终两个CNN分别输出年龄和性别预测值。通过年龄估计和性别分类的预测值与其对应的标签计算两个任务的损失并求加权和得到最终的损失。又如Jaeyoung Kim等人于2019年在Proceedings of Machine Learning Research的论文Development and Validation ofDeep Learning-based Algorithms for the Estimation of Chronological Age usingPanoramic Dental X-ray Images中使用DenseNet-121网络对X光牙齿曲断片进行年龄估计。并在DenseNet-121网络的基础上加入了注意力机制和课程学习机制，用以更好地提取输入影像的特征，并从易到难渐进式地学习提取到的特征于年龄标签之间的映射关系。
综上所述，现有的自动化年龄估计方法中均直接以X光曲断片影像作为神经网络的输入，并从中提取特征进行年龄估计，没有采用显著性约束方法对输入影像的显著性区域进行约束，限制了神经网络提取的特征的有效性，并且无法捕获适用于各年龄段X光曲断片特征提取的全局信息，从而导致方法对不同的X光曲断片对应的年龄进行估计时的准确性差异较大，即方法的稳定性较低。此外，上述的方法以X光曲断片影像作为神经网络的输入，仅能获取牙齿部分的增龄性特征，进行年龄估计时信息的全面性较差，从而限制了年龄估计的准确性。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于显著图约束和X光头颅定位侧位图像的年龄估计方法，用于解决现有技术存在的估计精度和稳定性较差的技术问题。
本发明的技术思路是：单独以包含头颅、牙齿和脊柱部分的X光头颅定位侧位片作为EfficientNet-B0的输入数据，对其进行训练得到训练好的EfficientNet-B0。通过训练好的EfficientNet-B0和Grad-CAM技术生成所有样本对应的显著图。对于25岁以下的样本使用X光头颅定位侧位片及其拷贝的拼接作为输入数据，对于25岁及以上的样本，则以其及其对应的显著图的拼接作为输入数据，重新训练EfficientNet-B0。在测试重新训练的CNN时，首先以X光头颅定位侧位片及其拷贝的拼接作为输入数据，得到第一个预测年龄，若预测年龄小于25岁，并以第一个预测年龄为最终的预测结果；若预测年龄等于25岁，则以X光头颅定位侧位片及其对应的显著图作为输入，再次进行测试得到第二个预测年龄，并以第二个预测年龄为最终的预测结果，其实现步骤包括如下：
(1)获取训练样本集Dtrain、验证样本集Dval和测试样本集Dtest：
(1a)获取N个年龄在4-40岁的X光头颅定位侧位图像D＝{Dn|1<n≤N}及其对应的年龄标签集合A＝{An|1<n≤N}，并对每幅X光头颅定位侧位图像Dn进行直方图均衡化，得到数据增强后X光头颅定位侧位图像集合
Figure BDA0003018011590000031
其中，N≥10000，Dn表示第n个形状为长方形且包含有增龄性变化区域为头颅、牙齿和脊柱的X光头颅定位侧位图像，An表示Dn对应的年龄标签，/>
Figure BDA0003018011590000032
表示Dn的数据增强结果；
(1b)对每幅数据增强后X光头颅定位侧位图像
Figure BDA0003018011590000033
的短边进行补零填充，并对补零填充后的形状为正方形的X光头颅定位侧位图像的尺寸缩放至H×H，得到尺寸变换后X光头颅定位侧位图像集合/>
Figure BDA0003018011590000034
其中，800≤H≤1200，/>
Figure BDA0003018011590000035
表示/>
Figure BDA0003018011590000036
尺寸变换后的结果；
(1c)将
Figure BDA0003018011590000037
中的每幅尺寸变换后X光头颅定位侧位图像/>
Figure BDA0003018011590000038
进行归一化处理，得到归一化后X光头颅定位侧位图像集合/>
Figure BDA0003018011590000039
并按照7：1.5：1.5的比例将D3中的图像划分为训练样本集Dtrain、验证样本集Dval和测试样本集Dtest，/>
Figure BDA00030180115900000310
表示/>
Figure BDA00030180115900000311
的归一化结果；
(2)对自适应缩放卷积神经网络EfficientNet-B0进行迭代训练：
(2a)初始化迭代次数为e1，最大迭代次数为E1，E1≥150，学习率为η1＝0.0001，第e1次迭代的学习率为
Figure BDA00030180115900000312
提升停滞次数为C1，最优平均绝对误差为MAEbest_1，以EfficientNet-B0在自然图像数据集ImageNet上的预训练的权重和偏置参数作为EfficientNet-B0的初始权重和偏置参数，并令e1＝1，C1＝0，MAEbest_1＝9223372036854775807，/>
Figure BDA00030180115900000313
(2b)将训练样本集Dtrain划分为S1个训练样本子集
Figure BDA00030180115900000314
每个训练样本子集/>
Figure BDA00030180115900000315
包括b1个训练样本，并将/>
Figure BDA00030180115900000316
作为EfficientNet-B0的输入提取每个训练样本的增龄性变化区域的特征，通过该特征对训练样本对应的年龄进行回归预测，得到b1个年龄预测值，然后采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差值L1，其中S1≥700，/>
Figure BDA0003018011590000041
表示第s1个训练样本子集，5≤b1≤10；
(2c)采用自适应学习率优化算法Adam，并以
Figure BDA0003018011590000042
为学习率，通过L1对EfficientNet-B0通过L1对EfficientNet-B0的权重W1和偏置I1参数进行更新，得到第e1次迭代后的自适应缩放卷积神经网络EfficientNet-B0-e1；
(2d)将验证样本集Dval作为EfficientNet-B0-e1的输入，逐个提取每个验证样本增龄性变化区域的特征，通过该特征对验证样本对应的年龄进行回归预测，得到Dval对应的年龄预测值
Figure BDA0003018011590000043
并采用平均误差函数计算/>
Figure BDA0003018011590000044
中的每个年龄估计值与其对应的年龄标签标注的年龄的平均绝对误差MAEv_1；
(2e)判断MAEv_1<MAEbest_1是否成立，若是，令MAEbest_1＝MAEv_1，C1＝0，并执行步骤(2f)，否则令C1＝C1+1，并执行步骤(2f)；
(2f)判断e1＝E1或者C1＝3是否成立，若是，得到训练好的自适应缩放卷积神经网络Effibest，否则令
Figure BDA0003018011590000045
e1＝e1+1，并执行步骤(2b)；
(3)构建显著图约束训练样本集Dtrain、显著图约束验证样本集Dval和显著图约束测试样本集Dtest：
(3a)将训练样本集Dtrain、验证样本集Dval和测试样本集Dtest作为训练好的自适应缩放卷积神经网络Effibest的输入，并基于Grad-CAM算法进行梯度反向传播，得到Dtrain、Dval和Dtest对应的显著图集Gtrain、Gval和Gtest；
(3b)对训练样本集Dtrain中的每个训练样本与显著图集Gtrain中对应的显著图进行拼接，同时对验证样本集Dval中的每个验证样本与显著图集Gval中对应的显著图进行拼接，对测试样本集Dtest中的每个测试样本与显著图集Gtest中对应的显著图进行拼接，实现对每个训练样本、每个验证样本和每个测试样本的显著性区域约束，显著性区域约束后的每个显著图约束样本的大小为H×H×2，2表示双通道，得到显著图约束训练样本集DGtrain、显著图约束验证样本集DGval和显著图约束测试样本集DGtest；
(4)获取自复制样本集和混合训练样本集：
(4a)对训练样本集Dtrain进行复制，并对Dtrain中的每个训练样本与复制的训练样本集D'train中对应的训练样本进行拼接，同时对验证样本集Dval进行复制，并对Dval中的每个验证样本与复制的验证样本集D'val中对应的验证样本进行拼接，对测试样本集Dtest进行复制，并对Dtest中的每个测试样本与复制的测试样本集D'test中对应的测试样本进行拼接，实现将大小为H×H的样本转化为双通道的大小为H×H×2的自复制样本，得到自复制训练样本集DDtrain、自复制验证样本集DDval和自复制测试样本集DDtest；
(4b)对训练样本集Dtrain进行复制，并判断复制后的训练样本集
Figure BDA0003018011590000051
中的每一个样本对应的年龄标签值是否小于25，若是，对Dtrain小于25的训练样本通过DDtrain中对应的自复制训练样本进行替换，否则，对Dtrain大于25的训练样本通过DGtrain中对应的显著图约束训练样本进行替换，得到混合训练样本集Mtrain；
(5)构建基于显著图约束的自适应缩放卷积神经网络EfficientNet-S：
构建包含顺次连接的Stem模块、Block1、Block2、Block3、Block4、Block5、Block6、Block7和最终层的基于显著图约束的自适应缩放卷积神经网络EfficientNet-S；其中Stem模块包含顺次连接的接收双通道的显著图约束训练样本的卷积神经网络、重缩放层、归一化层、零填充层、批归一化层和激活层；Block1包含一个Module1结构；Block2和Block3均包含顺次连接的Module2结构、Module3结构和加和层；Block4、Block5和Block6均包含顺次连接的Module2结构、Module3结构、加和层、Module3结构和加和层；Block7包含一个Module2结构；最终层包含顺次连接的卷积层、批归一化层和激活层；Module1结构包含顺次连接的深度卷积层、批归一化层和激活层；Module2构包含顺次连接的深度卷积层、批归一化层、激活层、零填充层、深度卷积层、批归一化层和激活层；Module3结构包含顺次连接的全局平均池化层、重缩放层、卷积层和卷积层；
(6)对基于显著图约束的自适应缩放卷积神经网络EfficientNet-S进行迭代训练：
(6a)初始化迭代次数为e2，最大迭代次数为E2，E2≥150，学习率为η2＝0.0001，第e2次迭代的学习率为
Figure BDA0003018011590000061
提升停滞次数为C2，最优平均绝对误差为MAEbest_2，并令e2＝1，C2＝0，MAEbest_2＝9223372036854775807，/>
Figure BDA0003018011590000062
以EfficientNet-S在自然图像数据集ImageNet上的预训练的权重和偏置参数作为EfficientNet-S的初始权重和偏置参数；
(6b)将混合训练样本集Mtrain划分为S2个混合训练样本子集
Figure BDA0003018011590000063
每个子集/>
Figure BDA0003018011590000064
包括b2个混合训练样本，并将/>
Figure BDA0003018011590000065
作为EfficientNet-S的输入提取每个混合训练样本的增龄性变化区域的特征，通过这些特征对年龄进行回归预测，得到b2个年龄预测值，然后采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差L2，其中S2≥700，/>
Figure BDA0003018011590000066
表示第s2个混合训练样本子集，5≤b2≤10；
(6c)采用自适应学习率优化算法Adam，并以
Figure BDA0003018011590000067
为学习率，通过L2对EfficientNet-S的权重和偏置参数进行更新,得到第e2次迭代后的自适应缩放卷积神经网络EfficientNet-S-e2；
(6d)将X片自复制验证样本集DDval中的每个自复制验证样本逐个输入至EfficientNet-B0-e2，提取每个自复制验证样本的增龄性变化区域的特征，并通过这些特征对年龄进行回归预测，得到DDval对应的年龄预测值
Figure BDA0003018011590000068
(6e)判断
Figure BDA0003018011590000069
中的每个年龄预测值是否小于25，若是，将小于25的年龄预测值添加至预先定义的年龄预测值集合/>
Figure BDA00030180115900000610
中，否则，将其余年龄预测值对应的DGval中显著图约束验证样本的输入至EfficientNet-S-e2中，提取每个显著图约束验证样本的增龄性变化区域的特征以及显著图中的注意力约束信息，并以该特征和约束信息对每个年龄进行回归预测，然后将预测结果添加至/>
Figure BDA00030180115900000611
中，/>
Figure BDA00030180115900000612
中所添加的所有年龄预测值即为验证样本集Dval的年龄估计。
(6f)以平均绝对误差函数计算
Figure BDA00030180115900000613
中的每一个年龄估计值与其对应的年龄标签标注的年龄的平均绝对误差MAEv_2；
(6g)判断MAEv_2<MAEbest_2是否成立，若是，令MAEbest_2＝MAEv_2，C2＝0，并执行步骤(6h)，否则令C2＝C2+1，并执行步骤(6h)；
(6h)判断e2＝E2或者C2＝3是否成立，若是，得到训练好的基于显著图约束的自适应缩放卷积神经网络K，否则令
Figure BDA0003018011590000071
e2＝e2+1，并执行步骤(6b)；
(7)获取年龄估计结果：
(7a)将自复制测试样本集DDtest中的每个自复制验证样本逐个输入至K中，提取每个自复制测试样本的增龄性变化区域的特征，并通过该特征对每个年龄进行回归预测，得到DDtest对应的年龄预测值
Figure BDA0003018011590000072
(7b)判断
Figure BDA0003018011590000073
中的每个年龄预测值是否小于25，若是，将小于25的年龄预测值添加至预先定义的年龄预测值集合/>
Figure BDA0003018011590000074
中，否则，将其余年龄预测值对应的DGtest中显著图约束验证样本的输入至EfficientNet-S-e2中，提取每个显著图约束验证样本的增龄性变化区域的特征以及显著图中的注意力约束信息，并以该特征和约束信息对每个年龄进行回归预测，然后将预测结果添加至/>
Figure BDA0003018011590000075
中，/>
Figure BDA0003018011590000076
中所添加的所有年龄预测值即为测试样本集Dtest的年龄估计。
本发明与现有技术相比，具有以下优点：
1、本发明使用训练好的网络生成的显著图约束了X光头颅定位侧位片的显著性区域，在年龄估计时提供了全局的信息，从而降低了对不同年龄的X光头颅定位侧位片进行年龄估计的绝对误差值的方差，提升了以X光头颅定位侧位片进行年龄估计的稳定性。
2、本发明从X光头颅定位侧位片中提取包括头颅、牙齿和脊柱部分的更丰富的增龄性变化信息，从而获取更加全面综合的特征，并将这些特征应用于年龄估计，提升了以X光头颅定位侧位片进行年龄估计的准确性。
附图说明
图1是本发明的实现流程图；
图2是本发明采用的X光头颅定位侧位图像；
图3是本发明基于Grad-CAM算法所获取的归一化后X光头颅定位侧位图像的显著图；
图4是本发明显著图约束数据示例图；
图5是本发明自复制数据示例图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细说明。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集Dtrain、验证样本集Dval和测试样本集Dtest：
步骤1a)获取N个年龄在4-40岁的X光头颅定位侧位图像D＝{Dn|1<n≤N}及其对应的年龄标签集合A＝{An|1<n≤N}，并对每幅X光头颅定位侧位图像Dn进行直方图均衡化，得到数据增强后X光头颅定位侧位图像集合
Figure BDA0003018011590000081
其中，N＝20178，Dn表示第n个如图2所示的形状为长方形且包含有增龄性变化区域为头颅、牙齿和脊柱的X光头颅定位侧位图像，相对于曲断片仅包含牙齿区域，X光头颅定位侧位图像头颅、牙齿和脊柱提供更丰富的增龄性变化特征，An表示Dn对应的年龄标签，/>
Figure BDA0003018011590000082
表示Dn的数据增强结果，本实施例中采用的直方图均衡化方法为限制对比度的直方图均衡化方法；
步骤1b)对每幅数据增强后X光头颅定位侧位图像
Figure BDA0003018011590000086
的短边进行补零填充，并对补零填充后的形状为正方形的X光头颅定位侧位图像的尺寸缩放至1000×1000，得到尺寸变换后X光头颅定位侧位图像集合/>
Figure BDA0003018011590000083
步骤1c)为消除X光头颅定位侧位图像量纲对于网络训练的影响，将每幅尺寸变换后X光头颅定位侧位图像
Figure BDA0003018011590000084
中的每幅图像进行归一化处理，即每幅图的每个像素点的值除以该幅图所有像素点的最大值和最小值的差值，得到归一化后X光头颅定位侧位图像集合
Figure BDA0003018011590000085
并将D3中的图像按照7：1.5：1.5的比例划分为训练样本集Dtrain、验证样本集Dval和测试样本集Dtest。
步骤2)对自适应缩放卷积神经网络EfficientNet-B0进行迭代训练：
步骤2a)初始化迭代次数为e1，最大迭代次数为E1，E1＝150，学习率为η1＝0.0001，第e1次迭代的学习率为
Figure BDA0003018011590000091
提升停滞次数为C1，最优平均绝对误差为MAEbest_1，以EfficientNet-B0在自然图像数据集ImageNet上的预训练的权重和偏置参数作为EfficientNet-B0的初始权重和偏置参数，并令e1＝1，C1＝0，MAEbest_1＝9223372036854775807，/>
Figure BDA0003018011590000092
步骤2b)将训练样本集Dtrain划分为S1个训练样本子集
Figure BDA0003018011590000093
Figure BDA0003018011590000094
表示第s1个训练样本子集，每个训练样本子集/>
Figure BDA0003018011590000095
包括b1个训练样本，并将/>
Figure BDA0003018011590000096
作为EfficientNet-B0的输入提取每个训练样本的增龄性变化区域的特征，通过这些特征对年龄进行回归预测，得到b1个年龄预测值，本实例中S1＝2829，b1＝5；。
步骤2c)然后采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差值L1，计算公式为：
Figure BDA0003018011590000097
其中，
Figure BDA0003018011590000098
表示训练样本子集/>
Figure BDA0003018011590000099
第n个训练样本对应的年龄预测值，An表示An对应的年龄标签标注的年龄，∑表示求和，|·|表示计算绝对值。
步骤2d)采用自适应学习率优化算法Adam，并以
Figure BDA00030180115900000910
为学习率，通过L1对EfficientNet-B0通过L1对EfficientNet-B0的权重W1和偏置I1参数进行更新，得到第e1次迭代后的自适应缩放卷积神经网络EfficientNet-B0-e1，更新公式分别为：
Figure BDA00030180115900000911
Figure BDA00030180115900000912
其中，W1和I1分别EfficientNet-B0的权重和偏置参数，W′和I1′分别表示W1和I1的更新结果，
Figure BDA00030180115900000913
表示L1关于W1的梯度，/>
Figure BDA00030180115900000914
表示L1关于I1的梯度，·表示点乘。
步骤2e)将验证样本集Dval作为EfficientNet-B0-e1的输入，逐个提取每个验证样本增龄性变化区域的特征，通过该特征对验证样本对应的年龄进行回归预测，得到Dval对应的年龄预测值
Figure BDA0003018011590000101
并采用平均误差函数计算/>
Figure BDA0003018011590000102
中的每个年龄估计值与其对应的年龄标签标注的年龄的平均绝对误差MAEv_1；
步骤2f)判断MAEv_1<MAEbest_1是否成立，若是，令MAEbest_1＝MAEv_1，C1＝0，并执行步骤2g)，否则令C1＝C1+1，并执行步骤2g)；
步骤2g)判断e1＝E1或者C1＝3是否成立，若是，得到训练好的自适应缩放卷积神经网络Effibest，否则令
Figure BDA0003018011590000103
e1＝e1+1，并执行步骤2b)；
步骤3)对训练样本集Dtrain、验证样本集Dval和测试样本集Dtest进行显著性区域约束：
步骤3a)将训练样本集Dtrain、验证样本集Dval和测试样本集Dtest作为训练好的自适应缩放卷积神经网络Effibest的输入，并基于Grad-CAM算法进行梯度反向传播，对图像中各个区域对于最终结果的贡献度进行表征，得到Dtrain、Dval和Dtest对应的显著图集Gtrain、Gval和Gtest，本实施例中生成的显著图的流程为：
步骤3a1)训练样本集Dtrain、验证样本集Dval和测试样本集Dtest中的每个样本为训练好的自适应缩放卷积神经网络Effibest的输入，得到关于每个样本的320个特征图的全局平均，计算第r(1≤r≤320,r∈Z)个特征图Fr的梯度的全局平均αr的公式为：
Figure BDA0003018011590000104
其中，Np表示特征图Mr的像素点的个数，
Figure BDA0003018011590000105
表示Fr位置为(i,j)的像素点，/>
Figure BDA0003018011590000106
表示Effibest关于输入样本的输出；
步骤3a2)以αk为权重计算所有特征图的加权和，得到平均特征图M：
Figure BDA0003018011590000107
步骤3a3)为去除负显著性，使用ReLU函数对M进行处理，得到如图3所示的对应于该样本的显著图M*:
M*＝ReLU(M)
如图3所示，显著图中包含X光头颅定位侧位图像各个区域对于最终年龄估计结果的贡献度，并且由于显著图基于训练好的Effibest生成，包含各个年龄段的特征信息，故能够作为一种弱监督信息，对每幅X光头颅定位侧位图像提供全局的注意力约束信息，从而提升网络的稳定性。
步骤3b)对训练样本集Dtrain中的每个训练样本与显著图集Gtrain中对应的显著图进行拼接，同时对验证样本集Dval中的每个验证样本与显著图集Gval中对应的显著图进行拼接，对测试样本集Dtest中的每个测试样本与显著图集Gtest中对应的显著图进行拼接，实现对每个训练样本、每个验证样本和每个测试样本的显著性区域约束，显著性区域约束后的每个显著图约束样本的大小为H×H×2，2表示双通道，得到显著图约束训练样本集DGtrain、显著图约束验证样本集DGval和显著图约束测试样本集DGtest，本实施例获取显著图约束样本的流程为：
步骤3b1)对Dtrain、Dval和Dtest中的每个大小为1000×1000像素的X光头颅定位侧位片Pd选取Gtrain、Gval和Gtest中与之对应的大小为1000×1000像素的显著图Pg；
步骤3b2)对每一对Pd和Pg进行拼接，得到如图4所示的对应的显著图约束样本Pdg，大小为1000×1000×2像素，其中2表示双通道，一个通道为原始的X光头颅定位侧位片，另一个通道为该X光头颅定位侧位片对应的显著图；
步骤4)获取自复制样本集和混合训练样本集：
步骤4a)对训练样本集Dtrain进行复制，并对Dtrain中的每个训练样本与复制的训练样本集D'train中对应的训练样本进行拼接，同时对验证样本集Dval进行复制，并对Dval中的每个验证样本与复制的验证样本集D'val中对应的验证样本进行拼接，对测试样本集Dtest进行复制，并对Dtest中的每个测试样本与复制的测试样本集D'test中对应的测试样本进行拼接，实现将大小为H×H的样本转化为双通道的大小为H×H×2的自复制样本，得到自复制训练样本集DDtrain、自复制验证样本集DDval和自复制测试样本集DDtest，本实例中获取自复制样本的流程为：
步骤4a1)对Dtrain、Dval和Dtest中的每个大小为H×H像素的X光头颅定位侧位片Pd选取D'train、D'val和D'test中与之对应的大小为H×H像素的显著图P'd；
步骤4a2)对每一对Pd和P'd进行拼接，得到如图5对应的显著图约束样本Pdd′，大小为H×H×2像素，其中2表示两通道，其中两个通道均为相同的X光头颅定位侧位片，进行X光头颅定位侧位片复制并拼接的原因在于保证网络输入大小的一致性；
步骤4b)对训练样本集Dtrain进行复制，并判断复制后的训练样本集
Figure BDA0003018011590000121
中的每一个样本对应的年龄标签值是否小于25，若是，对Dtrain小于25的训练样本通过DDtrain中对应的自复制训练样本进行替换，否则，对Dtrain大于25的训练样本通过DGtrain中对应的显著图约束训练样本进行替换，得到混合训练样本集Mtrain；
步骤5)构建基于显著图约束的自适应缩放卷积神经网络EfficientNet-S：
构建包含顺次连接的Stem模块、Block1、Block2、Block3、Block4、Block5、Block6、Block7和最终层的基于显著图约束的自适应缩放卷积神经网络EfficientNet-S；其中Stem模块包含顺次连接的接收双通道的显著图约束训练样本的卷积神经网络、重缩放层、归一化层、零填充层、批归一化层和激活层；Block1包含一个Module1结构；Block2和Block3均包含顺次连接的Module2结构、Module3结构和加和层；Block4、Block5和Block6均包含顺次连接的Module2结构、Module3结构、加和层、Module3结构和加和层；Block7包含一个Module2结构；最终层包含顺次连接的卷积层、批归一化层和激活层；Module1结构包含顺次连接的深度卷积层、批归一化层和激活层；Module2构包含顺次连接的深度卷积层、批归一化层、激活层、零填充层、深度卷积层、批归一化层和激活层；Module3结构包含顺次连接的全局平均池化层、重缩放层、卷积层和卷积层；该网络与基本的EfficientNet-B0结构的差异在于将输入层由卷积神经网络修改为接受接收双通道的显著图约束训练样本的卷积神经网络，从而实现显著图对X光头颅定位侧位片的显著性区域的约束；
步骤6)对基于显著图约束的自适应缩放卷积神经网络EfficientNet-S进行迭代训练：
步骤6a)初始化迭代次数为e2，最大迭代次数为E2，E2≥150，学习率为η2＝0.0001，第e2次迭代的学习率为
Figure BDA0003018011590000122
提升停滞次数为C2，最优平均绝对误差为MAEbest_2，并令e2＝1，C2＝0，MAEbest_2＝9223372036854775807，/>
Figure BDA0003018011590000123
以EfficientNet-S在自然图像数据集ImageNet上的预训练的权重和偏置参数作为EfficientNet-S的初始权重和偏置参数；
步骤6b)将混合训练样本集Mtrain划分为S2个混合训练样本子集
Figure BDA0003018011590000131
Figure BDA0003018011590000132
表示第s2个混合训练样本子集，每个子集/>
Figure BDA0003018011590000133
包括b2个混合训练样本，并将/>
Figure BDA0003018011590000134
作为EfficientNet-B0的输入提取每个混合训练样本的增龄性变化区域的特征，通过这些特征对年龄进行回归预测，得到b2个年龄预测值，本实施例中S2＝2829，b2＝5；
步骤6c)采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差L2,计算公式为：
Figure BDA0003018011590000135
其中，
Figure BDA0003018011590000136
表示训练样本子集/>
Figure BDA0003018011590000137
第n个训练样本对应的年龄预测值，An表示An对应的年龄标签标注的年龄，∑表示求和，|·|表示计算绝对值；
步骤6d)采用自适应学习率优化算法Adam，并以
Figure BDA0003018011590000138
为学习率，通过L2对EfficientNet-B0的权重和偏置参数进行更新,得到第e2次迭代后的自适应缩放卷积神经网络EfficientNet-B0-e2；
步骤6e)将X片自复制验证样本集DDval中的每个自复制验证样本逐个输入至EfficientNet-B0-e2，提取每个自复制验证样本的增龄性变化区域的特征，并通过这些特征对年龄进行回归预测，得到DDval对应的年龄预测值
Figure BDA0003018011590000139
步骤6f)首先进行粗分类将小于25岁和大于等于25岁的样本进行区别对待，即判断
Figure BDA00030180115900001310
中的每个年龄预测值是否小于25，若是，将小于25的年龄预测值添加至预先定义的年龄预测值集合/>
Figure BDA00030180115900001311
中，否则，再次以显著图约束的样本进行年龄回归预测，即将其余年龄预测值对应的DGtest中显著图约束验证样本的输入至EfficientNet-B0-e2中，提取每个显著图约束验证样本的增龄性变化区域的特征以及显著图中的注意力约束信息，并以该特征和约束信息对每个年龄进行回归预测，然后将预测结果添加至/>
Figure BDA00030180115900001312
中；
步骤6g)以平均绝对误差函数计算
Figure BDA0003018011590000141
中的每一个年龄估计值与其对应的年龄标签标注的年龄的平均绝对误差MAEv_2；
步骤6h)判断MAEv_2<MAEbest_2是否成立，若是，令MAEbest_2＝MAEv_2，C2＝0，并执行步骤6i)，否则令C2＝C2+1，并执行步骤6i)；
步骤6i)判断e2＝E2或者C2＝3是否成立，若是，得到训练好的自适应缩放卷积神经网络K，否则令
Figure BDA0003018011590000142
e2＝e2+1，并执行步骤4b)；
步骤7)获取年龄估计结果：
步骤7a)将自复制测试样本集DDtest中的每个自复制验证样本逐个输入至K中，提取每个自复制测试样本的增龄性变化区域的特征，并通过该特征对每个年龄进行回归预测，得到DDtest对应的年龄预测值
Figure BDA0003018011590000143
步骤7b)首先进行粗分类将小于25岁和大于等于25岁的样本进行区别对待，判断
Figure BDA0003018011590000144
中的每个年龄预测值是否小于25，若是，将小于25的年龄预测值添加至预先定义的年龄预测值集合/>
Figure BDA0003018011590000145
中，否则，再次以显著图约束的样本进行年龄回归预测，即将其余年龄预测值对应的DGtest中显著图约束验证样本的输入至EfficientNet-B0-e2中，提取每个显著图约束验证样本的增龄性变化区域的特征以及显著图中的注意力约束信息，并以该特征和约束信息对每个年龄进行回归预测，然后将预测结果添加至/>
Figure BDA0003018011590000146
中，/>
Figure BDA0003018011590000147
中所添加的所有年龄预测值即为测试样本集Dtest的年龄估计，本实施例中/>
Figure BDA0003018011590000148
中年龄估计值与其对应的年龄标注标签的平均绝对误差为1.30。
以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于显著图约束和X光头颅定位侧位图像的年龄估计方法，其特征在于，包括如下步骤：
(1)获取训练样本集Dtrain、验证样本集Dval和测试样本集Dtest：
(1a)获取N个年龄在4-40岁的X光头颅定位侧位图像D＝{Dn|1<n≤N}及其对应的年龄标签集合A＝{An|1<n≤N}，并对每幅X光头颅定位侧位图像Dn进行直方图均衡化，得到数据增强后X光头颅定位侧位图像集合
Figure QLYQS_1
其中，N≥10000，Dn表示第n个形状为长方形且包含有增龄性变化区域为头颅、牙齿和脊柱的X光头颅定位侧位图像，An表示Dn对应的年龄标签，/>
Figure QLYQS_2
表示Dn的数据增强结果；
(1b)对每幅数据增强后X光头颅定位侧位图像
Figure QLYQS_3
的短边进行补零填充，并对补零填充后的形状为正方形的X光头颅定位侧位图像的尺寸缩放至H×H，得到尺寸变换后X光头颅定位侧位图像集合/>
Figure QLYQS_4
其中，800≤H≤1200，/>
Figure QLYQS_5
表示/>
Figure QLYQS_6
尺寸变换后的结果；
(1c)将
Figure QLYQS_7
中的每幅尺寸变换后X光头颅定位侧位图像/>
Figure QLYQS_8
进行归一化处理，得到归一化后X光头颅定位侧位图像集合/>
Figure QLYQS_9
并按照7：1.5：1.5的比例将D3中的图像划分为训练样本集Dtrain、验证样本集Dval和测试样本集Dtest，/>
Figure QLYQS_10
表示/>
Figure QLYQS_11
的归一化结果；
(2)对自适应缩放卷积神经网络EfficientNet-B0进行迭代训练：
(2a)初始化迭代次数为e1，最大迭代次数为E1，E1≥150，学习率为η1＝0.0001，第e1次迭代的学习率为
Figure QLYQS_12
提升停滞次数为C1，最优平均绝对误差为MAEbest_1，以EfficientNet-B0在自然图像数据集ImageNet上的预训练的权重和偏置参数作为EfficientNet-B0的初始权重和偏置参数，并令e1＝1，C1＝0，MAEbest_1＝9223372036854775807，/>
Figure QLYQS_13
(2b)将训练样本集Dtrain划分为S1个训练样本子集
Figure QLYQS_14
每个训练样本子集/>
Figure QLYQS_15
包括b1个训练样本，并将/>
Figure QLYQS_16
作为EfficientNet-B0的输入提取每个训练样本的增龄性变化区域的特征，通过该特征对训练样本对应的年龄进行回归预测，得到b1个年龄预测值，然后采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差值L1，其中S1≥700，/>
Figure QLYQS_17
表示第s1个训练样本子集，5≤b1≤10；
(2c)采用自适应学习率优化算法Adam，并以
Figure QLYQS_18
为学习率，通过L1对EfficientNet-B0通过L1对EfficientNet-B0的权重W1和偏置I1参数进行更新，得到第e1次迭代后的自适应缩放卷积神经网络EfficientNet-B0-e1；
(2d)将验证样本集Dval作为EfficientNet-B0-e1的输入，逐个提取每个验证样本增龄性变化区域的特征，通过该特征对验证样本对应的年龄进行回归预测，得到Dval对应的年龄预测值
Figure QLYQS_19
并采用平均误差函数计算/>
Figure QLYQS_20
中的每个年龄估计值与其对应的年龄标签标注的年龄的平均绝对误差MAEv_1；
(2e)判断MAEv_1<MAEbest_1是否成立，若是，令MAEbest_1＝MAEv_1，C1＝0，并执行步骤(2f)，否则令C1＝C1+1，并执行步骤(2f)；
(2f)判断e1＝E1或者C1＝3是否成立，若是，得到训练好的自适应缩放卷积神经网络Effibest，否则令
Figure QLYQS_21
e1＝e1+1，并执行步骤(2b)；
(3)构建显著图约束训练样本集Dtrain、显著图约束验证样本集Dval和显著图约束测试样本集Dtest：
(3a)将训练样本集Dtrain、验证样本集Dval和测试样本集Dtest作为训练好的自适应缩放卷积神经网络Effibest的输入，并基于Grad-CAM算法进行梯度反向传播，得到Dtrain、Dval和Dtest对应的显著图集Gtrain、Gval和Gtest；
(3b)对训练样本集Dtrain中的每个训练样本与显著图集Gtrain中对应的显著图进行拼接，同时对验证样本集Dval中的每个验证样本与显著图集Gval中对应的显著图进行拼接，对测试样本集Dtest中的每个测试样本与显著图集Gtest中对应的显著图进行拼接，实现对每个训练样本、每个验证样本和每个测试样本的显著性区域约束，显著性区域约束后的每个显著图约束样本的大小为H×H×2，2表示双通道，得到显著图约束训练样本集DGtrain、显著图约束验证样本集DGval和显著图约束测试样本集DGtest；
(4)获取自复制样本集和混合训练样本集：
(4a)对训练样本集Dtrain进行复制，并对Dtrain中的每个训练样本与复制的训练样本集Dt'rain中对应的训练样本进行拼接，同时对验证样本集Dval进行复制，并对Dval中的每个验证样本与复制的验证样本集Dv'al中对应的验证样本进行拼接，对测试样本集Dtest进行复制，并对Dtest中的每个测试样本与复制的测试样本集Dt'est中对应的测试样本进行拼接，实现将大小为H×H的样本转化为双通道的大小为H×H×2的自复制样本，得到自复制训练样本集DDtrain、自复制验证样本集DDval和自复制测试样本集DDtest；
(4b)对训练样本集Dtrain进行复制，并判断复制后的训练样本集
Figure QLYQS_22
中的每一个样本对应的年龄标签值是否小于25，若是，对Dtrain小于25的训练样本通过DDtrain中对应的自复制训练样本进行替换，否则，对Dtrain大于25的训练样本通过DGtrain中对应的显著图约束训练样本进行替换，得到混合训练样本集Mtrain；
(5)构建基于显著图约束的自适应缩放卷积神经网络EfficientNet-S：
构建包含顺次连接的Stem模块、Block1、Block2、Block3、Block4、Block5、Block6、Block7和最终层的基于显著图约束的自适应缩放卷积神经网络EfficientNet-S；其中Stem模块包含顺次连接的接收双通道的显著图约束训练样本的卷积神经网络、重缩放层、归一化层、零填充层、批归一化层和激活层；Block1包含一个Module1结构；Block2和Block3均包含顺次连接的Module2结构、Module3结构和加和层；Block4、Block5和Block6均包含顺次连接的Module2结构、Module3结构、加和层、Module3结构和加和层；Block7包含一个Module2结构；最终层包含顺次连接的卷积层、批归一化层和激活层；Module1结构包含顺次连接的深度卷积层、批归一化层和激活层；Module2构包含顺次连接的深度卷积层、批归一化层、激活层、零填充层、深度卷积层、批归一化层和激活层；Module3结构包含顺次连接的全局平均池化层、重缩放层、卷积层和卷积层；
(6)对基于显著图约束的自适应缩放卷积神经网络EfficientNet-S进行迭代训练：
(6a)初始化迭代次数为e2，最大迭代次数为E2，E2≥150，学习率为η2＝0.0001，第e2次迭代的学习率为
Figure QLYQS_23
提升停滞次数为C2，最优平均绝对误差为MAEbest_2，并令e2＝1，C2＝0，MAEbest_2＝9223372036854775807，/>
Figure QLYQS_24
以EfficientNet-S在自然图像数据集ImageNet上的预训练的权重和偏置参数作为EfficientNet-S的初始权重和偏置参数；
(6b)将混合训练样本集Mtrain划分为S2个混合训练样本子集
Figure QLYQS_25
每个子集/>
Figure QLYQS_26
包括b2个混合训练样本，并将/>
Figure QLYQS_27
作为EfficientNet-S的输入提取每个混合训练样本的增龄性变化区域的特征，通过这些特征对年龄进行回归预测，得到b2个年龄预测值，然后采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差L2，其中S2≥700，/>
Figure QLYQS_28
表示第s2个混合训练样本子集，5≤b2≤10；
(6c)采用自适应学习率优化算法Adam，并以
Figure QLYQS_29
为学习率，通过L2对EfficientNet-S的权重和偏置参数进行更新,得到第e2次迭代后的自适应缩放卷积神经网络EfficientNet-S-e2；
(6d)将X片自复制验证样本集DDval中的每个自复制验证样本逐个输入至EfficientNet-B0-e2，提取每个自复制验证样本的增龄性变化区域的特征，并通过这些特征对年龄进行回归预测，得到DDval对应的年龄预测值
Figure QLYQS_30
(6e)判断
Figure QLYQS_31
中的每个年龄预测值是否小于25，若是，将小于25的年龄预测值添加至预先定义的年龄预测值集合/>
Figure QLYQS_32
中，否则，将其余年龄预测值对应的DGval中显著图约束验证样本的输入至EfficientNet-S-e2中，提取每个显著图约束验证样本的增龄性变化区域的特征以及显著图中的注意力约束信息，并以该特征和约束信息对每个年龄进行回归预测，然后将预测结果添加至/>
Figure QLYQS_33
中，/>
Figure QLYQS_34
中所添加的所有年龄预测值即为验证样本集Dval的年龄估计；
(6f)以平均绝对误差函数计算
Figure QLYQS_35
中的每一个年龄估计值与其对应的年龄标签标注的年龄的平均绝对误差MAEv_2；
(6g)判断MAEv_2<MAEbest_2是否成立，若是，令MAEbest_2＝MAEv_2，C2＝0，并执行步骤(6h)，否则令C2＝C2+1，并执行步骤(6h)；
(6h)判断e2＝E2或者C2＝3是否成立，若是，得到训练好的基于显著图约束的自适应缩放卷积神经网络K，否则令
Figure QLYQS_36
e2＝e2+1，并执行步骤(6b)；
(7)获取年龄估计结果：
(7a)将自复制测试样本集DDtest中的每个自复制验证样本逐个输入至K中，提取每个自复制测试样本的增龄性变化区域的特征，并通过该特征对每个年龄进行回归预测，得到DDtest对应的年龄预测值
Figure QLYQS_37
(7b)判断
Figure QLYQS_38
中的每个年龄预测值是否小于25，若是，将小于25的年龄预测值添加至预先定义的年龄预测值集合/>
Figure QLYQS_39
中，否则，将其余年龄预测值对应的DGtest中显著图约束验证样本的输入至EfficientNet-S-e2中，提取每个显著图约束验证样本的增龄性变化区域的特征以及显著图中的注意力约束信息，并以该特征和约束信息对每个年龄进行回归预测，然后将预测结果添加至/>
Figure QLYQS_40
中，/>
Figure QLYQS_41
中所添加的所有年龄预测值即为测试样本集Dtest的年龄估计。
2.根据权利要求1所述的基于显著图约束和X光头颅定位侧位图像的年龄估计方法，其特征在于，步骤(2)中所述的自适应缩放卷积神经网络EfficientNet-B0，包含构建包括顺次连接的Stem模块、Block1、Block2、Block3、Block4、Block5、Block6、Block7和最终层；其中Stem模块包含顺次连接的卷积层、重缩放层、归一化层、零填充层、批归一化层和激活层，；Block1包含一个Module1结构；Block2和Block3均包含顺次连接的Module2结构、Module3结构和加和层；Block4、Block5和Block6均包含顺次连接的Module2结构、Module3结构、加和层、Module3结构和加和层；Block7包含一个Module2结构；最终层包含顺次连接的卷积层、批归一化层和激活层；Module1结构包含顺次连接的深度卷积层、批归一化层和激活层；Module2构包含顺次连接的深度卷积层、批归一化层、激活层、零填充层、深度卷积层、批归一化层和激活层；Module3结构包含顺次连接的全局平均池化层、重缩放层、卷积层和卷积层。
3.根据权利要求1所述的基于显著图约束和X光头颅定位侧位图像的年龄估计方法，其特征在于，步骤(2b)中所述的采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差值L1，计算公式为：
Figure QLYQS_42
其中，
Figure QLYQS_43
表示训练样本子集/>
Figure QLYQS_44
第n个训练样本对应的年龄预测值，An表示An对应的年龄标签标注的年龄，∑表示求和，|·|表示计算绝对值。
4.根据权利要求1所述的基于显著图约束和X光头颅定位侧位图像的年龄估计方法，其特征在于，步骤(2c)中所述的采用自适应学习率优化算法Adam，并以
Figure QLYQS_45
为学习率，通过L1对EfficientNet-B0的权重和偏置参数进行更新，更新公式分别为：
Figure QLYQS_46
Figure QLYQS_47
其中，W1和I1分别EfficientNet-B0的权重和偏置参数，W′和I1′分别表示W1和I1的更新结果，
Figure QLYQS_48
表示L1关于W1的梯度，/>
Figure QLYQS_49
表示L1关于I1的梯度，·表示点乘。
5.根据权利要求1所述的基于显著图约束和X光头颅定位侧位图像的年龄估计方法，其特征在于，步骤(5b)中所述的采用平均误差函数计算每个年龄预测值与其对应的年龄标签标注的年龄的平均绝对误差L2，计算公式为：
Figure QLYQS_50
其中，
Figure QLYQS_51
表示训练样本子集/>
Figure QLYQS_52
第n个训练样本对应的年龄预测值，An表示An对应的年龄标签标注的年龄，∑表示求和，|·|表示计算绝对值。
6.根据权利要求1所述的基于显著图约束和X光头颅定位侧位图像的年龄估计方法，其特征在于，步骤(5c)中所述的采用自适应学习率优化算法Adam，并以
Figure QLYQS_53
为学习率，通过L2对EfficientNet-B0的权重和偏置进行更新，更新公式分别为：
Figure QLYQS_54
Figure QLYQS_55
其中，W2和I2分别EfficientNet-B0的权重和偏置参数，表示W′2和I′2分别表示W2和I2的更新结果，
Figure QLYQS_56
表示L2关于W2的梯度，/>
Figure QLYQS_57
表示L2关于I2的梯度，·表示点乘。
CN202110410483.2A 2021-04-13 2021-04-13 基于显著图约束和x光头颅定位侧位图像的年龄估计方法 Active CN112950631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110410483.2A CN112950631B (zh) 2021-04-13 2021-04-13 基于显著图约束和x光头颅定位侧位图像的年龄估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110410483.2A CN112950631B (zh) 2021-04-13 2021-04-13 基于显著图约束和x光头颅定位侧位图像的年龄估计方法

Publications (2)

Publication Number Publication Date
CN112950631A CN112950631A (zh) 2021-06-11
CN112950631B true CN112950631B (zh) 2023-06-30

Family

ID=76232825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110410483.2A Active CN112950631B (zh) 2021-04-13 2021-04-13 基于显著图约束和x光头颅定位侧位图像的年龄估计方法

Country Status (1)

Country Link
CN (1) CN112950631B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379724A (zh) * 2021-06-29 2021-09-10 西安交通大学口腔医院 一种基于曲面断层片及深度学习的年龄推断系统及方法
CN113781453B (zh) * 2021-09-15 2024-04-02 南京大学 一种基于x线片的脊柱侧凸进展预测及方法和装置
CN115063862B (zh) * 2022-06-24 2024-04-23 电子科技大学 一种基于特征对比损失的年龄估计方法
CN115797341B (zh) * 2023-01-16 2023-04-14 四川大学 一种自动即时判定头颅侧位x光片自然头位的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027521B1 (en) * 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
CN105975916A (zh) * 2016-04-28 2016-09-28 西安电子科技大学 基于多输出卷积神经网络和有序回归的年龄估计方法
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN109101938A (zh) * 2018-08-23 2018-12-28 武汉嫦娥医学抗衰机器人股份有限公司 一种基于卷积神经网络的多标签年龄估计方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN111814611A (zh) * 2020-06-24 2020-10-23 重庆邮电大学 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统
WO2021012383A1 (zh) * 2019-07-24 2021-01-28 初速度（苏州）科技有限公司 一种用于红外图像的年龄预测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198654B2 (en) * 2016-06-24 2019-02-05 Ebay Inc. Automated saliency map estimation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027521B1 (en) * 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
CN105975916A (zh) * 2016-04-28 2016-09-28 西安电子科技大学 基于多输出卷积神经网络和有序回归的年龄估计方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN109101938A (zh) * 2018-08-23 2018-12-28 武汉嫦娥医学抗衰机器人股份有限公司 一种基于卷积神经网络的多标签年龄估计方法
WO2021012383A1 (zh) * 2019-07-24 2021-01-28 初速度（苏州）科技有限公司 一种用于红外图像的年龄预测方法及装置
CN111814611A (zh) * 2020-06-24 2020-10-23 重庆邮电大学 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度代价敏感CNN的年龄估计算法;李大湘;马宣;任娅琼;刘颖;;模式识别与人工智能(02);全文 *
面向人脸年龄估计的深度融合神经网络;孙宁;顾正东;刘佶鑫;韩光;;中国图象图形学报(01);全文 *

Also Published As

Publication number Publication date
CN112950631A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112950631B (zh) 基于显著图约束和x光头颅定位侧位图像的年龄估计方法
Cole et al. Predicting brain age with deep learning from raw imaging data results in a reliable and heritable biomarker
CN109409416B (zh) 特征向量降维方法和医学图像识别方法、装置及存储介质
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN108109140A (zh) 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
CN112784879A (zh) 一种基于小样本域自适应的医学影像分割或分类方法
CN112348785B (zh) 一种癫痫病灶定位方法及系统
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN111179235B (zh) 图像检测模型的生成方法及装置、应用方法及装置
CN111242233A (zh) 一种基于融合网络的阿尔兹海默病分类方法
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN114926396A (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN111724371A (zh) 一种数据处理方法、装置及电子设备
Kondou et al. Artificial intelligence-based forensic sex determination of East Asian cadavers from skull morphology
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
CN106504254B (zh) 一种基于空间混合模型的颅脑磁共振图像分割方法
Mahaulpatha et al. DDPM based X-ray Image Synthesizer
CN116740117B (zh) 一种基于无监督域适应的胃癌病理图像分割方法
Dessouky et al. Effective features extracting approach using MFCC for automated diagnosis of Alzheimer’s disease
CN116030063B (zh) Mri图像的分类诊断系统、方法、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant