CN117746167B - 口腔全景片影像摆位错误分类模型训练方法及分类方法 - Google Patents
口腔全景片影像摆位错误分类模型训练方法及分类方法 Download PDFInfo
- Publication number
- CN117746167B CN117746167B CN202410187771.XA CN202410187771A CN117746167B CN 117746167 B CN117746167 B CN 117746167B CN 202410187771 A CN202410187771 A CN 202410187771A CN 117746167 B CN117746167 B CN 117746167B
- Authority
- CN
- China
- Prior art keywords
- training
- image
- full
- label
- oral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000013145 classification model Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000000605 extraction Methods 0.000 claims abstract description 60
- 230000004913 activation Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 75
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 21
- 210000000214 mouth Anatomy 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012952 Resampling Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 58
- 238000001303 quality assessment method Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 7
- 238000013441 quality evaluation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 206010068829 Overconfidence Diseases 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 1
- 208000015371 Mandibular injury Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 208000028169 periodontal disease Diseases 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种口腔全景片影像摆位错误分类模型训练方法及分类方法。在训练方法中，在第一训练阶段，将训练数据集作为输入，经特征提取网络、全连接层和非线性激活函数得到分类结果，基于全连接处理的结果构建第一损失函数，将第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛。在第二训练阶段，一方面将训练数据集作为输入得到全连接处理的结果，另一方面将训练数据集和多张示例图像作为输入得到标签增强处理结果，基于标签增强处理和全连接处理的结果构建第二损失函数，并分别反馈至特征提取网络和全连接层进行训练直至收敛。该方案可以更好地理解和区分不同类别之间的关系，使得训练得到的模型的学习能力更强，分类更准确。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种口腔全景片影像摆位错误分类模型训练方法及分类方法。
背景技术
影像质量评估是对医学图像的质量进行定量或定性评估的过程。影像质量直接影响医生对图像的解读和诊断结果，高质量的影像可以提供更清晰、更详细的图像信息，帮助医生准确识别病变、评估疾病的程度和发展情况，从而提高诊断的准确性，为患者选择合适的治疗方案。此外，优质的影像也有助于学术界之间的交流和共享，促进医学影像领域的进步和发展。影像质量评估可以确定图像的可用性、准确性和可靠性，以确保图像在临床诊断、科学研究和学术交流中的有效性，并且为提升影像质量作有力指导。
口腔全景X线片是一种有价值的牙科放射线技术，可以让牙医在一张影像中观察到口腔和颌面重要的解剖结构。它有助于诊断各种疾病，如牙周病、肿瘤、囊肿以及下颌骨损伤。由于其快速成像能力、较低的辐射剂量和便捷的操作，口腔全景X线片在牙科领域广受欢迎。然而，不同机构的最新报告表明，相当数量的全景片图像未能达到质量标准。非诊断性图像通常会导致额外的成像和重复检查，增加患者患癌风险的可能性。因此，全景片图像质量评估对于临床诊疗、患者健康科以及质量改进有重要意义。全景片图像质量受到多种因素的影响，包括摄像仪的位置和角度、患者的摆位等等。其中，摆位错误是最主要的因素，它不能通过后期处理进行调整。当在获取口腔全景图像过程中发生摆位错误时，就会导致各种变形的解剖结构和图像伪影。例如，当患者的位置太向前时，会导致“上下颌前牙狭窄”的视觉指示。因此，对口腔全景片摆位错误进行识别是口腔全景片质量评估的关键内容。但是，现有的针对口腔全景片进行质量评估的相关研究只是对摆位错误的出现做手工统计分析，依赖专业医生的主观经验，其过程十分耗时且繁琐，专业敏感性高。因此，针对这一问题通过计算机算法实现自动化、精确化的口腔全景片质量评估具有重要的应用价值。
现有已发表的口腔全景片质量评估的研究中，主要包含对口腔全景片的整体质量和区域特定质量的手工评估。整体质量评估会阻碍综合客观评估，因为它无法准确识别特定问题，从而缺乏直接和即时的改进图像质量的指导，并且在过程中采取抽样的评估方法，无法客观德反映出诊所的整体影像质量。虽然当前对于摆位错误的统计分析在一定程度上有助于细化质量影响因素的定位，但这些错误的手动识别仍然严重依赖于医生的主观判断。总的来说，临床现有的口腔全景片质量评估方法仅依靠手工评价，严重缺乏客观性，评估过程需要影像科医生具备高级技能和经验，投入大量的时间和精力，而且不能提供实时的反馈或指导。
对于图像质量评估任务而言，质量因素的识别界限相对不是很清晰。使用0或1的逻辑标签会导致网络的过度置信，导致过拟合和模型泛化差，并且这种方法假设多标签分类中的所有标签都是相互独立的，忽略每个标签对样本的相对重要性，进一步限制了深度学习模型的学习能力。
发明内容
本申请要解决的技术问题是提供一种口腔全景片影像摆位错误分类模型训练方法及分类方法，具有模型学习能力更强，分类更准确的特点。
第一方面，一种实施例中提供一种口腔全景片影像摆位错误分类模型训练方法，包括：
采集多张存在多类摆位错误的口腔全景图像；
对所述口腔全景图像进行摆位错误标签的标定；
对标定后的口腔全景图像进行数据预处理，得到训练数据集；
将所述训练数据集作为输入，基于构建的基础网络框架进行第一训练阶段的训练，包括：
对于输入的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第一一维特征向量；
将多张所述第一一维特征向量经全连接层全连接处理后再进行非线性激活处理得到分类结果；
基于全连接处理的结果构建第一损失函数，并将该第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛；
将所述训练数据集和多张示例图像作为输入，所述多张示例图像基于所述训练数据集选取，每张示例图像存在一类摆位错误，且与所述多类摆位错误一一对应，基于构建的基础网络框架进行第二训练阶段的训练，包括：
对于输入的训练数据集的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第二一维特征向量；
将多张所述第二一维特征向量经全连接层全连接处理后再进行非线性激活处理得到分类结果；
对输入的多张示例图像的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第三一维特征向量；
将所述第二一维特征向量和所述多张示例图像所一一对应的多个第三一维特征向量进行拼接后得到第四二维特征向量；
将所述第四二维特征向量进行标签增强处理，基于标签增强处理后的结果和全连接处理的结果构建第二损失函数，并将第二损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，以得到口腔全景片影像摆位错误分类模型。
一种实施例中，所述的对标定后的口腔全景图像进行数据预处理，得到训练数据集，包括：
对于标定后的口腔全景图像中的任意一张图像，通过重采样操作，调整为预设大小，得到第一图像；
将所有第一图像中的任意数量的第一图像，采用左右对称的增强方法，进行数据增强得到一一对应的第二图像；
对于所有第二图像和未进行数据增强处理的第一图像，进行归一化处理，得到训练数据集。
一种实施例中，所述的基于全连接处理的结果构建第一损失函数，并将该第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，包括：
基于全连接处理的结果构建第一损失函数，对于任意一全连接处理输入的一维特征向量对应的全连接处理的结果所得到的第一损失函数Lamls包括：
，
其中，y表示任意一全连接处理输入的一维特征向量的摆位错误标签，y=(y1,y2,...,yi,...,yI)，i，j均表示摆位错误标签类别的索引，I表示摆位错误标签类别的总数，1≤i，j≤I，s表示y所对应的全连接处理的结果，s=(s1,s2,...,si,...,sI)，N表示y中未出现的摆位错误标签类别的集合，P表示y中出现的摆位错误标签的集合，、/>和/>均表示预设的加权因子；
将第一损失函数Lamls分别反馈至特征提取网络和全连接层进行训练直至收敛，以完成第一训练阶段的训练。
一种实施例中，加权因子，/>。
一种实施例中，加权因子，/>。
一种实施例中，所述的对于输入的训练数据集的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第二一维特征向量，包括：
，
其中，表示训练数据集中的任意一张图像；/>表示特征提取处理，/>表示第二一维特征向量；
所述的对输入的多张示例图像的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第三一维特征向量，包括：
，
其中，表示所述多张示例图像中的任意一张，/>表示摆位错误标签类别i所对应的示例图像所对应的第三一维特征向量；i表示摆位错误标签类别的索引，I表示摆位错误标签类别的总数，1≤i≤I。
所述的将所述第二一维特征向量和所述多张示例图像所一一对应的多个第三一维特征向量进行拼接后得到第四二维特征向量，包括：
，
其中，表示第四二维特征向量。
一种实施例中，所述的将所述第四二维特征向量进行标签增强处理，包括：
基于第四二维特征向量的值计算相似度矩阵W，则相似度矩阵W中的任意一个元素wmn为：
，
其中，m表示相似度矩阵W中行的索引，n表示相似度矩阵W中列的索引，1≤m,n≤I+1；当m=1时，取/>的值，当m＞1时，/>取/>值的；当n=1时，/>取/>的值，当n＞1时，/>取/>的值；exp表示以e为底的指数，/>表示计算两个向量欧氏距离的平方，/>表示预设的相似度计算的宽度参数，/>＞0；
构建标签传播矩阵，进行标签更新，包括：基于当前输入的训练数据集中的图像，依靠标签传播矩阵、上一次迭代中输入的训练数据集中的图像所对应的标签信息和逻辑标签矩阵进行标签信息的更新；
基于更新后的标签信息得到所述的当前输入的训练数据集中的图像本次迭代所得到增强标签；
将所述本次迭代所得到增强标签作为标签增强处理后的结果。
一种实施例中，所述的基于当前输入的训练数据集中的图像，依靠标签传播矩阵、上一次迭代中输入的训练数据集中的图像所对应的标签信息和逻辑标签矩阵进行标签信息的更新，包括：
，
其中，表示传播矩阵，/>；D是一个对角矩阵，其对角元素dm等于相似度矩阵W的第m行元素的和，即/>；t表示更新次数，/>表示本次更新后的标签信息，/>表示上一次更新后的标签信息，/>使用C来进行初始化，表示预设的加权因子，/>表示逻辑标签矩阵，/>，c表示当前输入的训练数据集中的图像的摆位错误标签，/>表示任意一张示例图像的摆位错误标签；i表示摆位错误标签类别的索引，I表示摆位错误标签类别的总数，1≤i≤I；
所述的基于更新后的标签信息得到所述的当前输入的训练数据集中的图像本次迭代所得到增强标签，包括：
基于得到/>中的当前输入的训练数据集中的图像本次迭代所得到增强标签h，/>表示任意一张示例图像本次迭代所得到的增强标签。
一种实施例中，所述的基于标签增强处理后的结果和全连接处理的结果构建第二损失函数，包括：
，
其中，s表示h所对应的全连接处理的结果，h=(h1,h2,...,hi,...,hI)，s=(s1,s2,...,si,...,sI)，、/>和/>均表示预设的加权因子。
第二方面，一种实施例中提供一种一种口腔全景片影像摆位错误分类方法，基于上述任意一实施例所述的口腔全景片影像摆位错误分类模型训练方法训练得到的摆位错误分类模型进行分类，包括：
获取口腔全景片图像；
将所述口腔全景片图像进行数据预处理，包括先通过重采样操作处理未预设大小，再将重采样操作处理后的图像进行归一化处理得到分类对象；
将所述分类对象作为输入经特征提取网络特征提取后得到第一特征图；
将所述第一特征图依次经全连接处理和非线性激活处理后得到摆位错误分类结果。
本发明的有益效果是：
基于训练数据集，进行了两个阶段的训练，在第一训练阶段的训练中，基于全连接处理的结果构建第一损失函数，并将该第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，代替了传统的使用多个sigmoid激活函数和二元交叉熵损失的方法进行多标签分类，消除了数据不平衡问题中原损失函数中高阶项的影响，有效解决了数据集中的标签内不平衡和标签间不平衡问题。在第二训练阶段的训练中，将训练数据集和多张示例图像作为输入进行训练，可以将关联较强的标签信息传递给其他相邻的标签，从而获得更准确、更符合实际情况的标签分布。这种动态多标签增强策略使训练得到的模型可以更好地理解和区分不同类别之间的关系，提高分类性能，从而使得训练得到的模型的学习能力更强，分类更准确。
附图说明
图1是本申请一种实施例的口腔全景片影像摆位错误分类模型训练方法流程示意图；
图2是本申请图1中步骤S30的一种实施例的方法流程示意图；
图3是本申请图1中步骤S40的一种实施例的方法流程示意图；
图4是本申请一种实施例的模型训练过程示意图；
图5是本申请图1中步骤S50的一种实施例的方法流程示意图；
图6是本申请一种实施例的第二训练阶段的得到标签标签增强过程示意图；
图7是本申请图5中步骤S505中的将第四二维特征向量进行标签增强处理的一种实施例的方法流程示意图；
图8是本申请一种实施例的口腔全景片影像摆位错误分类方法流程示意图；
图9是本申请一种实施例的口腔全景片影像摆位错误分类过程示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
为便于对本申请的发明构思进行说明，以下对图像处理技术进行简要说明。
对于图像质量评估任务而言，质量因素的识别界限相对不是很清晰。使用0或1的逻辑标签会导致网络的过度置信，导致过拟合和模型泛化差，并且这种方法假设多标签分类中的所有标签都是相互独立的，忽略每个标签对样本的相对重要性，进一步限制了深度学习模型的学习能力。目前针对这一方面，许多研究表明对多标签数据集进行标签平滑是一种提升网络性能的有效方法。标签平滑是一种简单而强大的处理标签模糊性和过拟合策略，广泛应用于自然图像处理问题。但是这个方法采用超参数来确定训练过程中标签平滑的程度，需要大量调优实验来确定最佳方案，费时费力。有研究通过一种动态更新平滑标签的联合优化算法，这类方法需要一个很大的学习率，在训练过程中引入了不稳定性并且它们未能捕捉到标签之间真正的潜在关系。因此，如何利用标签间关系将数据集的逻辑标签进行优化，仍然是一个亟待解决的挑战性问题。
对医学标注数据而言，数据集的不平衡是显著影响网络性能的原因。大多数图像只包含可能的标签的一小部分，这意味着每个类别的阳性样本的数量将远远低于阴性样本的数量，导致模型偏向于大多数类别。解决这一问题的常见有效解决方案是引入修改后的损失函数。普遍的方法是重新加权交叉熵损失，为少数类分配更高的权重。这些方法在一定程度上提高了性能，但引入了许多超参数，需要调优，而且它们不能保证类之间的最佳平衡。有部分研究集中于构建对不平衡的数据分布不敏感的损失函数，然而，这些改进方法主要减少了类或标签之间的排序错误，即它们只考虑了多标签类不平衡问题的一个方面。
鉴于上述问题，本申请的一种实施例中提供了一种口腔全景片影像摆位错误分类模型训练方法，该方法中，基于训练数据集，进行了两个阶段的训练，第一训练阶段的训练中，基于全连接处理的结果构建第一损失函数，并将该第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，代替了传统的使用多个sigmoid和二元交叉熵损失的方法进行多标签分类。这个损失函数消除了数据不平衡问题中原损失函数中高阶项的影响，有效解决了数据集中的标签内不平衡和标签间不平衡问题。第二训练阶段的训练中，将训练数据集和多张示例图像作为输入进行训练，可以将关联较强的标签信息传递给其他相邻的标签，从而获得更准确、更符合实际情况的标签分布。这种动态多标签增强策略使训练得到的模型可以更好地理解和区分不同类别之间的关系，提高分类性能，从而使得训练得到的模型的学习能力更强，分类更准确。
请参考图1，该口腔全景片影像摆位错误分类模型训练方法包括：
步骤S10，采集多张存在多类摆位错误的口腔全景图像。
一种实施例中，我们可以采集存在摆位错误的除缺牙过多、术后钢板存在以及严重颜面畸形外的恒压列口腔全景图像2000例。
步骤S20，对口腔全景图像进行摆位错误标签的标定。
对每一例口腔全景图像都进行摆位错误的标注，一种实施例中，标注的摆位错误标签可以包括前牙放大、前牙缩小、颈椎重叠、𬌗曲线过平、𬌗曲线呈现“V”型，结构倾斜、结构不对称和解剖结构不全共8中摆位错误类型。
步骤S30，对标定后的口腔全景图像进行数据预处理，得到训练数据集。
一种实施例中，请参考图2，进行数据预处理的方法包括：
步骤S301，对于标定后的口腔全景图像中的任意一张图像，通过重采样操作，调整为预设大小，得到第一图像。
一种实施例中，通过重采样操作，讲输入的图像调整为目标大小（299，299），以确保所有图像具有相同的尺寸。
步骤S302，将所有第一图像中的任意数量的第一图像，采用左右对称的增强方法，进行数据增强得到一一对应的第二图像。
为了增加训练样本的多样性，采用左右对称的增强方法，即对该任意数量的第一图像进行镜像翻转，通过改变图像的视角来增加数据的多样性。
本领域技术人员可以理解地，这里的任意数量可以根据需求进行设置，可以是数值，也可以是一个比例，例如，全部第一图像的40%等。
步骤S303，对于所有第二图像和未进行数据增强处理的第一图像，进行归一化处理，得到训练数据集。
一种实施例中，通过将每个像素的值减去均值并除以标准差来实现归一化操作。在这种情况下，使用的均值和标准差是经过ImageNet数据集统计得到的，用于对图像数据进行归一化。可以提供较好的数据标准化效果，并且可以更好地适应模型在ImageNet上预训练的权重。一种实施例中，具体为均值：[0.485, 0.456, 0.406]标准差：[0.229, 0.224,0.225]。这些值用于将图像的每个通道像素值减去均值并除以标准差，以实现对图像数据的归一化处理，有助于使图像数据具有零均值和单位方差，有利于模型的训练和学习特征。
步骤S40，将训练数据集作为输入，基于构建的基础网络框架进行第一训练阶段的训练。一种实施例中，请参照图3和图4，第一训练阶段的训练过程包括：
步骤S401，对于输入的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第一一维特征向量。
一种实施例中，请参考图4，将训练数据集中以32张图像为一组一起作为体征提取网络的输入，对于输入的任意一张图像x，经特征提取网络特征提取处理后，得到具有深度特征的第一一维特征向量z1，包括：
，
其中，表示特征提取网络的特征提取处理。
特征提取网络的将输入的预处理图片转化为特征向量，将原始数据映射到隐层特征空间，以学习大规模图像数据中的物体特征和规律。一种实施例中，本申请采用的主干特征提取网络是多标签图像分类任务常用的Incptionv3网络。该网络中的Inception模块在同一层网络内采用多尺度的卷积操作。具体来说，Inception模块结合了1*1、3*3、5*5的卷积核以及池化层，从而能够在不同尺度下捕捉图像特征。1*1卷积核的引入还有效减小了计算复杂度，提高了计算效率。这种多尺度的特征提取有助于模型捕捉口腔全景片中不同尺寸和复杂度的特征，对于质量评估需要关注不同尺度信息的情况十分适用。
由于特征提取之后已经用Flatten层用来将卷积层输出的多维特征拉为一维向量，因此输出的每个一维向量特征可以表示为长度为2048的一维向量。
步骤S402，将多张第一一维特征向量经全连接层全连接处理后再进行非线性激活处理得到分类结果。
一种实施例中，将32张第一一维特征向量输入到全连接层进行摆位错误的多标签分类。全连接层的作用是整合特征，将输入特征空间映射到输出结果空间，用于之后的分类，实现模型的复杂性和非线性拟合能力。全连接层接收图像特征向量z1，然后输出s，表示为长度为8的一维向量，最终的分类结果由s经过sigmoid激活函数运算得到，表示为长度为8的一维向量，每个元素表示对应类型的摆位错误发生的概率。
步骤S403，基于全连接处理的结果构建第一损失函数，并将该第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛。
多标签分类常用的损失函数是将神经网络最后一层全连接层的输出s，经过sigmoid激活函数后得到每个类的概率值与标签y计算交叉熵，定义为：
，
其中，y表示任意一全连接处理输入的一维特征向量的摆位错误标签，表示为Multi one-hot编码形式，y=(y1,y2,...,yi,...,yI)，i，j均表示摆位错误标签类别的索引，I表示摆位错误标签类别的总数，1≤i，j≤I，一种实施例中，由于存在8类摆位错误，因此，I=8。s表示y所对应的全连接处理的结果，s=(s1,s2,...,si,...,sI)，N表示y中未出现的摆位错误标签类别的集合，P表示y中出现的摆位错误标签的集合。
由于每个输入图像可以有多个摆位错误标签，当存在第j类摆位错误标签时，相应的yj就为1，当不存在第i类摆位错误标签时，相应的yi就为0。由于，因此，/>等于1，即可在公式中将省去/>。由于/>，因此，/>等于1，即可在公式中将省去/>。
申请人在研究中发现，其中的元素经过sigmoid激活函数之后表示模型预测的对应类别的概率。可以进一步得出：
，
可以看出，这个损失函数存在一个非常大的弊端，就是当正负样本不平衡时，高阶项累积大量梯度，造成正负样本的对于损失的贡献差异较大，导致网络性能较差。基于此，本申请提出了一种新的构建第一损失函数的方法，包括：
基于全连接处理的结果构建第一损失函数，对于任意一全连接处理输入的一维特征向量对应的全连接处理的结果所得到的第一损失函数Lamls包括：
，
其中，、/>和/>均表示预设的加权因子。
基于该第一损失函数，基于包括的摆位错误标签类型和不包括的摆位错误标签类型，分别计算到输入图像的一个正标签sP和一个负标签sN，分别可以表示为：
，
，
基于此，本申请采取的损失函数删除了高阶项，从而有效地缓解了不平衡程度，并且引入不对称加权因子进一步加强对正样本（包括的标签类型）的特征学习。
、/>和/>作为加权因子，用于调节损失函数实现的最大化程度，较小的加权因子更适合多标签分类中一个样本可能存在多个标签的特征，而且可以平滑训练过程，增加鲁棒性。
申请人在研究中发现，当时，损失函数只有一个参数。当/>、/>固定，/>增大时，可以增大正样本对损失的贡献。当/>、/>固定，/>增大时，可以增大负样本（不包括的标签类型）对损失的贡献。基于此，本申请的一种实施例中，使得加权因子，/>，将/>、/>固定在一个小的区间，增大/>的区间，这样能学习到罕见的正样本特征，从而提升模型对有意义的特征的学习。此外，可以仍保留所有加权因子在小区间，以确保函数梯度平滑，训练更稳定。
一种实施例中，使得加权因子，/>。
将第一损失函数Lamls分别反馈至特征提取网络和全连接层进行训练直至收敛，以完成第一训练阶段的训练。
通过第一训练阶段，考虑了全景片质量评估数据不平衡的问题，采用的第一损失函数消除了数据不平衡问题中原损失函数中高阶项的影响，有效解决数据集中的标签内不平衡和标签间不平衡问题。此外，在特征学习方面，进一步引入不对称因子，增强了网络对正样本的学习能力，从而可以更好地捕捉正样本的特征，增强了模型的鲁棒性和泛化能力。
步骤S50，将训练数据集和多张示例图像作为输入，基于构建的基础网络框架进行第二训练阶段的训练，以得到口腔全景片影像摆位错误分类模型。
第一训练阶段作为预训练阶段，模型很好地学习到了数据集中的特征，主干特征提取网络当前具备一定的特征提取能力。在第二训练阶段，我们需要用到代表了多标签分类任务的全部类型的多张示例图像，该多张示例图像可以基于训练数据集选取，每张示例图像存在一类摆位错误，且与多类摆位错误一一对应。
一种实施例中，从训练数据集中选取8张示例图像，这8张示例图像分别有且仅有一种互不相同的摆位错误类型，代表了多标签分类任务的全部类型，他们的特征具备较好的代表性。
请参照图5、图4和图6，第二训练阶段的训练过程具体包括：
步骤S501，对于输入的训练数据集的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第二一维特征向量。一种实施例中，包括：
，
其中，表示训练数据集中的任意一张图像；/>表示特征提取处理，/>表示第二一维特征向量。
步骤S502，将多张第二一维特征向量经全连接层全连接处理后再进行非线性激活处理得到分类结果。
步骤S503，对输入的多张示例图像的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第三一维特征向量。一种实施例中，包括：
，
其中，表示所述多张示例图像中的任意一张，/>表示摆位错误标签类别i所对应的示例图像所对应的第三一维特征向量。
第二训练阶段为增强阶段，特征提取网络结构不变，继承第一训练阶段的权重，接收当前输入的实例图像以及8个示例图像的输入。和第一训练阶段同样地，当前输入的实例图像的特征将被输入到全连接层进行摆位错误的多标签分类，全连接层接收图像特征向量/>，然后输出s，表示为长度为8的一维向量，最终的分类结果由s经过sigmoid激活函数运算得到，表示为长度为8的一维向量，每个维度表示对应类型的摆位错误发生的概率。
步骤S504，将第二一维特征向量和多张示例图像所一一对应的多个第三一维特征向量进行拼接后得到第四二维特征向量。一种实施例中，包括：
，
其中，表示第四二维特征向量。
步骤S505，将第四二维特征向量进行标签增强处理，基于标签增强处理后的结果和全连接处理的结果构建第二损失函数，并将第二损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，以得到口腔全景片影像摆位错误分类模型。
通过将第四二维特征向量进行标签增强处理，将当前实例的特征及8个实例的深度特征一起进行标签增强处理。
逻辑标签默认标签之间关系独立，而医学图像标签之间存在一定的相关关系。并且就本申请构建的口腔全景片数据集而言，个别标签之间存在较强的负相关关系。通过标签增强，可以提升网络的性能，使得得到的模型分类更准确。
一种实施例中，请参考图7和图6，将第四二维特征向量进行标签增强处理，包括：
步骤S5051，基于第四二维特征向量的值（不引入梯度）计算相似度矩阵W。则相似度矩阵W中的任意一个元素wmn为：
，
其中，m表示相似度矩阵W中行的索引，n表示相似度矩阵W中列的索引，1≤m,n≤I+1；当m=1时，取/>的值，当m＞1时，/>取/>值的；当n=1时，/>取/>的值，当n＞1时，/>取/>的值；exp表示以e为底的指数，/>表示计算两个向量欧氏距离的平方，表示预设的相似度计算的宽度参数，/>＞0。
一种实施例中，由于具有8类摆位错误标签，结合当前输入的实例，则该相似度矩阵的大小为9*9。
步骤S5052，构建标签传播矩阵，进行标签更新。
申请人在研究中发现，对于图像质量评估任务而言，质量因素的识别界限相对不是很清晰。使用0或1的逻辑标签会导致网络的过度自信。基于此，本申请的一种实施例中，提供了一种基于标签传播的动态标签增强方法，请参考图6，构建标签传播矩阵，根据相似度矩阵，一种实施例中，该标签传播矩阵的大小为9*9，可以表示为。D是一个对角矩阵，其对角元素dm等于相似度矩阵W的第m行元素的和，即/>。
基于构建的标签传播矩阵，进行标签更新，包括：基于当前输入的训练数据集中的图像，依靠标签传播矩阵、上一次迭代中输入的训练数据集中的图像所对应的标签信息和逻辑标签矩阵进行标签信息的更新。一种实施例中，包括：
，
其中，t表示更新次数，表示本次更新后的标签信息，/>表示上一次更新后的标签信息，/>使用C来进行初始化，/>表示预设的加权因子，C表示逻辑标签矩阵，/>，c表示当前输入的训练数据集中的图像的摆位错误标签，/>表示任意一张示例图像的摆位错误标签。
一种实施例中，=0.01。
步骤S5053，基于更新后的标签信息得到当前输入的训练数据集中的图像本次迭代所得到增强标签。
当前迭代更新后的标签信息为，由此可以得到中的当前输入的训练数据集中的图像本次迭代所得到增强标签h。其中，/>表示任意一张示例图像本次迭代所得到的增强标签。
步骤S5054，将该本次迭代所得到增强标签作为标签增强处理后的结果。
将得到的增强标签h作为增强处理后的结果，如此，每个实例的标签被动态增强。
上述的动态多标签增强，从每个训练实例中挖掘实时特征，构建与每个类之间的相关性矩阵，从而捕捉标签相关性，将这种相关性通过标签传播的方法将标签进行更新，可以产生能更好反映实际情况的标签分布，从而提高了分类性能，得到更准确的分类结果。
一种实施例中，基于标签增强处理后的结果和全连接处理的结果构建第二损失函数，包括：
，
其中，s表示h所对应的全连接处理的结果，h=(h1,h2,...,hi,...,hI)，s=(s1,s2,...,si,...,sI)。一种实施例中，I=8，h1到h8表示当前实例图像每一类摆位错误的增强标签。s中的元素经过sigmoid激活函数之后表示模型预测的对应类别摆位错误的概率。
在第二训练阶段，图像的标签不再是0或1的分布，将被更新为概率分布，第一训练阶段的损失函数不再适用于当前阶段。本申请将第一训练阶段的损失函数进行适当改进，使其在不影响性能的情况下，适用于计算预测分布与标签分布的之间的距离。
将第二损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，以得到口腔全景片影像摆位错误分类模型。
基于上述训练过程，网络输入设置为299×299×3，训练过程中的数据动态采用随机水平翻转。一次训练批次设置为32，也就是一个批次读入32张原始的口腔全景片，学习迭代次数为100。本申请采取五折交叉验证方法，将数据集划分为五个相等大小的子集，在每一轮中，选择其中一折作为验证集，剩下的四折作为训练集。使用训练集对模型进行训练，并在验证集上进行评估。
重复以上步骤五次，每次选择不同的折作为验证集。最后对五次评估结果计算平均值和标准差，以保证模型的性能和泛化能力。网络训练采用反向传播算法。网络学习针对每个批次更新一次参数。训练过程中每经过一次迭代学习之后，评估模型在验证集上的表现，如果当前表现优于之前迭代过程中的最优表现，就保存当前模型参数，然后继续训练并更新迭代过程中的最优表现。若训练达到最大迭代次数，则训练停止。
训练的两个阶段，前5个迭代学习时，模型为预训练阶段，不使用标签增强，模型采用预测值和原来的逻辑标签计算的损失值进行反向传播。第二阶段接入标签增强，使用生成的标签分布和预测值计算的损失函数反向传播。
基于上述训练方法得到的模型构建了基于深度学习的端到端的框架自动化进行口腔全景片质量评估任务，直接从原始图像数据中学习，无需手工设计特征或进行复杂的预处理。针对全景片的手工质量评估、数据集的不平衡以及标签模糊问题，利用不对称因子和标签间依赖性，可以接受口腔全景片数据作为输入，并且可以自动、快速地预测对应其中包含的口腔全景片质量问题。
本申请的一种实施例中提供一种口腔全景片影像摆位错误分类方法，基于上述任意一实施例的口腔全景片影像摆位错误分类模型训练方法训练得到的摆位错误分类模型进行分类，请参考图8和图9，包括：
步骤S100，获取口腔全景片图像。
步骤S200，将口腔全景片图像进行数据预处理，包括先通过重采样操作处理未预设大小，再将重采样操作处理后的图像进行归一化处理得到分类对象。
步骤S300，将分类对象作为输入经特征提取网络特征提取后得到第一特征图。
步骤S400，将第一特征图依次经全连接处理和非线性激活处理后得到摆位错误分类结果。
基于上述分类方法，可以自动提取和学习图像中与质量相关的特征，并且可以根据实际情况进行优化和调整，以获得更好的性能。提供高效、准确和一致的口腔全景片质量评估，为口腔医生和专业人员提供支持和指导。
本申请可以直接接入全景片拍摄设备中，对于刚拍摄的全景片进行快速评估，得到的质量评估结果简单处理后可以直接用于临床提示，以及提出指导口腔全景片拍摄的宝贵意见，用更高的效率为口腔全景片质量评估和质量控制提供帮助。
本申请的一种实施例中提供了一种计算机可读存储介质，存储介质上存储有程序，存储的程序包括能够被处理器加载并处理上述任意一实施例中的方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种口腔全景片影像摆位错误分类模型训练方法，其特征在于，包括：
采集多张存在多类摆位错误的口腔全景图像；
对所述口腔全景图像进行摆位错误标签的标定；
对标定后的口腔全景图像进行数据预处理，得到训练数据集；
将所述训练数据集作为输入，基于构建的基础网络框架进行第一训练阶段的训练，包括：
对于输入的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第一一维特征向量；
将多张所述第一一维特征向量经全连接层全连接处理后再进行非线性激活处理得到分类结果；
基于全连接处理的结果构建第一损失函数，并将该第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛；
将所述训练数据集和多张示例图像作为输入，所述多张示例图像基于所述训练数据集选取，每张示例图像存在一类摆位错误，且与所述多类摆位错误一一对应，基于构建的基础网络框架进行第二训练阶段的训练，包括：
对于输入的训练数据集的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第二一维特征向量；
将多张所述第二一维特征向量经全连接层全连接处理后再进行非线性激活处理得到分类结果；
对输入的多张示例图像的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第三一维特征向量；
将所述第二一维特征向量和所述多张示例图像所一一对应的多个第三一维特征向量进行拼接后得到第四二维特征向量；
将所述第四二维特征向量进行标签增强处理，基于标签增强处理后的结果和全连接处理的结果构建第二损失函数，并将第二损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，以得到口腔全景片影像摆位错误分类模型。
2.如权利要求1所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，所述的对标定后的口腔全景图像进行数据预处理，得到训练数据集，包括：
对于标定后的口腔全景图像中的任意一张图像，通过重采样操作，调整为预设大小，得到第一图像；
将所有第一图像中的任意数量的第一图像，采用左右对称的增强方法，进行数据增强得到一一对应的第二图像；
对于所有第二图像和未进行数据增强处理的第一图像，进行归一化处理，得到训练数据集。
3.如权利要求1所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，所述的基于全连接处理的结果构建第一损失函数，并将该第一损失函数分别反馈至特征提取网络和全连接层进行训练直至收敛，包括：
基于全连接处理的结果构建第一损失函数，对于任意一全连接处理输入的一维特征向量对应的全连接处理的结果所得到的第一损失函数Lamls包括：
，
其中，y表示任意一全连接处理输入的一维特征向量的摆位错误标签，y=(y1,y2,...,yi,...,yI)，i，j均表示摆位错误标签类别的索引，I表示摆位错误标签类别的总数，1≤i，j≤I，s表示y所对应的全连接处理的结果，s=(s1,s2,...,si,...,sI)，N表示y中未出现的摆位错误标签类别的集合，P表示y中出现的摆位错误标签的集合，、/>和/>均表示预设的加权因子；
将第一损失函数Lamls分别反馈至特征提取网络和全连接层进行训练直至收敛，以完成第一训练阶段的训练。
4.如权利要求3所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，加权因子，/>。
5.如权利要求4所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，加权因子，/>。
6.如权利要求1所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，所述的对于输入的训练数据集的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第二一维特征向量，包括：
，
其中，表示训练数据集中的任意一张图像；/>表示特征提取处理，/>表示第二一维特征向量；
所述的对输入的多张示例图像的任意一张图像，经特征提取网络特征提取处理得到具有深度特征的第三一维特征向量，包括：
，
其中，表示所述多张示例图像中的任意一张，/>表示摆位错误标签类别i所对应的示例图像所对应的第三一维特征向量；i表示摆位错误标签类别的索引，I表示摆位错误标签类别的总数，1≤i≤I；
所述的将所述第二一维特征向量和所述多张示例图像所一一对应的多个第三一维特征向量进行拼接后得到第四二维特征向量，包括：
，
其中，表示第四二维特征向量。
7.如权利要求6所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，所述的将所述第四二维特征向量进行标签增强处理，包括：
基于第四二维特征向量的值计算相似度矩阵W，则相似度矩阵W中的任意一个元素wmn为：
，
其中，m表示相似度矩阵W中行的索引，n表示相似度矩阵W中列的索引，1≤m,n≤I+1；当m=1时，取/>的值，当m＞1时，/>取/>的值；当n=1时，/>取/>的值，当n＞1时，/>取/>的值；exp表示以e为底的指数，/>表示计算两个向量欧氏距离的平方，表示预设的相似度计算的宽度参数，/>＞0；
构建标签传播矩阵，进行标签更新，包括：基于当前输入的训练数据集中的图像，依靠标签传播矩阵、上一次迭代中输入的训练数据集中的图像所对应的标签信息和逻辑标签矩阵进行标签信息的更新；
基于更新后的标签信息得到所述的当前输入的训练数据集中的图像本次迭代所得到增强标签；
将所述本次迭代所得到增强标签作为标签增强处理后的结果。
8.如权利要求7所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，所述的基于当前输入的训练数据集中的图像，依靠标签传播矩阵、上一次迭代中输入的训练数据集中的图像所对应的标签信息和逻辑标签矩阵进行标签信息的更新，包括：
，
其中，表示传播矩阵，/>；D是一个对角矩阵，其对角元素dm等于相似度矩阵W的第m行元素的和，即/>；t表示更新次数，/>表示本次更新后的标签信息，/>表示上一次更新后的标签信息，/>使用C来进行初始化，/>表示预设的加权因子，/>表示逻辑标签矩阵，/>，c表示当前输入的训练数据集中的图像的摆位错误标签，/>表示任意一张示例图像的摆位错误标签；i表示摆位错误标签类别的索引，I表示摆位错误标签类别的总数，1≤i≤I；
所述的基于更新后的标签信息得到所述的当前输入的训练数据集中的图像本次迭代所得到增强标签，包括：
基于得到/>中的当前输入的训练数据集中的图像本次迭代所得到增强标签h，/>表示任意一张示例图像本次迭代所得到的增强标签。
9.如权利要求8所述的口腔全景片影像摆位错误分类模型训练方法，其特征在于，所述的基于标签增强处理后的结果和全连接处理的结果构建第二损失函数，包括：
，
其中，s表示h所对应的全连接处理的结果，h=(h1,h2,...,hi,...,hI)，s=(s1,s2,...,si,...,sI)，、/>和/>均表示预设的加权因子。
10.一种口腔全景片影像摆位错误分类方法，其特征在于，基于权利要求1到9之一所述的口腔全景片影像摆位错误分类模型训练方法训练得到的摆位错误分类模型进行分类，包括：
获取口腔全景片图像；
将所述口腔全景片图像进行数据预处理，包括先通过重采样操作处理未预设大小，再将重采样操作处理后的图像进行归一化处理得到分类对象；
将所述分类对象作为输入经特征提取网络特征提取后得到第一特征图；
将所述第一特征图依次经全连接处理和非线性激活处理后得到摆位错误分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410187771.XA CN117746167B (zh) | 2024-02-20 | 2024-02-20 | 口腔全景片影像摆位错误分类模型训练方法及分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410187771.XA CN117746167B (zh) | 2024-02-20 | 2024-02-20 | 口腔全景片影像摆位错误分类模型训练方法及分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117746167A CN117746167A (zh) | 2024-03-22 |
| CN117746167B true CN117746167B (zh) | 2024-04-19 |
Family
ID=90261289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410187771.XA Active CN117746167B (zh) | 2024-02-20 | 2024-02-20 | 口腔全景片影像摆位错误分类模型训练方法及分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746167B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325200A (zh) * | 2018-12-17 | 2020-06-23 | 北京京东尚科信息技术有限公司 | 图像标注方法、装置、设备及计算机可读存储介质 |
| CN111695052A (zh) * | 2020-06-12 | 2020-09-22 | 上海智臻智能网络科技股份有限公司 | 标签分类方法、数据处理设备、可读存储介质 |
| CN113486175A (zh) * | 2021-07-08 | 2021-10-08 | 平安国际智慧城市科技股份有限公司 | 文本分类方法、文本分类装置、计算机设备及存储介质 |
| CN113516639A (zh) * | 2021-06-30 | 2021-10-19 | 哈尔滨工业大学（深圳） | 基于全景x光片的口腔异常检测模型的训练方法及装置 |
| CN113657425A (zh) * | 2021-06-28 | 2021-11-16 | 华南师范大学 | 基于多尺度与跨模态注意力机制的多标签图像分类方法 |
| CN113806645A (zh) * | 2020-06-12 | 2021-12-17 | 上海智臻智能网络科技股份有限公司 | 标签分类系统及标签分类模型的训练系统 |
| CN113806507A (zh) * | 2021-09-16 | 2021-12-17 | 厦门快商通科技股份有限公司 | 一种多标签分类方法、装置及可读介质 |
| CN114398935A (zh) * | 2021-11-17 | 2022-04-26 | 重庆邮电大学 | 一种基于深度学习的医学影像报告多标签分类方法 |
| CN114882279A (zh) * | 2022-05-10 | 2022-08-09 | 西安理工大学 | 基于直推式半监督深度学习的多标签图像分类方法 |
| CN115830387A (zh) * | 2022-12-14 | 2023-03-21 | 富联裕展科技(深圳)有限公司 | 一种模型训练方法、训练装置、分类方法及分类装置 |
| CN116975578A (zh) * | 2023-02-09 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 逻辑规则网络模型训练方法、装置、设备、程序及介质 |
| CN117237711A (zh) * | 2023-09-11 | 2023-12-15 | 杭州电子科技大学 | 一种基于对抗学习的双模态眼底图像分类方法 |
| CN117456289A (zh) * | 2023-12-25 | 2024-01-26 | 四川大学 | 一种基于深度学习的颌骨病变分割分类系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282462B2 (en) * | 2016-10-31 | 2019-05-07 | Walmart Apollo, Llc | Systems, method, and non-transitory computer-readable storage media for multi-modal product classification |
| WO2022203167A1 (en) * | 2021-03-25 | 2022-09-29 | Samsung Electronics Co., Ltd. | Speech recognition method, apparatus, electronic device and computer readable storage medium |
-
2024
- 2024-02-20 CN CN202410187771.XA patent/CN117746167B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325200A (zh) * | 2018-12-17 | 2020-06-23 | 北京京东尚科信息技术有限公司 | 图像标注方法、装置、设备及计算机可读存储介质 |
| CN111695052A (zh) * | 2020-06-12 | 2020-09-22 | 上海智臻智能网络科技股份有限公司 | 标签分类方法、数据处理设备、可读存储介质 |
| CN113806645A (zh) * | 2020-06-12 | 2021-12-17 | 上海智臻智能网络科技股份有限公司 | 标签分类系统及标签分类模型的训练系统 |
| CN113657425A (zh) * | 2021-06-28 | 2021-11-16 | 华南师范大学 | 基于多尺度与跨模态注意力机制的多标签图像分类方法 |
| CN113516639A (zh) * | 2021-06-30 | 2021-10-19 | 哈尔滨工业大学（深圳） | 基于全景x光片的口腔异常检测模型的训练方法及装置 |
| CN113486175A (zh) * | 2021-07-08 | 2021-10-08 | 平安国际智慧城市科技股份有限公司 | 文本分类方法、文本分类装置、计算机设备及存储介质 |
| CN113806507A (zh) * | 2021-09-16 | 2021-12-17 | 厦门快商通科技股份有限公司 | 一种多标签分类方法、装置及可读介质 |
| CN114398935A (zh) * | 2021-11-17 | 2022-04-26 | 重庆邮电大学 | 一种基于深度学习的医学影像报告多标签分类方法 |
| CN114882279A (zh) * | 2022-05-10 | 2022-08-09 | 西安理工大学 | 基于直推式半监督深度学习的多标签图像分类方法 |
| CN115830387A (zh) * | 2022-12-14 | 2023-03-21 | 富联裕展科技(深圳)有限公司 | 一种模型训练方法、训练装置、分类方法及分类装置 |
| CN116975578A (zh) * | 2023-02-09 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 逻辑规则网络模型训练方法、装置、设备、程序及介质 |
| CN117237711A (zh) * | 2023-09-11 | 2023-12-15 | 杭州电子科技大学 | 一种基于对抗学习的双模态眼底图像分类方法 |
| CN117456289A (zh) * | 2023-12-25 | 2024-01-26 | 四川大学 | 一种基于深度学习的颌骨病变分割分类系统 |
Non-Patent Citations (7)
| Title |
|---|
| An automatic methodology for full dentition maturity staging from OPG images using deep learning;Wenxuan Dong 等;《Applied Intelligence》;20231031;29514–29536 * |
| Multilabel Text Classification Algorithm Based on Fusion of Two-Stream Transformer;Lihua Duan 等;《Electronics》;20220708;1-12 * |
| Multi-View Matrix Completion for Multi-Label Image Classification;Yong Luo 等;《arXiv:1904.03901》;20190408;1-14 * |
| 基于标签增强和对比学习的图半监督学习算法研究;范卓;《中国优秀硕士学位论文全文数据库 信息科技辑》;20240215;I140-193 * |
| 基于深度学习的全景片中颌骨疾病分类研究;任家银 等;《现代计算机》;20200515;35-38 * |
| 基于空间关系特征的牙齿三维点云分类研究;马乾;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20230215;E074-233 * |
| 少量标签样本条件下的SAR船舶图像分类算法研究;李想;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20240115;C036-210 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117746167A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11615879B2 (en) | System and method for automated labeling and annotating unstructured medical datasets | |
| US11182894B2 (en) | Method and means of CAD system personalization to reduce intraoperator and interoperator variation | |
| CN110503654B (zh) | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 | |
| US10991093B2 (en) | Systems, methods and media for automatically generating a bone age assessment from a radiograph | |
| CN110348515B (zh) | 图像分类方法、图像分类模型训练方法及装置 | |
| US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
| CN110390674B (zh) | 图像处理方法、装置、存储介质、设备以及系统 | |
| Li et al. | DenseX-net: an end-to-end model for lymphoma segmentation in whole-body PET/CT images | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| Meng et al. | Radiomics-enhanced deep multi-task learning for outcome prediction in head and neck cancer | |
| CN112614573A (zh) | 基于病理图像标注工具的深度学习模型训练方法及装置 | |
| Tang et al. | Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection | |
| Hasan et al. | Dental impression tray selection from maxillary arch images using multi-feature fusion and ensemble classifier | |
| CN113011514B (zh) | 基于双线性池化应用于ct影像的颅内出血亚类型分类算法 | |
| Amiriebrahimabadi et al. | A Comprehensive Survey of Multi-Level Thresholding Segmentation Methods for Image Processing | |
| Hao et al. | MFUnetr: A transformer-based multi-task learning network for multi-organ segmentation from partially labeled datasets | |
| US20230230237A1 (en) | Image processing method and apparatus, computer device, and medium | |
| Sridhar et al. | Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images | |
| CN117746167B (zh) | 口腔全景片影像摆位错误分类模型训练方法及分类方法 | |
| CN116468923A (zh) | 一种基于加权重采样聚类不稳定性的图像强化方法及装置 | |
| Brahmi et al. | Exploring the role of Convolutional Neural Networks (CNN) in dental radiography segmentation: A comprehensive Systematic Literature Review | |
| Mouzai et al. | Xray-Net: Self-supervised pixel stretching approach to improve low-contrast medical imaging | |
| Priya et al. | An intellectual caries segmentation and classification using modified optimization-assisted transformer denseUnet++ and ViT-based multiscale residual denseNet with GRU | |
| CN115578400A (zh) | 图像处理方法、图像分割网络的训练方法及装置 | |
| Akram et al. | Recognizing Breast Cancer Using Edge-Weighted Texture Features of Histopathology Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |