CN114529759A - 一种甲状腺结节的分类方法、装置及计算机可读介质 - Google Patents
一种甲状腺结节的分类方法、装置及计算机可读介质 Download PDFInfo
- Publication number
- CN114529759A CN114529759A CN202210088317.XA CN202210088317A CN114529759A CN 114529759 A CN114529759 A CN 114529759A CN 202210088317 A CN202210088317 A CN 202210088317A CN 114529759 A CN114529759 A CN 114529759A
- Authority
- CN
- China
- Prior art keywords
- nodule
- symptom
- classification
- loss function
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 81
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 42
- 208000024891 symptom Diseases 0.000 claims abstract description 93
- 230000006870 function Effects 0.000 claims abstract description 90
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003759 clinical diagnosis Methods 0.000 abstract description 7
- 238000002604 ultrasonography Methods 0.000 description 22
- 239000000523 sample Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 210000001685 thyroid gland Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 201000002510 thyroid cancer Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种甲状腺结节的分类方法、装置及计算机可读介质，属于图像处理技术领域。该方法首先将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；其次，对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；之后，基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；最后基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。由此，基于甲状腺结节的视频数据，对甲状腺结节的征象特征和征象得分进行监督学习，从而提高了结节得分模型训练的准确性，使得TIRADS预测更加准确且符合临床诊断步骤。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种甲状腺结节的分类方法、装置及计算机可读介质。
背景技术
甲状腺癌的发病率在美国以惊人的速度增加，2019年诊断出52070例，其中2170例死亡。2019年加拿大癌症统计局统计有8200名加拿大人被诊断出患有甲状腺癌，其中230人死亡。甲状腺癌的发病率从1970年开始稳步上升，其中以中年女性的增幅最为显着。
超声是一种快速、安全且廉价的成像技术，可以实现甲状腺结节的可视化观测。超声通常是使用7-15MHz范围内的超声探头在横向和矢状方向进行成像。甲状腺结节在超声图像上有几个可区分的特征，例如形状、大小、回声性(亮度)和回声纹理等。当甲状腺结节出现微钙化或纵横比大于1等特征时，可以预测甲状腺结节为恶性肿瘤；而甲状腺结节为海绵状外观时，可以预测甲状腺结节为良性病例。对于图像辅助甲状腺结节诊断以及甲状腺结节报告，最关键的挑战是从超声图像中提取最佳特征集，以区分甲状腺结节是恶性或者良性。
为了规范甲状腺结节报告，美国放射学会推出了甲状腺影像报告和数据系统(Thyroid Imaging Reporting And Data System，缩写TIRADS)。随后韩国学者、法国学者等多国学者也相继建立了各自的TIRADS；目前使用较为广泛的是美国的ACR-TIRADS和韩国的KWAK-TIRADS。然而，由于目前TIRADS版本不统一，而且其中的分类系统与中国医疗现状存在不匹配的情况，因此导致国内超声界对于TIRADS的应用极其混乱；从而给相关学科医生解读甲状腺超声报告带来极大困扰。针对这一情况，2017年中华医学会的超声医学分会浅表器官和血管学组提出了建立适用于中国国情和医疗现状的C-TIRADS指南。C-TIRADS指南给出了甲状腺结节的9个征象特征，并结合征象的得分，给出了最终的等级。
传统的机器学习方法对于甲状腺结节的自动分类通常分为两步。首先对甲状腺超声图像进行手动特征提取，然后使用分类器模型进行分类。随着深度学习的发展，卷积神经网络在图像识别领域展现出优异的效果，但是深度学习模型往往是黑盒子模型，对于特征的提取无法给出可解释性。目前结合AI技术辅助诊断甲状腺结节的算法，大多是依赖图像的二维数据，数据比较单一，且没有具体的对于超声征象的分析，因此模型的准确率有待进一步提升。
发明内容
为了解决上述现有技术存在的问题，本发明实施例提供一种甲状腺结节的分类方法、装置及计算机可读介质，能够结合临床诊断的相关征象特征进行有监督的训练，使得TIRADS预测更加准确且符合临床诊断步骤。
为实现上述目的，根据本发明实施例第一方面，提供一种甲状腺结节的分类方法，所述方法包括：将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
可选的，所述对所述训练样本中征象特征进行有监督分类学习，得到征象分类结果和第一损失函数，包括：对所述训练样本进行图像特征提取，得到结节图像特征；对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
可选的，所述基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数，包括：对所述训练样本进行多尺度特征提取，得到不同尺度图像特征；将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；对所述结节融合特征中征象特征的得分进行有监督的回归学习，得到第二损失函数。
可选的，将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；包括：将所述不同尺度图像特征拼接后做拉伸降维处理，得到一维融合特征；将所述一维融合特征与所述征象分类结果进行融合处理，得到结节融合特征。
可选的，所述基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型，包括：对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节得分模型。
可选的，获取甲状腺结节的待测视频数据；利用所述结节得分模型对所述待测视频数据进行预测，生成结节得分；基于数据库中的C-TIRADS分级标准表，选取与所述结节得分对应的结节等级，得到结节分类结果。
可选的，所述方法还包括：获取甲状腺结节的原始超声视频数据；基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
为实现上述目的，根据本发明实施例第二方面提供一种甲状腺结节的分类装置，所述装置包括：样本模块，用于将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；征象分类模块，用于对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；征象得分回归模块，用于基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；模型优化模块，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
可选的，所述征象分类模块包括：图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；分类训练单元，用于对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；分类处理单元，用于利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
为实现上述目的，根据本发明实施例第三方面，还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
与现有技术相比，本发明实施例提供一种甲状腺结节的分类方法，该方法首先将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；其次，对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；之后，基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；最后基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。由此，基于甲状腺结节的视频数据，对甲状腺结节的征象特征和征象得分进行监督学习，从而提高了结节得分模型训练的准确性，使得TIRADS预测更加准确且符合临床诊断步骤。
理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中在附图中，相同或对应的标号表示相同或对应的部分。
图1为本发明一实施例甲状腺结节的分类方法的示意性流程图；
图2为本发明另一实施例甲状腺结节的分类方法的示意性流程图；
图3为本发明又一实施例中甲状腺结节的分类方法的示意性流程图；
图4为本发明一实施例中征象分类表的示意图；
图5为本发明另一实施例中C-TIRADS得分标准表的示意图；
图6为本发明又一实施例中C-TIRADS分级标准表的示意图；
图7为本发明另一实施例中结节得分模型的结构示意图；
图8本发明一实施例甲状腺结节的分类装置的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，本发明一实施例甲状腺结节的分类方法的示意性流程图。如图4所示，本发明一实施例中征象分类表的示意图。一种甲状腺结节的分类方法，至少包括如下操作流程：
S101，将甲状腺结节的目标视频数据作为训练样本；其中，目标视频数据携带有征象特征标签；
S102，对训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；
S103，基于训练样本和征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；
S104，基于第一损失函数和第二损失函数，对模型进行优化，生成结节得分模型。
在S101中，甲状腺结节的征象特征有9个，征象特征例如：位置、形态、边缘、声晕、结构、回声、回声质地、局灶性强回声或者后方回声的特征。
甲状腺结节的目标视频数据可以是甲状腺结节的原始超声视频数据，也可以是对甲状腺结节的原始超声视频数据进行预处理后得的目标视频数据。
具体地，获取甲状腺结节的原始超声视频数据；基于征象分类表，对原始超声视频数据中每个原始超声视频标记征象特征标签；对具有标签的原始超声视频数据进行预处理，得到目标视频数据。更具体地，获取甲状腺结节的原始超声视频数据；并按照如图4所示的征象分类表，对原始超声视频数据中每个原始超声视频标记征象特征标签；之后按照预设步长帧从具有标签的原始超声视频数据中随机抽取特定数量帧图像，得到子超声视频数据；多次重复上述随机抽取操作，得到多个子超声视频数据。在这里，随机抽取是指可以将具有标签的原始超声视频中任一位置作为随机抽取的起始点。多次重复的随机抽取，每次随机抽取的起始点均不同。由此，采用随机抽取的方式从具有标签的原始超声视频数据中选取子超声视频数据，使得子超声视频数据不至于太长增加模型计算量，也不至于太短丢失信息。另外，需要根据合适的预设步长帧进行选取，一方面可以避免原始超声视频数据时间维信息的冗余，另一方面还能保证时间维信息的完整性和连续性。
一个具有标签的原始超声视频数据对应多个子超声视频数据。若干具有标签的原始超声视频数据对应若干子超声视频数据。从若干子超声视频数据中选取特定数量的子超声视频数据作为每次模块输入的目标视频数据。在这里，目标视频数据中特定数量的子超声视频数据可以是来自同一原始超声视频数据，也可以是来自不同原始超声视频数据。
例如：按照每2帧间隔选取1帧的方式，从具有标签的原始超声视频数据中随机抽取连续的10帧图像，得到子超声视频数据；重复10次上述的随机抽取操作，得到10个子超声视频数据。10个具有标签的原始超声视频数据对应100个子超声视频数据；从100个子超声视频数据中选取8个子超声视频数据作为目标视频数据。
在S102至S104中，针对任一征象特征：将训练样本作为分类模块的输入，基于一个或者多个神经网络算法对训练样本中征象特征进行有监督的分类学习，得到征象分类结果和对应的损失函数。对于9个征象特征进行有监督的分类学习后，得到9个征象分类结果和9个损失函数。将9个损失函数加和得到第一损失函数。
将训练样本和征象分类结果作为回归模块的输入，基于神经网络算法对征象特征的得分进行有监督的回归学习，得到第二损失函数；
将第一损失函数和第二损失函数加和得到总损失函数，经过不断迭代训练，对模型参数进行调节，当总损失函数趋于最小时，得到结节得分模型。
本实施例结合临床诊断的相关征象特征对超声视频数据进行标注，并对标注的超声视频数据进行有监督学习；由此，基于有征象特征标注的超声视频数据作为训练样本，不仅使得模型能够更好的提取时间维度的信息，而且能够对超声征象特征进行有效的学习，提高了模型训练的准确性；从而有利于模型基于征象特征准确预测甲状腺结节得分，并依赖于TIRADS的分类标准给出甲状腺结节的分类结果。
如图2所示，本发明另一实施例甲状腺结节的分类方法的示意性流程图。如图5所示，本发明另一实施例中C-TIRADS得分标准表的示意图；本实施例的方法是在前述实施例的基础上进一步优化得到的。一种甲状腺结节的分类方法，至少包括如下操作流程：
S201，将甲状腺结节的目标视频数据作为训练样本；其中，目标视频数据携带有征象特征标签；
S202，对训练样本进行图像特征提取，得到结节图像特征；
S203，对结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；
S204，利用征象分类模块对结节图像特征进行分类处理，得到征象分类结果；
S205，对训练样本进行多尺度特征提取，得到不同尺度图像特征；
S206，将不同尺度图像特征和征象分类结果进行融合处理，得到结节融合特征；
S207，对结节融合特征中征象特征的得分进行有监督的回归学习，得到第二损失函数；
S208，基于第一损失函数和第二损失函数，对模型进行优化，生成结节得分模型。
其中，S201与S101的实现过程相似，在这里不做重复赘述。
在S202中，采用神经网络结构对训练样本进行高级图像特征提取，得到结节图像特征。神经网络结构例如：resnet50结构。
采用resent50结构，并将resnet50结构中的所有2D卷积替换成3D卷积用于提取结节时间维度的信息。3D卷积在结构上较2D卷积多了一个维度，2D卷积的尺寸可以表示k×kw，而3D卷积的尺寸可以表示为k×kw×kd，kd是卷积核的时间维。3D卷积的具体的计算方式与2D卷积类似，即每次滑动时与c个通道、尺寸大小为(dept,eig t,widt)的图像做乘加运算，其中dept是视频数据的时间维度，从而得到输出结节图像特征的一个值。
在S203和S204中，resnet50结构最后输出的结节图像特征分别经过9个全连接层对标注的9个征象进行有监督的分类学习，生成征象分类模块，计算分类的交叉熵损失Losscls；其中，第一损失函数Losscls用来评估当前训练得到的概率分布与真实分布的差异情况；每一个全连接层的输出与对应的9个征象之一标签计算交叉熵损失，将9个损失相加为分类损失Losscls。
最后，利用征象分类模块对结节图像特征进行分类处理，输出9个征象分类结果。
在S205至S207中，利用resnet50结构对训练样本进行多尺度特征提取；并将resnet50结构的Stage2、Stage3、Stage4层输出的特征分别使用一层全连接层改变特征维度为1024*1，得到特征F2、F3、F4；之后将特征F2、F3、F4拼接为维度3072*1的特征，然后再经过一层全连接层得到维度为2048的特征F。最后将F与9个征象分类结果融合成一个2086维的特征，并进行后续有监督的回归学习。对征象特征得分按照图5给出征象得分值进行有监督的回归学习，计算回归的损失Lossreg，回归的损失函数采用MSE损失。由此，将多尺度的图像特征与所有征象特征拼接融合进行恶性征象得分的回归训练。
在S208中，对第一损失函数和第二损失函数进行加权处理，得到总损失函数；经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节得分模型。例如：将Losscls和Lossreg对应按照0.7与0.3的比重相加作为最终的损失函数，并利用梯度优化算法训练模型。两种损失函数相加后通过反向传播来同时优化与分类和回归相关的参数。0.7与0.3的权重是根据经验选择的最优参数。
本发明实施例基于甲状腺结节的超声视频数据，并采用resnet50结构提取超声视频数据的图像特征，从而能够更好的提取了时间维度的信息；而且整个模型训练过程中不仅只依赖resnet50结构提取的图像特征，还对临床诊断的相关征象进行标注和有监督的训练，从而融合了更丰富的信息，提高了模型训练的准确性，使得TIRADS预测更加准确且符合临床诊断步骤。
在甲状腺超声数据集上进行了测试，数据集共3000个病例，包含3000个超声视频，针对每个视频的每个病灶标注征象特征。按照6:1:3的比例把数据集随机划分成了训练集、验证集以及测试集。使用训练集训练模型，验证集选取参数，使用测试集测试最后训练出来模型的效果。指标选取的是平均准确率(Accuracy)，敏感性(Sensitivity)特异性(Specificity)，实验结果见下表1。
表1为结节得分模型的评价指标
| Accuracy | Sensitivity | Specificity |
| 0.89 | 0.92 | 0.77 |
其中，这三个指标的统计是按照TIRADS小于等于3为良性，大于3为恶性的结果计算所得。
如图3所示，本发明又一实施例中甲状腺结节的分类方法的示意性流程图。本实施例的方法是在前述实施例的基础上进一步优化得到的。一种甲状腺结节的分类方法，至少包括如下操作流程：
S301，获取甲状腺结节的待测视频数据；
S302，利用结节得分模型对待测视频数据进行预测，生成结节得分；
S303，基于数据库中的C-TIRADS分级标准表，选取与结节得分对应的结节等级，得到结节分类结果。
甲状腺结节的待测视频数据可以是甲状腺结节的原始超声视频数据，还可以是对原始超声视频数据进行预处理后得到的视频数据。在这里，不做太多限定。
结节得分用于指示甲状腺结节的征象得分。将甲状腺结节的待测视频数据输入结节得分模型，输出甲状腺结节的征象得分。
基于如图6所示的C-TIRADS分级标准表，将结节征象得分与结节等级建立映射关系；将所述映射关系存储于数据库；基于所述数据库的映射关系，确定与甲状腺结节的征象得分对应的结节等级，得到甲状腺结节的分类结果。
将结节得分模型和C-TIRADS分级标准相结合进行甲状腺结节分类，由此实现了依据中国临床现状的C-TIRADS分级标准对甲状腺结节结节进行分级，从而提高了相关学科医生解读甲状腺超声报告效率和准确率。
如图7所示，本发明另一实施例中结节得分模型的结构示意图。
甲状腺结节的目标视频数据输入3D resent50结构，输出高级的结节图像特征，并分别从3Dresnet50结构的Stage2、Stage3、Stage4层输出对应的特征；得到不同尺度图像特征。不同尺度图像特征经过第一融合模块进行融合，得到一维融合特征；同时结节图像特征经过征象分类模块进行有监督的分类学习，生成第一损失函数和9个征象特征；之后将一维融合特征和9个征象特征经过第二融合模块进行拼接生成结节融合特征，最后将结节融合特征经过回归模块进行有监督的分类学习，得到第二损失函数。基于第一损失函数和第二损失函数，对模型进行优化，生成结节得分模型。
如图8所示，为本发明一实施例甲状腺结节的分类装置的结构示意图。一种甲状腺结节的分类装置，该装置800包括：样本模块801，用于将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；征象分类模块802，用于对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；征象得分回归模块803，用于基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；模型优化模块804，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
在可选的实施例中，所述征象分类模块包括：图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；分类训练单元，用于对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；分类处理单元，用于利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
在可选的实施例中，征象得分回归模块包括：特征提取单元，用于对所述训练样本进行多尺度特征提取，得到不同尺度图像特征；特征融合单元，用于将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；征象特征学习单元，用于对所述结节融合特征中征象特征的得分进行有监督的回归学习，得到第二损失函数。
在可选的实施例中，特征融合单元包括：降维处理单元，用于将所述不同尺度图像特征拼接后做拉伸降维处理，得到一维融合特征；融合单元，用于将所述一维融合特征与所述征象分类结果进行融合处理，得到结节融合特征。
在可选的实施例中，模型优化模块包括：加权单元，用于对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；模型优化单元，用于经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节得分模型。
在可选的实施例中，所述装置还包括：获取模块，用于获取甲状腺结节的待测视频数据；预测模块，用于利用所述结节得分模型对所述待测视频数据进行预测，生成结节得分；选取模块，用于基于数据库中的C-TIRADS分级标准表，选取与所述结节得分对应的结节等级，得到结节分类结果。
在可选的实施例中，所述装置还包括：获取模块进一步用于，获取甲状腺结节的原始超声视频数据；标记模块，用于基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；预处理模块，用于对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
上述装置可执行本发明一实施例所提供的甲状腺结节的分类方法，具备执行甲状腺结节的分类方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的甲状腺结节的分类方法。
根据本发明再一实施例，还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现本发明上述实施例提供的甲状腺结节的分类方法。
本发明实施例另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，使得所述处理器至少执行如下所述的操作步骤：S101，将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；S102，对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；S103，基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；S104，基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种甲状腺结节的分类方法，其特征在于，包括:
将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；
对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；
基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；
基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述训练样本中征象特征进行有监督分类学习，得到征象分类结果和第一损失函数，包括：
对所述训练样本进行图像特征提取，得到结节图像特征；
对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；
利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
3.根据权利要求1所述方法，其特征在于，所述基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数，包括：
对所述训练样本进行多尺度特征提取，得到不同尺度图像特征；
将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；
对所述结节融合特征中征象特征的得分进行有监督的回归学习，得到第二损失函数。
4.根据权利要求3所述的方法，其特征在于，将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；包括：
将所述不同尺度图像特征拼接后做拉伸降维处理，得到一维融合特征；
将所述一维融合特征与所述征象分类结果进行融合处理，得到结节融合特征。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型，包括：
对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；
经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节得分模型。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取甲状腺结节的待测视频数据；
利用所述结节得分模型对所述待测视频数据进行预测，生成结节得分；
基于数据库中的C-TIRADS分级标准表，选取与所述结节得分对应的结节等级，得到结节分类结果。
7.根据权利要求1所述的方法，其特征在于，还包括：
获取甲状腺结节的原始超声视频数据；
基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；
对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
8.一种甲状腺结节的分类装置，其特征在于，包括：
样本模块，用于将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；
征象分类模块，用于对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；
征象得分回归模块，用于基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；
模型优化模块，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
9.根据权利要求8所述的装置，其特征在于，所述征象分类模块包括：
图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；
分类训练单元，用于对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；
分类处理单元，用于利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
10.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210088317.XA CN114529759B (zh) | 2022-01-25 | 2022-01-25 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210088317.XA CN114529759B (zh) | 2022-01-25 | 2022-01-25 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114529759A true CN114529759A (zh) | 2022-05-24 |
| CN114529759B CN114529759B (zh) | 2023-01-17 |
Family
ID=81622019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210088317.XA Active CN114529759B (zh) | 2022-01-25 | 2022-01-25 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529759B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117454940A (zh) * | 2023-12-21 | 2024-01-26 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 训练方法和用于预测甲状腺结节转移情况的图像处理方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846840A (zh) * | 2018-06-26 | 2018-11-20 | 张茂 | 肺部超声图像分析方法、装置、电子设备及可读存储介质 |
| CN110163344A (zh) * | 2019-04-26 | 2019-08-23 | 北京迈格威科技有限公司 | 神经网络训练方法、装置、设备和存储介质 |
| CN111222648A (zh) * | 2020-01-15 | 2020-06-02 | 深圳前海微众银行股份有限公司 | 半监督机器学习优化方法、装置、设备及存储介质 |
| CN111768336A (zh) * | 2020-07-09 | 2020-10-13 | 腾讯科技（深圳）有限公司 | 人脸图像处理方法、装置、计算机设备和存储介质 |
| CN112381116A (zh) * | 2020-10-21 | 2021-02-19 | 福州大学 | 基于对比学习的自监督图像分类方法 |
| CN112614108A (zh) * | 2020-12-24 | 2021-04-06 | 中国人民解放军总医院第一医学中心 | 基于深度学习检测甲状腺超声图像中结节的方法和装置 |
| CN112767355A (zh) * | 2021-01-20 | 2021-05-07 | 北京小白世纪网络科技有限公司 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
| CN113344864A (zh) * | 2021-05-21 | 2021-09-03 | 江苏乾君坤君智能网络科技有限公司 | 一种基于深度学习的超声甲状腺结节良恶性预测方法 |
| CN113436154A (zh) * | 2021-06-11 | 2021-09-24 | 北京小白世纪网络科技有限公司 | 甲状腺结节边缘征象分类方法、装置和系统 |
| CN113920370A (zh) * | 2021-10-25 | 2022-01-11 | 上海商汤智能科技有限公司 | 模型训练方法、目标检测方法、装置、设备及存储介质 |
-
2022
- 2022-01-25 CN CN202210088317.XA patent/CN114529759B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846840A (zh) * | 2018-06-26 | 2018-11-20 | 张茂 | 肺部超声图像分析方法、装置、电子设备及可读存储介质 |
| CN110163344A (zh) * | 2019-04-26 | 2019-08-23 | 北京迈格威科技有限公司 | 神经网络训练方法、装置、设备和存储介质 |
| CN111222648A (zh) * | 2020-01-15 | 2020-06-02 | 深圳前海微众银行股份有限公司 | 半监督机器学习优化方法、装置、设备及存储介质 |
| CN111768336A (zh) * | 2020-07-09 | 2020-10-13 | 腾讯科技（深圳）有限公司 | 人脸图像处理方法、装置、计算机设备和存储介质 |
| CN112381116A (zh) * | 2020-10-21 | 2021-02-19 | 福州大学 | 基于对比学习的自监督图像分类方法 |
| CN112614108A (zh) * | 2020-12-24 | 2021-04-06 | 中国人民解放军总医院第一医学中心 | 基于深度学习检测甲状腺超声图像中结节的方法和装置 |
| CN112767355A (zh) * | 2021-01-20 | 2021-05-07 | 北京小白世纪网络科技有限公司 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
| CN113344864A (zh) * | 2021-05-21 | 2021-09-03 | 江苏乾君坤君智能网络科技有限公司 | 一种基于深度学习的超声甲状腺结节良恶性预测方法 |
| CN113436154A (zh) * | 2021-06-11 | 2021-09-24 | 北京小白世纪网络科技有限公司 | 甲状腺结节边缘征象分类方法、装置和系统 |
| CN113920370A (zh) * | 2021-10-25 | 2022-01-11 | 上海商汤智能科技有限公司 | 模型训练方法、目标检测方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 刘超等: "恶性甲状腺肿瘤预测模型选择与实证研究", 《统计与管理》 * |
| 武宽等: "基于不同超声成像的甲状腺结节良恶性判别", 《计算机应用》 * |
| 陈俊慧等: "基于超声征象多因素logistic回归β值积分法的甲状腺癌风险预测研究", 《中国癌症杂志》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117454940A (zh) * | 2023-12-21 | 2024-01-26 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 训练方法和用于预测甲状腺结节转移情况的图像处理方法 |
| CN117454940B (zh) * | 2023-12-21 | 2024-04-09 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 训练方法和用于预测甲状腺结节转移情况的图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114529759B (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Al-masni et al. | Detection and classification of the breast abnormalities in digital mammograms via regional convolutional neural network | |
| JP6547069B2 (ja) | 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク | |
| Dong et al. | An efficient approach for automated mass segmentation and classification in mammograms | |
| Deng et al. | Classification of breast density categories based on SE-Attention neural networks | |
| Yoon et al. | Tumor identification in colorectal histology images using a convolutional neural network | |
| Ionescu et al. | Prediction of reader estimates of mammographic density using convolutional neural networks | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| CN111768366A (zh) | 超声成像系统、bi-rads分级方法及模型训练方法 | |
| Li et al. | Classification of breast mass in two‐view mammograms via deep learning | |
| CN114445670A (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
| Yao et al. | GeminiNet: combine fully convolution network with structure of receptive fields for object detection | |
| CN114529759B (zh) | 一种甲状腺结节的分类方法、装置及计算机可读介质 | |
| Yuan et al. | An efficient multi-path 3D convolutional neural network for false-positive reduction of pulmonary nodule detection | |
| Zheng et al. | Automated detection and recognition of thyroid nodules in ultrasound images using Improve Cascade Mask R-CNN | |
| Shakeel et al. | Classification of breast cancer from mammogram images using deep convolution neural networks | |
| CN113177554B (zh) | 甲状腺结节识别与分割方法、系统、存储介质及设备 | |
| CN117315379B (zh) | 面向深度学习的医学影像分类模型公平性评估方法及装置 | |
| CN115564756A (zh) | 医学图像病灶定位显示方法与系统 | |
| Al et al. | Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct | |
| CN114529760B (zh) | 一种针对甲状腺结节的自适应分类方法及装置 | |
| Nalla et al. | Influence of Convolutional Neural Network Depth on the Efficacy of Automated Breast Cancer Screening Systems | |
| Yang et al. | Tumor detection from breast ultrasound images using mammary gland attentive U-Net | |
| de Sousa Carvalho et al. | Classification of breast tissues in mammographic images in mass and non-mass using mcintosh’s diversity index and SVM | |
| Liu et al. | Self-supervised learning enhanced ultrasound video thyroid nodule tracking | |
| Blessie et al. | Novel Contiguous Cross Propagation Neural Network Built CAD for Lung Cancer. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000 Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd. Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083 Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd. |