CN117454940B - 训练方法和用于预测甲状腺结节转移情况的图像处理方法 - Google Patents

训练方法和用于预测甲状腺结节转移情况的图像处理方法 Download PDF

Info

Publication number
CN117454940B
CN117454940B CN202311765454.3A CN202311765454A CN117454940B CN 117454940 B CN117454940 B CN 117454940B CN 202311765454 A CN202311765454 A CN 202311765454A CN 117454940 B CN117454940 B CN 117454940B
Authority
CN
China
Prior art keywords
sample
detection result
training
thyroid
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311765454.3A
Other languages
English (en)
Other versions
CN117454940A (zh
Inventor
张强
李祥春
陈可欣
杨一晨
魏玺
张晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Medical University Cancer Institute and Hospital
Original Assignee
Tianjin Medical University Cancer Institute and Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Medical University Cancer Institute and Hospital filed Critical Tianjin Medical University Cancer Institute and Hospital
Priority to CN202311765454.3A priority Critical patent/CN117454940B/zh
Publication of CN117454940A publication Critical patent/CN117454940A/zh
Application granted granted Critical
Publication of CN117454940B publication Critical patent/CN117454940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种训练方法和用于预测甲状腺结节转移情况的图像处理方法，可以应用于医疗设备领域、图像处理技术领域和人工智能领域。该方法包括：获取训练样本，包括样本图像和标签，样本图像为与样本被测对象相关的甲状腺检查图像，标签包括表征样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征样本被测对象的甲状腺结节转移区域的第二标签；将样本图像输入至初始深度学习模型，输出第一样本检测结果，以及第二样本检测结果；根据第一样本检测结果和第一标签，以及第二样本检测结果和第二标签训练初始深度学习模型，得到深度学习模型，深度学习模型预测甲状腺结节转移情况。本发明可以提升针对甲状腺结节的转移风险的预测精度。

Description

训练方法和用于预测甲状腺结节转移情况的图像处理方法
技术领域
本发明涉及医疗设备领域、图像处理技术领域和人工智能领域，尤其涉及一种训练方法、用于预测甲状腺结节转移情况的图像处理方法、装置、设备、存储介质及计算机程序产品。
背景技术
甲状腺癌症是世界上最常见的内分泌肿瘤。由于使用了高灵敏度成像技术，从而导致过度诊断和随后的过度治疗。超声影像学检查可检测出33-68%的甲状腺隐匿性结节，约7-10%的甲状腺结节具有恶性肿瘤的高风险。然而，甲状腺和颈部超声的解释需要额外的经验，并且通常是主观的、劳动密集的、耗时的，并且在放射科医生中会受到观察者之间的差异导致对识别结果的判断准确性不稳定。
发明内容
基于上述问题，本发明提供了一种训练方法、用于预测甲状腺结节转移情况的图像处理方法、装置、设备、存储介质及计算机程序产品。
（一）技术方案
根据本发明的第一个方面，提供了一种深度学习模型的训练方法，包括：获取训练样本，上述训练样本包括样本图像和标签，上述样本图像为与样本被测对象相关的甲状腺检查图像，上述标签包括表征所述样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征上述样本被测对象的甲状腺结节转移区域的第二标签；将上述样本图像输入至初始深度学习模型，输出与上述第一标签对应的第一样本检测结果，以及与上述第二标签对应的第二样本检测结果；根据上述第一样本检测结果和上述第一标签，以及上述第二样本检测结果和上述第二标签训练上述初始深度学习模型，得到训练后的深度学习模型，其中，训练后的上述深度学习模型适用于预测被测对象的甲状腺结节转移情况。
本发明的第二方面提供了一种用于预测甲状腺结节转移情况的图像处理方法，包括：获取被测对象相关的甲状腺检查图像；将上述甲状腺检查图像输入至深度学习模型，输出第一检测结果和第二检测结果，其中，上述第一检测结果表征上述被测对象的甲状腺结节是否发生转移，上述第二检测结果表征上述被测对象的甲状腺结节转移区域；以及根据上述第一检测结果和上述第二检测结果，得到甲状腺结节检测结果。
本发明的第三方面提供了一种深度学习模型的训练装置，包括：训练样本获取模块，用于获取训练样本，上述训练样本包括样本图像和标签，上述样本图像为与样本被测对象相关的甲状腺检查图像，上述标签包括表征所述样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征上述样本被测对象的甲状腺结节转移区域的第二标签；样本图像检测模块，用于将上述样本图像输入至初始深度学习模型，输出与上述第一标签对应的第一样本检测结果，以及与上述第二标签对应的第二样本检测结果；训练模块，用于根据上述第一样本检测结果和所述第一标签，以及上述第二样本检测结果和上述第二标签训练所述初始深度学习模型，得到训练后的深度学习模型，其中，训练后的所述深度学习模型适用于预测被测对象的甲状腺结节转移情况。
本发明的第四方面提供了一种用于预测甲状腺结节转移情况的图像处理装置，包括：图像获取模块，用于获取被测对象相关的甲状腺检查图像；图像检测模块，用于将上述甲状腺检查图像输入至深度学习模型，输出第一检测结果和第二检测结果，其中，上述第一检测结果表征所述被测对象的甲状腺结节是否发生转移，上述第二检测结果表征所述被测对象的甲状腺结节转移区域；以及检测结果获得模块，用于根据上述第一检测结果和上述第二检测结果，得到甲状腺结节检测结果。
（二）有益效果
从上述技术方案可以看出，本发明训练方法和用于预测甲状腺结节转移情况的图像处理方法至少具有以下有益效果其中之一或其中一部分：
本发明提供了的训练方法通过训练得到深度学习模型，可以通过深度学习模型来处理甲状腺超声图像，进而确定甲状腺淋巴结转移的情况，实现通过人工智能技术来，预测甲状腺淋巴结转移的情况，从而提升针对甲状腺超声图像中淋巴结转移情况的识别能力，相比于传统的基于人工经验和规则的方法，可以实现提升甲状腺结节转移情况的检测的稳定性、准确性、可靠性，实现提升医疗诊断效率的技术效果。
附图说明
图1示意性示出了根据本发明实施例的训练方法和用于预测甲状腺结节转移情况的图像处理方法及装置的应用场景图；
图2示意性示出了根据本发明实施例的深度学习模型的训练方法的流程图；
图3示意性示出了根据本发明实施例的迁移学习的框架图；
图4示意性示出了根据本发明实施例的用于预测甲状腺结节转移情况的图像处理方法的流程图；
图5示意性示出了根据本发明实施例的多个预测评估结果的展示图；
图6示意性示出了根据本发明实施例的训练方法的框架图；
图7示意性示出了用于预测甲状腺结节转移情况的图像处理方法的流程图；
图8示意性示出了根据本发明实施例的超声图像识别方法实施的流程图；
图9示意性示出了根据本发明实施例的深度学习模型的训练装置的结构框图；
图10示意性示出了根据本发明实施例的用于预测甲状腺结节转移情况的图像处理装置的结构框图；以及
图11为示意性示出了根据本发明实施例的训练方法和用于预测甲状腺结节转移情况的图像处理方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
在本发明的技术方案中，所涉及的数据（如包括但不限于用户个人信息）的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
甲状腺癌症是世界上最常见的内分泌肿瘤。由于使用了高灵敏度成像技术，从而导致过度诊断和随后的过度治疗。超声影像学检查可检测出33-68%的甲状腺隐匿性结节，约7-10%的甲状腺结节具有恶性肿瘤的高风险。然而，甲状腺和颈部超声的解释需要额外的经验，并且通常是主观的、劳动密集的、耗时的，并且在放射科医生中会受到观察者之间的差异导致对识别结果的判断准确性不稳定。因此，需要提高超声检查对甲状腺结节转移风险的识别能力。
本发明提供了一种深度学习模型的训练方法，包括：获取训练样本，训练样本包括样本图像和标签，样本图像为与样本被测对象相关的甲状腺检查图像，标签包括表征所述样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征样本被测对象的甲状腺结节转移区域的第二标签；将样本图像输入至初始深度学习模型，输出与第一标签对应的第一样本检测结果，以及与第二标签对应的第二样本检测结果；根据第一样本检测结果和第一标签，以及第二样本检测结果和第二标签训练初始深度学习模型，得到训练后的深度学习模型，其中，训练后的深度学习模型适用于预测被测对象的甲状腺结节转移情况。
本发明还提供了一种用于预测甲状腺结节转移情况的图像处理方法，包括：获取被测对象相关的甲状腺检查图像；将甲状腺检查图像输入至深度学习模型，输出第一检测结果和第二检测结果，其中，第一检测结果表征被测对象的甲状腺结节是否发生转移，第二检测结果表征被测对象的甲状腺结节转移区域；以及根据第一检测结果和第二检测结果，得到甲状腺结节检测结果；其中，深度学习模型是根据本发明实施例提供的训练方法训练得到的。
图1示意性示出了根据本发明实施例的用于预测甲状腺结节转移情况的图像处理方法及装置的应用场景图。
如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。
需要说明的是，本发明实施例所提供的用于预测甲状腺结节转移情况的图像处理方法一般可以由第一终端设备101、第二终端设备102、第三终端设备103中的任意一个或多个执行。相应地，本发明实施例所提供的用于预测甲状腺结节转移情况的图像处理装置一般也可以设置于第一终端设备101、第二终端设备102、第三终端设备103中的任意一个或多个中。
或者，本发明实施例所提供的用于预测甲状腺结节转移情况的图像处理方法一般也可以由服务器105执行。相应地，本发明实施例所提供的用于预测甲状腺结节转移情况的图像处理装置一般也可以设置于服务器105中。本发明实施例所提供的用于预测甲状腺结节转移情况的图像处理方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本发明实施例所提供的用于预测甲状腺结节转移情况的图像处理装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景，通过图2~图8对公开实施例的训练方法和用于预测甲状腺结节转移情况的图像处理方法进行详细描述。
图2示意性示出了根据本发明实施例的深度学习模型的训练方法的流程图；
如图2所示，该实施例的深度学习模型的训练方法包括操作S210~操作S230。
在操作S210，获取训练样本，其中，训练样本包括样本图像和标签，样本图像为与样本被测对象相关的甲状腺检查图像，标签包括表征样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征样本被测对象的甲状腺结节转移区域的第二标签。
根据本发明的实施例，样本图像可以包括与被诊断的用户相关的诊断图像，例如可以从甲状腺成像数据库中检索到的与甲状腺结节相关的静态图像（例如JPEG格式的图像），或者还可以是动态图像（例如AVI格式的视频图像）。本发明的实施例对样本图像的具体类型不做限定，只要是与被诊断的对象的甲状腺结节相关的图像即可。可以基于任意类型或品牌的超声波设备来生成样本图像。或者还可以包括通过手工检查和病理检查报告，排除了没有癌症的解剖部位的图像。又或者，还可以包括排除了超声放射科医生根据放射学文本报告确定的没有结节的图像或没有恶性特征的结节图像。可以根据相关诊断标准，将具有恶性特征的结节的超声图像被认为是转移性的（即正样本图像），而没有转移的甲状腺癌症患者的图像被用作对照（即负样本图像）。可以从病理检查报告中分析宫颈淋巴结转移、颈外侧区和中央区转移的情况。
根据本发明的实施例，标签可以是分为两类标签。第一标签用来判断被测对象的甲状腺结节是否发生转移；第二标签用来判断被测对象的甲状腺结节转移区域。
在操作S220，将样本图像输入至初始深度学习模型，输出与第一标签对应的第一样本检测结果，以及与第二标签对应的第二样本检测结果。
根据本发明的实施例，第一样本检测结果可以是表征甲状腺结节是否发生转移的检测结果，例如可以是发生转移的概率和未发生转移的概率，第二样本检测结果可以是表征甲状腺结节转移区域的检测结果，例如转移至目标区域的概率。
在操作S230，根据第一样本检测结果和第一标签，以及第二样本检测结果和第二标签训练初始深度学习模型，得到训练后的深度学习模型。
根据本发明的实施例，训练后的所述深度学习模型适用于预测被测对象的甲状腺结节转移情况。具体地，深度学习模型可以针对甲状腺结节的良性与恶性进行识别，且可以预测恶性结节的转移区域，从而可以使深度学习模型具有两级分类的功能。
根据本发明的实施例，初始深度学习模型可以是根据损失函数处理所述样本淋巴结转移的概率和第一标签，以及所述淋巴结转移区域的概率和第二标签，得到损失值，并根据所述损失值训练所述初始深度学习模型。
根据本发明的实施例，获取与样本图像相关联的预训练标签，预训练标签表征样本被测对象的甲状腺结节的特异性，特异性包括良性与恶性；将样本图像输入至初始预训练深度学习模型，输出样本特异性检测结果；根据样本特异性检测结果和预训练标签训练初始预训练深度学习模型，得到训练后的预训练深度学习模型；根据预训练深度学习模型，构建初始深度学习模型。
根据本发明的实施例，卷积神经网络模型（初始预训练深度学习模型）把输入图像划分成S×S的网格，预测物体边框、置信度，同时计算是某类物体的概率；预测结果被编码为一个S×S×（B×5+C）的张量，其中，S×S为网格数，C为类别数、B为边框数据。
卷积神经网络模型使用均方误差作为目标损失函数，衡量网络预测结果S×S×（B×5+C）维张量跟实际图像中物体对应的S×S×（B×5+C）维张量的偏倚程度，目标损失函数loss表示为：
；
其中CoorinateError为位置误差、IoUError为交除并（Intersection-over-Union）误差、ClassError为分类误差。
目标损失函数loss进一步展开得到如下公式（1）：
（1）；
公式（1）中，如下部分可以表示目标损失函数的位置误差项：
。
公式（1）中，如下部分可以表示目标损失函数的IoU误差项：
。
公式（1）中，如下部分可以表示目标损失函数的分类误差项：
。
公式（1）中，为预测值，/>为实际标注值；其中/>代表物体出现在第i个网格中，/>代表第i个网格中的第j个边框对预测有贡献；位置误差、IoU误差和分类误差对损失函数的贡献度通过λcoord和λnoobj进行修正。
根据本发明的实施例，通过训练一个分类网络（预训练深度学习模型），通过微调用于甲状腺癌症的良恶性进行分类的预训练深度学习模型来预测颈部淋巴结转移。通过随机梯度下降优化器对该模型进行了90轮的训练，初始学习率为0.001，动量为0.9，权重衰减为1.0e-4，迷你批次为32。学习率在第30和第60轮次分别下降了0.1。
根据本发明的实施例，第二样本检测结果可以用于训练一个多标签分类网络（初始深度学习模型），通过微调30个epoch的颈部淋巴结转移分类模型，预测侧室和中央室的转移，学习率为1.0e-4，动量为0.9，重量衰减为1.0e-4，小批量为32。训练过程中应用了动态数据增强，如随机调整大小和裁剪、随机水平翻转、随机颜色抖动和随机擦除。对于测试集中的每个个体，将该个体的每个图像或视频的每个帧的预测概率相结合，计算出三个分数，以分别测量颈部淋巴结转移、中央和侧室转移的风险。
根据本发明的实施例，训练后的深度学习模型可以是以训练好的甲状腺良恶性特异性识别的卷积神经网络模型作为起点，以不同网络结构层读取训练数据集甲状腺结节的B超图像，然后用上述B超图像去进行微调（fine-tuning），进行神经网络模型迁移学习，训练数据集图像来自单中心、多台机器甲状腺检查图像，并以病理检查结果进行标记；通过回归完成物体位置和类别判定。
图3示意性示出了迁移学习的框架图。
如图3所示，该实施例用上述B超图像去进行微调（fine-tuning），进行神经网络模型迁移学习。
获取预训练模型原始数据；将预训练模型的模型结构和隐藏层参数均可以复制到校正模型（初始深度学习模型），将校正模型的将输出层改成适合目标数据的大小，还可以适当修改校正模型的模型参数；将校正模型的输出层权重参数初始化为随机值，其他层权重可以不变；用目标数据和目标标签训练预训练模型校正模型，可以得到训练后的深度学习模型。
其中所使用的B超图像在训练模型之前进行脱敏和清洗，且使用病理检查结果作为金标准划分病变的良恶性及转移情况。
根据本发明的实施例，所述初始深度学习模型是基于卷积神经网络算法构建得到的。例如可以基于ResNet（Residual Network，残差网络）来构建得到初始深度学习模型，它的两个特点是使用了残差块（residual block）以及极深的网络结构（能达到152层或更高），残差块能够降低优化难度、加快算法收敛，降低了错误率，同时计算量并没有增加，降低计算开销的同时提升预测准确性。
图4示意性示出了用于预测甲状腺结节转移情况的图像处理方法的流程图。
如图4所示，该实施例的预测甲状腺结节转移情况的图像处理方法包括操作S410~操作S440。
在操作S410，根据第一样本概率和预设的第一权重，确定样本淋巴结转移评分。
根据本发明的实施例，第一样本检测结果包括表征样本被测对象的甲状腺结节显示恶性特异性的第一样本概率，第二样本检测结果包括表征甲状腺结节转移区域的第二样本概率。
根据本发明的实施例，对于给定的个体，我们将n表示为该被检测对象可获得的样本图像的总数，q＝[q_1，q_2，…，q_n]表示这n张样本图像被预测为甲状腺淋巴结转移的概率，v＝[v_1，v_2，……，v_n]表示中心区室转移的预测概率，k=[k_1，k_2，…，k_n]为侧室转移的预测概率，w=[w_1，w_2，……，w_n]为我们在先前研究中开发的分类模型中预测的甲状腺癌症的概率。
根据本发明的实施例，可以根据颈部淋巴结转移评分θ计算为q加权w的平均值从而得到。例如，可以通过如下公式（2）来计算淋巴结转移评分θ：
（2）。
在操作S420，根据第一样本概率和第二样本概率，确定淋巴结转移区域评分。
在操作S430，根据损失函数处理样本淋巴结转移评分和第一标签，以及淋巴结转移区域评分和第二标签，得到损失值。
在操作S440，根据损失值训练所述初始深度学习模型。
根据本发明的实施例，第二标签包括以下至少一项：表征甲状腺结节为中心区转移的中心区转移标签、表征甲状腺结节为侧室转移的侧室转移标签。
根据本发明的实施例，在第二标签包括中心区转移标签和侧室转移标签的情况下，第二样本概率包括样本中心区转移概率和样本侧室转移概率。
根据本发明的实施例，根据第一样本概率和所述第二样本概率，确定淋巴结转移区域评分包括：根据第一样本概率和样本中心区转移概率，确定样本中心区转移评分；根据第一样本概率和样本侧室转移概率确定样本侧室转移评分。
例如，可以通过如下公式（3）来表示样本中心区转移评分。
中心区转移评分计算为 v 加权q的平均值:
（3）；
例如，可以通过如下公式（4）来表示样本侧室转移评分。
侧室转移评分 δ 计算为 k 加权 q的平均值:
（4）；
其中，淋巴结转移区域评分包括样本侧室转移评分和所述样本中心区转移评分。
图5示意性示出了根据本发明实施例的多个预测评估结果的展示图。
如图5所示，该实施例中图5中的A、B和C三个子图，各自分别表征以上三个分数针对内部测试图像集、内部测试视频集、外部测试图像集和外部测试视频集的准确性评估结果。用于通过与病理报告中的真实标签进行比较来评估AI系统的性能。图5中的A子图的曲线511表征：AUC（正确率）为0.872（0.853–0.891），曲线512表征：AUC（正确率）为0.883（0.830–0.935），曲线513表征：AUC（正确率）为0.734（0.663–0.806），曲线514表征：AUC（正确率）为0.780（0.699–0.860）。图5中的B子图的曲线521表征：AUC（正确率）为0.843（0.822–0.865），曲线522表征：AUC（正确率）为0.843（0.785–0.902），曲线523表征：AUC（正确率）为0.817（0.762–0.873），曲线524表征：AUC（正确率）为0.768（0.685–0.852）。图5中的C子图的曲线531表征：AUC（正确率）为0.875（0.854–0.897），曲线532表征：AUC（正确率）为0.780（0.709–0.850），曲线533表征：AUC（正确率）为0.891（0.833–0.948），曲线534表征：AUC（正确率）为0.888（0.786–0.990）。
本发明采取的是整体图像识别的神经网络算法，在完成模型训练之后，通过画出类别激活图去判断输入图像中哪些区域对预测结果贡献最大，并与影像专家看图所使用的特征进行比较，印证了训练好的深度学习模型所使用的特征跟人类影像专家所用的特征是一致的。
为进一步解释本发明实施例提供的训练方法，以下结合具体实施例来对本发明实施例提供的训练方法进行详细说明。
获取训练样本，收集单中心、多台机器甲状腺检查图像作为样本图像，收集同期病理检查结果作为标签。
对数据集进行预处理，以标签对数据集进行标记，建立样本图像超级数据集，隐去姓名、性别、年龄等信息，排除了无结节图像（n=79470张）和淋巴结图像（n=35068张）或与病理报告解剖位置不匹配的图像。最终测试数据集包括23283例甲状腺癌症患者和8168例非甲状腺癌症患者的31451张静态图像。32.2%至63.3%的患者患有颈部淋巴结转移，30.6%至59.6%的患者在中央室有转移，10.5%至25.5%的患者在侧室有转移。
表1中提供了详细的基线表，总结了训练集、内部和外部测试集的临床特征。
将数据集平衡性别、年龄等因素，最终训练数据集（31451张图像）、内部验证数据集（1523张图像）及测试数据集（378张图像）。
以训练好的初始深度学习模型作为起点，以不同网络结构层读取训练数据集甲状腺结节的B超图像，然后用B超图像数据去进行微调（fine-tuning）预训练的初始深度学习模型，同时用验证数据集反复迭代验证，评估转移风险模型性能指标，包括敏感性、特异性、准确率和AUC，取最优模型。
本发明采用了卷积神经网络（convolutional neural network，CNN）算法中的ResNet（Residual Network，残差网络），它的两个特点是使用了残差块（residual block）以及极深的网络结构（能达到152层或更高），残差块能够降低优化难度、加快算法收敛，降低了错误率，同时计算量并没有增加。
以测试数据集进行模型测试，完成甲状腺结节转移风险模型训练。通过ROC曲线及ROC曲线下面积、准确率、敏感性、特异性、阳性预测率、阴性预测率、Kappa 系数来评判甲状腺良恶性模型的性能。使用ROC曲线、准确性、敏感性和特异性来衡量人工智能系统的性能。ROC曲线是通过绘制敏感性与特异性来创建的。准确度、灵敏度和特异性的95%置信区间通过Clopper-Pearson方法计算。用R软件包pROC（1.10.0版）绘制ROC曲线并计算AUC。用R软件包caret（6.0-78版）进行统计分析。
基于上述数据训练深度学习模型对甲状腺结节转移性质进行预测性评估，评价指标包括准确性、敏感性、特异性、阳性预测率（PPV）、阴性预测率（NPV）和F1分值。并与7年以上资质甲状腺 B超影像专家的诊断结果进行对比，并分析各自优劣。
表2中提供了人工智能和放射科医生在颈部淋巴结转移识别中的表现。在来自内部和外部测试集的四个数据集中，AI系统的平均AUC为0.817（范围从0.734到0.883），灵敏度为0.786（0.743到0.835），特异性为0.806（0.725到0.863）（见表2）。对于静态图像数据，AI系统在内部和外部测试集上的AUC分别为0.872（0.853–0.851）和0.734（0.663–0.806）。对于视频数据，它在内部和外部测试集上分别获得了0.883（0.830–0.935）和0.780（0.699–0.860）的AUC（正确率）（见图5中的A子图）。与放射科医生相比，人工智能系统具有更高的准确性（0.786对0.744）和敏感性（0.754对0.541），但特异性较低（0.806对0.928）。对于放射科医生在内部静态图像、内部视频和外部静态图像集中的假阴性解释，AI系统能够正确识别其中62.3%（175/281）、77.1%（37/48）和65.7%（23/35）为颈部淋巴结转移。放射科医生对来自外部测试集的视频数据的颈部淋巴结转移的解释不可用。
表3提供了人工智能系统和放射科医生对每个数据集的中央室转移详细分类指标。在来自内部和外部测试集的四个数据集中，人工智能系统的平均AUC为0.818（范围从0.768到0.843），准确度为0.765（0.751到0.778），灵敏度为0.774（0.742到0.846），特异性为0.762（0.753到0.803）。人工智能系统在这四个数据集中的ROC曲线如图5中的B子图所示。放射科医生的平均准确度为0.70（范围为0.615至0.751），灵敏度为0.457（0.407至0.542），特异性为0.897（0.871至0.924）。与放射科医生相比，AI系统的特异性较低（89.7%对76.2%），平均准确率（76.5%对70.0%）和灵敏度（77.4%对45.7%）较高。对于放射科医生的假阴性解释，AI系统能够正确识别内部静态图像集中76.1%（194/255）、内部视频集中75.0%（48/64）和外部静态图像集中73.2%（30/41）。放射科医生无法从外部测试视频集中对中央隔室转移的解释。
表4提供了人工智能系统和放射科医生对每个数据集的侧室转移详细分类指标。在来自内部和外部测试集的四个数据集中，人工智能系统的平均AUC为0.858（范围从0.779到0.891），准确度为0.791（0.702到0.865），灵敏度为0.872（0.792到0.929），特异性为0.773（0.671到0.857）。人工智能系统在这四个数据集中的ROC曲线如图5中的C子图所示。放射科医生的平均准确度为0.929（范围从0.924到0.938），灵敏度为0.865（0.731到0.949），特异性为0.940（0.918到0.974）。对于放射科医生的假阴性解释，AI系统能够正确识别内部静态图像集中76.9%（10/13）、内部视频集中100%（4/4）和外部静态图像集中85.7%（6/7）。放射科医生无法从外部测试视频中对侧隔室转移的解释。
图6示意性示出了根据本发明实施例的训练方法的框架图。
如图6所示，对该实施例的训练方法进行总结。收集甲状腺B超影像数据，其中包括静态影像数据和视频影像数据；将甲状腺B超影像数据输入至初始深度学习模型，判断是甲状腺癌还是其他甲状腺疾病；如果是甲状腺癌，根据颈部淋巴结转移评分进一步进行判断是否是颈部淋巴结转移；如果是，可以根据中央室转移评分和侧室转移评分进行类别判断。
图7示意性示出了用于预测甲状腺结节转移情况的图像处理方法的流程图。
如图7所示，该实施例的用于预测甲状腺结节转移情况的图像处理方法包括操作S710~操作S730。
在操作S710，获取被测对象相关的甲状腺检查图像。
在操作S720，将甲状腺检查图像输入至深度学习模型，输出第一检测结果和第二检测结果，其中，第一检测结果表征被测对象的甲状腺结节是否发生转移，第二检测结果表征被测对象的甲状腺结节转移区域。
在操作S730，根据第一检测结果和第二检测结果，得到甲状腺结节检测结果。其中，深度学习模型是根据本发明实施例提供的训练方法训练得到的。
根据本发明的实施例，用于预测甲状腺结节转移情况的图像处理方法可以还可以包括：在交互界面中生成与甲状腺结节检测结果对应的检测结果展示页面；响应于具有诊断资质的用户针对检测结果展示页面的诊断确认操作，根据甲状腺结节检测结果，生成甲状腺结节检测报告。
需要说明的是，生成的甲状腺结节检测报告需要经过具有诊断资质的或具有法律规定可以执行疾病诊断的相关人员确认后才可以应用于后续实际的医疗诊断过程，本发明提供的用于预测甲状腺结节转移情况的图像处理方法得到的检测结果、检测报告等相关信息可以为具有相关资质的人员提供合适的建议。
本发明提供的训练方法和图像处理方法可以具有如下有益效果：
（1）提供了一种利用迁移学习及甲状腺良恶性判读相关的深度学习模型实现基于甲状腺超声图像的人工智能识别淋巴结转移位置及概率的方法，提高了超声检查对甲状腺结节转移风险的识别能力，相比于传统的基于人工经验和规则的方法，更加客观、准确和可靠。
（2）具有较好的可扩展性和适应性，可以根据不同的任务需求和数据集特点调整深度学习模型的网络结构和参数设置，实现不同类型和级别的甲状腺结节转移风险识别。
（3）有助于甲状腺癌症患者的术前手术管理和随访监测。通过深度学习模型的高性能及其对甲状腺超声放射科医生的补充能力保证了其在前瞻性临床试验中进行测试的可行性。
图8示意性示出了根据本发明实施例的超声图像识别方法实施的流程图。
如图8所示，对该实施例的超声图像识别方法实施流程总结。训练一个预训练模型，通过新的特异性数据集微调预训练模型（即预训练深度学习模型），同时与专家进行比较与评估，印证了训练好的深度学习模型所使用的特征与影像专家所用的特征是一致的，得到最终模型；将新图像输入进最终模型（即深度学习模型），最终得到预测结果。
图9示意性示出了根据本发明实施例的深度学习模型的训练装置的结构框图。
如图9所示，该实施例的深度学习模型的训练装置900包括训练样本获取模块910、样本图像检测模块920、训练模块930。
训练样本获取模块910，用于获取训练样本，训练样本包括样本图像和标签，样本图像为与样本被测对象相关的甲状腺检查图像，标签包括表征样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征样本被测对象的甲状腺结节转移区域的第二标签。
样本图像检测模块920，用于将样本图像输入至初始深度学习模型，输出与第一标签对应的第一样本检测结果，以及与第二标签对应的第二样本检测结果。
训练模块930，用于根据第一样本检测结果和第一标签，以及第二样本检测结果和第二标签训练初始深度学习模型，得到训练后的深度学习模型，其中，训练后的深度学习模型适用于预测被测对象的甲状腺结节转移情况。
根据本发明的实施例，第一样本检测结果包括表征样本被测对象的甲状腺结节显示恶性特异性的第一样本概率，第二样本检测结果包括表征甲状腺结节转移区域的第二样本概率。
其中，训练模块包括：第一确定单元、第二确定单元、第三确定单元和训练单元。
第一确定单元用于根据第一样本概率和预设的第一权重，确定样本淋巴结转移评分。
第二确定单元用于根据第一样本概率和所述第二样本概率，确定淋巴结转移区域评分。
第三确定单元用于根据损失函数处理样本淋巴结转移评分和第一标签，以及淋巴结转移区域评分和第二标签，得到损失值。
训练单元用于根据所述损失值训练所述初始深度学习模型。
根据本发明的实施例，第二标签包括以下至少一项：表征甲状腺结节为中心区转移的中心区转移标签、表征甲状腺结节为侧室转移的侧室转移标签。
根据本发明的实施例，在第二标签包括所述中心区转移标签和侧室转移标签的情况下，第二样本概率包括样本中心区转移概率和样本侧室转移概率。其中，第二确定单元包括第一确定子单元和第二确定子单元。
第一确定子单元用于根据第一样本概率和样本中心区转移概率，确定样本中心区转移评分。
第二确定子单元用于根据第一样本概率和样本侧室转移概率确定样本侧室转移评分。其中，淋巴结转移区域评分包括样本侧室转移评分和样本中心区转移评分。
根据本发明的实施例，初始深度学习模型是基于卷积神经网络算法构建得到的。
根据本发明的实施例，深度学习模型的训练装置还可以包括：预训练标签获取模块、样本特异性检测结果获得模块、预训练模块和构建模块。
预训练标签获取模块，用于获取与样本图像相关联的预训练标签，预训练标签表征样本被测对象的甲状腺结节的特异性，特异性包括良性与恶性。
样本特异性检测结果获得模块，用于将样本图像输入至初始预训练深度学习模型，输出样本特异性检测结果。
预训练模块，用于根据样本特异性检测结果和预训练标签训练初始预训练深度学习模型，得到训练后的预训练深度学习模型；
构建模块，用于根据预训练深度学习模型，构建初始深度学习模型。
图10示意性示出了根据本发明实施例的用于预测甲状腺结节转移情况的图像处理装置的结构框图。
如图10所示，该实施例的用于预测甲状腺结节转移情况的图像处理装置1000包括图像获取模块1010、图像检测模块1020、检测结果获得模块1030。
图像获取模块1010，用于获取被测对象相关的甲状腺检查图像。
图像检测模块1020，用于将甲状腺检查图像输入至深度学习模型，输出第一检测结果和第二检测结果，其中，第一检测结果表征被测对象的甲状腺结节是否发生转移，第二检测结果表征被测对象的甲状腺结节转移区域。
检测结果获得模块1030，用于根据第一检测结果和第二检测结果，得到甲状腺结节检测结果。其中，深度学习模型是根据本发明实施例提供的训练方法训练得到的。
根据本发明的实施例，用于预测甲状腺结节转移情况的图像处理装置还可以包括展示模块和甲状腺结节检测报告生成模块。
在交互界面中生成与甲状腺结节检测结果对应的检测结果展示页面；响应于具有诊断资质的用户针对检测结果展示页面的诊断确认操作，根据甲状腺结节检测结果，生成甲状腺结节检测报告。
甲状腺结节检测报告生成模块，用于根据第一检测结果和第二检测结果，得到甲状腺结节检测结果。
根据本发明的实施例，训练样本获取模块910、样本图像检测模块920和训练模块930中，或者图像获取模块1010、图像检测模块1020和检测结果获得模块1030中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，训练样本获取模块910、样本图像检测模块920和训练模块930中，或者图像获取模块1010、图像检测模块1020和检测结果获得模块1030中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，训练样本获取模块910、样本图像检测模块920和训练模块930中，或者图像获取模块1010、图像检测模块1020和检测结果获得模块1030中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图11示意性示出了根据本发明实施例的训练方法和用于预测甲状腺结节转移情况的图像处理方法的电子设备的方框图。
如图11所示，根据本发明实施例的电子设备1100包括处理器1101，其可以根据存储在只读存储器（ROM）1102中的程序或者从存储部分1108加载到随机访问存储器（RAM）1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1103中，存储有电子设备1100操作所需的各种程序和数据。处理器 1101、ROM 1102以及RAM1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM1103中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备1100还可以包括输入/输出（I/O）接口1105，输入/输出（I/O）接口1105也连接至总线1104。电子设备1100还可以包括连接至I/O接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM1103和/或ROM1102和RAM 1103以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本发明实施例所提供的方法。
在该计算机程序被处理器1101执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1109被下载和安装，和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (9)

1.一种深度学习模型的训练方法，其特征在于，包括：
获取训练样本，所述训练样本包括样本图像和标签，所述样本图像为与样本被测对象相关的甲状腺检查图像，所述标签包括表征所述样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征所述样本被测对象的甲状腺结节转移区域的第二标签；
将所述样本图像输入至初始深度学习模型，输出与所述第一标签对应的第一样本检测结果，以及与所述第二标签对应的第二样本检测结果；
根据所述第一样本检测结果和所述第一标签，以及所述第二样本检测结果和所述第二标签训练所述初始深度学习模型，得到训练后的深度学习模型，其中，训练后的所述深度学习模型适用于预测被测对象的甲状腺结节转移情况；
其中，所述第一样本检测结果包括表征所述样本被测对象的甲状腺结节显示恶性特异性的第一样本概率，所述第二样本检测结果包括表征甲状腺结节转移区域的第二样本概率；
其中，根据所述第一样本检测结果和所述第一标签，以及所述第二样本检测结果和所述第二标签训练所述初始深度学习模型包括：
根据所述第一样本概率和预设的第一权重，确定样本淋巴结转移评分，其中，所述预设的第一权重为甲状腺癌症的预测概率，所述甲状腺癌症的预测概率是基于预设的分类模型处理所述样本图像得到的；
根据所述第一样本概率和所述第二样本概率，确定淋巴结转移区域评分；
根据损失函数处理所述样本淋巴结转移评分和所述第一标签，以及所述淋巴结转移区域评分和所述第二标签，得到损失值；以及
根据所述损失值训练所述初始深度学习模型。
2.根据权利要求1所述的方法，其特征在于，所述第二标签包括以下至少一项：
表征甲状腺结节为中心区转移的中心区转移标签、表征甲状腺结节为侧室转移的侧室转移标签。
3.根据权利要求2所述的方法，其特征在于，在所述第二标签包括所述中心区转移标签和所述侧室转移标签的情况下，所述第二样本概率包括样本中心区转移概率和样本侧室转移概率；
其中，根据所述第一样本概率和所述第二样本概率，确定淋巴结转移区域评分包括：
根据所述第一样本概率和所述样本中心区转移概率，确定样本中心区转移评分；以及
根据所述第一样本概率和所述样本侧室转移概率确定样本侧室转移评分，其中，所述淋巴结转移区域评分包括所述样本侧室转移评分和所述样本中心区转移评分。
4.根据权利要求1所述的方法，其特征在于，所述初始深度学习模型是基于卷积神经网络算法构建得到的。
5.根据权利要求1所述的方法，其特征在于，还包括：
获取与样本图像相关联的预训练标签，所述预训练标签表征所述样本被测对象的甲状腺结节的特异性，所述特异性包括良性与恶性；
将所述样本图像输入至初始预训练深度学习模型，输出样本特异性检测结果；
根据所述样本特异性检测结果和所述预训练标签训练所述初始预训练深度学习模型，得到训练后的预训练深度学习模型；以及
根据所述预训练深度学习模型，构建所述初始深度学习模型。
6.一种用于预测甲状腺结节转移情况的图像处理方法，其特征在于，包括：
获取被测对象相关的甲状腺检查图像；
将所述甲状腺检查图像输入至深度学习模型，输出第一检测结果和第二检测结果，其中，所述第一检测结果表征所述被测对象的甲状腺结节是否发生转移，所述第二检测结果表征所述被测对象的甲状腺结节转移区域；以及
根据所述第一检测结果和所述第二检测结果，得到甲状腺结节检测结果；
其中，所述深度学习模型是根据权利要求1至5中任一项所述的训练方法训练得到的。
7.根据权利要求6所述的方法，其特征在于，还包括：
在交互界面中生成与所述甲状腺结节检测结果对应的检测结果展示页面；以及
响应于具有诊断资质的用户针对所述检测结果展示页面的诊断确认操作，根据所述甲状腺结节检测结果，生成甲状腺结节检测报告。
8.一种深度学习模型的训练装置，其特征在于，包括：
训练样本获取模块，用于获取训练样本，所述训练样本包括样本图像和标签，所述样本图像为与样本被测对象相关的甲状腺检查图像，所述标签包括表征所述样本被测对象的甲状腺结节是否发生转移的第一标签，以及表征所述样本被测对象的甲状腺结节转移区域的第二标签；
样本图像检测模块，用于将所述样本图像输入至初始深度学习模型，输出与所述第一标签对应的第一样本检测结果，以及与所述第二标签对应的第二样本检测结果；
训练模块，用于根据所述第一样本检测结果和所述第一标签，以及所述第二样本检测结果和所述第二标签训练所述初始深度学习模型，得到训练后的深度学习模型，其中，训练后的所述深度学习模型适用于预测被测对象的甲状腺结节转移情况；
其中，所述第一样本检测结果包括表征所述样本被测对象的甲状腺结节显示恶性特异性的第一样本概率，所述第二样本检测结果包括表征甲状腺结节转移区域的第二样本概率；
其中，训练模块包括：
第一确定单元，用于根据所述第一样本概率和预设的第一权重，确定样本淋巴结转移评分，其中，所述预设的第一权重为甲状腺癌症的预测概率，所述甲状腺癌症的预测概率是基于预设的分类模型处理所述样本图像得到的；
第二确定单元，用于根据所述第一样本概率和所述第二样本概率，确定淋巴结转移区域评分；
第三确定单元，用于根据损失函数处理所述样本淋巴结转移评分和所述第一标签，以及所述淋巴结转移区域评分和所述第二标签，得到损失值；以及
训练单元，用于根据所述损失值训练所述初始深度学习模型。
9.一种用于预测甲状腺结节转移情况的图像处理装置，其特征在于，包括：
图像获取模块，用于获取被测对象相关的甲状腺检查图像；
图像检测模块，用于将所述甲状腺检查图像输入至深度学习模型，输出第一检测结果和第二检测结果，其中，所述第一检测结果表征所述被测对象的甲状腺结节是否发生转移，所述第二检测结果表征所述被测对象的甲状腺结节转移区域；以及
检测结果获得模块，用于根据所述第一检测结果和所述第二检测结果，得到甲状腺结节检测结果；
其中，所述深度学习模型是根据权利要求1至5中任一项所述的训练方法训练得到的。
CN202311765454.3A 2023-12-21 2023-12-21 训练方法和用于预测甲状腺结节转移情况的图像处理方法 Active CN117454940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311765454.3A CN117454940B (zh) 2023-12-21 2023-12-21 训练方法和用于预测甲状腺结节转移情况的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311765454.3A CN117454940B (zh) 2023-12-21 2023-12-21 训练方法和用于预测甲状腺结节转移情况的图像处理方法

Publications (2)

Publication Number Publication Date
CN117454940A CN117454940A (zh) 2024-01-26
CN117454940B true CN117454940B (zh) 2024-04-09

Family

ID=89582194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311765454.3A Active CN117454940B (zh) 2023-12-21 2023-12-21 训练方法和用于预测甲状腺结节转移情况的图像处理方法

Country Status (1)

Country Link
CN (1) CN117454940B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN110648762A (zh) * 2019-09-06 2020-01-03 苏州浪潮智能科技有限公司 病灶区识别模型生成方法、装置及病灶区识别方法、装置
CN112819076A (zh) * 2021-02-03 2021-05-18 中南大学 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN113222942A (zh) * 2021-05-17 2021-08-06 北京百度网讯科技有限公司 多标签分类模型的训练方法和预测标签的方法
CN114529759A (zh) * 2022-01-25 2022-05-24 北京医准智能科技有限公司 一种甲状腺结节的分类方法、装置及计算机可读介质
KR20220095342A (ko) * 2020-12-29 2022-07-07 아주대학교산학협력단 Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템
CN116525075A (zh) * 2023-04-27 2023-08-01 四川师范大学 基于少样本学习的甲状腺结节计算机辅助诊断方法及系统
CN116862836A (zh) * 2023-05-30 2023-10-10 北京透彻未来科技有限公司 一种泛器官淋巴结转移癌检测系统及计算机设备
CN116883708A (zh) * 2022-03-25 2023-10-13 腾讯科技（深圳）有限公司 图像分类方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN110648762A (zh) * 2019-09-06 2020-01-03 苏州浪潮智能科技有限公司 病灶区识别模型生成方法、装置及病灶区识别方法、装置
KR20220095342A (ko) * 2020-12-29 2022-07-07 아주대학교산학협력단 Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템
CN112819076A (zh) * 2021-02-03 2021-05-18 中南大学 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN113222942A (zh) * 2021-05-17 2021-08-06 北京百度网讯科技有限公司 多标签分类模型的训练方法和预测标签的方法
CN114529759A (zh) * 2022-01-25 2022-05-24 北京医准智能科技有限公司 一种甲状腺结节的分类方法、装置及计算机可读介质
CN116883708A (zh) * 2022-03-25 2023-10-13 腾讯科技（深圳）有限公司 图像分类方法、装置、电子设备及存储介质
CN116525075A (zh) * 2023-04-27 2023-08-01 四川师范大学 基于少样本学习的甲状腺结节计算机辅助诊断方法及系统
CN116862836A (zh) * 2023-05-30 2023-10-10 北京透彻未来科技有限公司 一种泛器官淋巴结转移癌检测系统及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超声图像的甲状腺结节良恶性判别算法研究;施雨;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20220915;第1-46页 *

Also Published As

Publication number Publication date
CN117454940A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US11423538B2 (en) Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers
Chang et al. Hybrid 3D/2D convolutional neural network for hemorrhage evaluation on head CT
US11521716B2 (en) Computer-implemented detection and statistical analysis of errors by healthcare providers
Tran et al. Computational radiology in breast cancer screening and diagnosis using artificial intelligence
Mondal et al. CO-IRv2: Optimized InceptionResNetV2 for COVID-19 detection from chest CT images
Aviles-Rivero et al. GraphXCOVID: explainable deep graph diffusion pseudo-labelling for identifying COVID-19 on chest X-rays
KR20200077852A (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
Wang et al. A vision-based active learning convolutional neural network model for concrete surface crack detection
US20200090796A1 (en) Multimodal learning framework for analysis of clinical trials
Goel et al. The effect of machine learning explanations on user trust for automated diagnosis of COVID-19
Sharma et al. A systematic literature review on deep learning approaches for pneumonia detection using chest X-ray images
Turkbey et al. Artificial intelligence for automated cancer detection on prostate MRI: opportunities and ongoing challenges, from the AJR special series on AI applications
US20230147471A1 (en) Systems and methods to process electronic images to determine salient information in digital pathology
CN115862831A (zh) 一种智能在线预约诊疗管理系统及方法
Sethanan et al. Double AMIS-ensemble deep learning for skin cancer classification
Chandrasekar et al. Lung cancer disease detection using service-oriented architectures and multivariate boosting classifier
Alsadoon et al. DFCV: a framework for evaluation deep learning in early detection and classification of lung cancer
Mohi Uddin et al. XML‐LightGBMDroid: A self‐driven interactive mobile application utilizing explainable machine learning for breast cancer diagnosis
Kalpathy-Cramer et al. Basic Artificial Intelligence Techniques: Evaluation of Artificial Intelligence Performance
Shetty et al. Multimodal medical tensor fusion network-based DL framework for abnormality prediction from the radiology CXRs and clinical text reports
CN117454940B (zh) 训练方法和用于预测甲状腺结节转移情况的图像处理方法
Xu et al. Data-driven decision model based on dynamical classifier selection
CN111275558B (zh) 用于确定保险数据的方法和装置
Kumar et al. Deep-learning-enabled multimodal data fusion for lung disease classification
Zhang et al. Usable region estimate for assessing practical usability of medical image segmentation models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant