CN115147668B - 疾病分类模型的训练方法、疾病分类的方法及相关产品 - Google Patents

疾病分类模型的训练方法、疾病分类的方法及相关产品 Download PDF

Info

Publication number
CN115147668B
CN115147668B CN202211085784.3A CN202211085784A CN115147668B CN 115147668 B CN115147668 B CN 115147668B CN 202211085784 A CN202211085784 A CN 202211085784A CN 115147668 B CN115147668 B CN 115147668B
Authority
CN
China
Prior art keywords
disease
classified
classifier
score
species
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211085784.3A
Other languages
English (en)
Other versions
CN115147668A (zh
Inventor
何兰青
胡馨月
史晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202211085784.3A priority Critical patent/CN115147668B/zh
Publication of CN115147668A publication Critical patent/CN115147668A/zh
Application granted granted Critical
Publication of CN115147668B publication Critical patent/CN115147668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种疾病分类模型的训练方法、疾病分类的方法及相关产品。该训练方法包括：获取带样本标签的医学样本图像；根据多个待分类病种之间的混淆关系和所述样本标签，生成用于对所述疾病分类模型进行训练的训练标签；以及使用带训练标签的医学样本图像对所述疾病分类模型进行训练。根据本申请实施例的训练方法，使得疾病分类模型能够学习到易混淆病种之间的细微差别，有利于训练后的疾病分类模型能够更好的适应多病种分类任务。

Description

疾病分类模型的训练方法、疾病分类的方法及相关产品
技术领域
本申请一般涉及图像处理技术领域。更具体地，本申请涉及一种疾病分类模型的训练方法、疾病分类的方法及相关产品。
背景技术
在目前的医学检查中常常通过获取医学图像，以从医学图像中获取疾病信息。例如，人的眼底包含丰富的血管，因此从眼底图像上可以获取诸多病变特征等信息，从而有利于辅助实现多种疾病的预测和诊断等。随着人工智能技术的不断发展，利用人工智能技术对医学图像进行处理有利于实现自动化的疾病分类和预测。
然而，当需要进行分类的病种数量较多时，各种病变特征相互干扰，既会导致样本标注精度的下降，也会给算法模型的表达能力带来挑战。对于一些特征相似的病种，或是同一病种的不同分级，传统的模型很难关注到其之间的细微差别，从而影响模型的训练效果和输出结果的准确性。
发明内容
为了至少解决如上所提到的一个或多个技术问题，本申请在多个方面中提出了一种用于疾病分类模型的训练方法、训练设备、利用疾病分类模型进行疾病分类的方法、设备以及计算机可读存储介质等。
在本申请的第一方面中，本申请提供一种用于疾病分类模型的训练方法，其中所述疾病分类模型包括主干网络和与主干网络分别连接的第一分类器和第二分类器，所述主干网络用于对待分类的目标医学图像进行特征提取，以获得所述目标医学图像中的病灶特征，所述第一分类器用于基于所述病灶特征输出待分类病种的单病种得分，所述第二分类器用于基于所述病灶特征输出与所述待分类病种相关的病种细分得分，所述训练方法包括：获取带样本标签的医学样本图像；根据多个待分类病种之间的混淆关系和所述样本标签，生成用于对所述疾病分类模型进行训练的训练标签；以及使用带训练标签的医学样本图像对所述疾病分类模型进行训练。
在本申请的一个实施例中，所述第一分类器和所述第二分类器均为二分类器，生成训练标签包括：生成用于训练第一分类器和第二分类器的二分类标签。
在本申请的另一个实施例中，每个第一分类器用于输出相应的一个待分类病种的单病种得分，每个第二分类器用于输出相应的一个混淆关系中的病种细分得分，并且生成训练标签包括：生成与每个第一分类器对应的单病种标签；以及生成与每个第二分类器对应的病种细分标签。
在本申请的又一个实施例中，生成单病种标签包括：对于任一第一分类器对应的第一待分类病种，执行以下操作中的任一项：响应于所述样本标签中包括所述第一待分类病种，确定所述医学样本图像中所述第一待分类病种对应的单病种标签为1；响应于所述样本标签中包括易被混淆为所述第一待分类病种的第二待分类病种，且不包括所述第一待分类病种，确定所述医学样本图像中所述第一待分类病种对应的单病种标签为-1；响应于所述样本标签中既不包括所述第一待分类病种，也不包括所述第二待分类病种，确定所述医学样本图像中所述第一待分类病种对应的单病种标签为0。
在本申请的一个实施例中，生成病种细分标签包括：根据每个第二分类器对应的混淆关系，以及根据样本标签中是否包括符合所述混淆关系的待分类病种，确定每个第二分类器对应的病种细分标签。
在本申请的另一个实施例中，进一步包括：响应于任一第二分类器对应的混淆关系包括第二待分类病种易被混淆为第一待分类病种，执行以下操作中的任一项：响应于所述样本标签中包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为1；响应于所述样本标签中不包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为0。
在本申请的又一个实施例中，进一步包括：响应于任一第二分类器对应的混淆关系包括第二待分类病种易被混淆为第一待分类病种，执行以下操作中的任一项：响应于所述样本标签中包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为1；响应于所述样本标签中既不包括第一待分类病种，也不包括第二待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为-1；响应于所述样本标签中包括第二待分类病种，且不包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为0。
在本申请的一个实施例中，每个第一分类器和每个第二分类器具有对应的损失函数，所述训练方法还包括：响应于所述单病种标签中存在-1，将单病种标签-1对应的第一分类器的损失函数确定为0；和/或响应于所述病种细分标签中存在-1，将病种细分标签-1对应的第二分类器的损失函数确定为0。
在本申请的另一个实施例中，所述医学样本图像包括眼底图像样本。
在本申请的第二方面中，本申请提供一种利用本申请的第一方面中任一所述训练方法训练后的疾病分类模型进行疾病分类的方法，包括：使用主干网络对待分类的目标医学图像进行特征提取，以获得所述目标医学图像中的病灶特征；使用第一分类器基于所述病灶特征输出待分类病种的单病种得分；使用第二分类器基于所述病灶特征输出与所述待分类病种相关的病种细分得分；以及基于所述单病种得分和所述病种细分得分，确定基于所述目标医学图像的最终分类结果。
在本申请的一个实施例中，进一步包括：根据待分类任务中的待分类病种的数量，确定第一分类器的数量，使得每个第一分类器用于输出相应的一个待分类病种的单病种得分；以及根据待分类病种之间混淆关系的数量，确定第二分类器的数量，使得每个第二分类器用于输出相应的一个混淆关系中的病种细分得分。
在本申请的另一个实施例中，基于所述单病种得分和所述病种细分得分，确定基于所述目标医学图像的最终分类结果包括：根据每个第一分类器输出的单病种得分与第一预设阈值的比较结果，确定是否存在阳性单病种得分；响应于存在多个阳性单病种得分，确定多个阳性单病种得分对应的多个待分类病种之间是否符合所述混淆关系；以及响应于存在阳性单病种得分对应的待分类病种符合所述混淆关系，根据符合的混淆关系对应的病种细分得分与第二预设阈值的比较结果，确定最终分类结果。
在本申请的又一个实施例中，所述目标医学图像包括眼底图像。
在本申请的第三方面中，本申请提供一种用于疾病分类模型的训练设备，包括：处理器；以及存储器，其存储有用于对疾病分类模型进行训练的程序指令，当所述程序指令由处理器运行时，使得所述训练设备执行如本申请的第一方面中任一所述的训练方法。
在本申请的第四方面中，本申请提供一种计算机可读存储介质，其上存储有用于对疾病分类模型进行训练的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如本申请的第一方面中任意一项所述的训练方法。
在本申请的第五方面中，本申请提供一种利用疾病分类模型进行疾病分类的设备，包括：处理器；以及存储器，其存储有利用疾病分类模型进行疾病分类的程序指令，当所述程序指令由处理器运行时，使得所述设备执行如本申请的第二方面中任一所述的方法。
在本申请的第六方面中，本申请提供一种计算机可读存储介质，其上存储有利用疾病分类模型进行疾病分类的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如本申请的第二方面中任意一项所述的方法。
通过上述对本申请的技术方案及其多个实施例的描述，本领域技术人员可以理解本申请的训练方法通过结合多个待分类病种之间的混淆关系来生成训练标签，不仅可以对包括主干网络、第一分类器和第二分类器的疾病分类模型进行单病种分类的训练，还可以对疾病分类模型进行基于混淆关系的病种细分训练，从而使得疾病分类模型能够学习到易混淆病种之间的细微差别，有利于训练后的疾病分类模型能够更好的适应多病种分类任务。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出一种疾病分类模型的示意性框图；
图2是示出根据本申请实施例的混淆关系的示意图；
图3是示出根据本申请实施例的疾病分类模型的示意性框图；
图4是示出根据本申请实施例的用于疾病分类模型的训练方法的流程图；
图5是示出根据本申请另一个实施例的用于疾病分类模型的训练方法的流程图；
图6a是示出使用传统训练方法训练后的疾病分类模型的输出得分的概率分布图；
图6b是示出根据本申请实施例的训练方法训练后的疾病分类模型输出的单病种得分的概率分布图；
图6c是示出传统训练方法与本申请实施例的训练方法训练后的模型的PR曲线对比图；
图7是示出根据本申请实施例的利用疾病分类模型进行疾病分类的方法流程图；
图8是示出根据本申请实施例的使用自然语言模型进行推理的示例性流程框图；以及
图9是示出根据本申请实施例的用于疾病分类模型的系统的示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合附图来详细描述本申请的具体实施方式。
图1是示出一种疾病分类模型的示意性框图。如图1中所示，该疾病分类模型100可以包括主干网络110和与主干网络110连接的一个或多个第一分类器120，其中主干网络110可以用于对输入的待分类的目标医学图像进行特征提取，以获得目标医学图像中的病灶特征，第一分类器120可以用于基于病灶特征输出待分类病种的单病种得分。
在一些实施例中，主干网络110（或称Backbone网络）可以包括例如卷积神经网络CNN、transformer模型等能够用于对图像进行特征提取的网络结构。在另一些实施例中，第一分类器120可以为二分类器。在又一些实施例中，第一分类器120可以包括sigmoid层。在一些实施例中，目标医学图像可以包括例如眼底图像、脑部图像、肺部图像等医学图像中的一种。在另一些实施例中，目标医学图像可以通过例如眼底相机、OCT(Optical coherencetomography)设备、核磁共振设备、电子计算机断层扫描CT设备等医疗设备采集得到。
上文中所述的病灶特征可以理解为机体上发生病变的部位的特征。通过主干网络110对输入的目标医学图像进行特征提取，可以从得到的特征图中获得病灶特征，第一分类器120可以基于该病灶特征，对于该病灶特征属于的病种类别进行预测和评估。在一些实施例中，待分类病种可以与目标医学图像相关，即对于眼底图像，待分类病种可以包括与眼底有关的病种；对于脑部图像，待分类病种可以包括与脑部有关的病种。待分类病种可以包括疾病种类（例如糖网、视盘炎等）和/或病症种类（例如黄斑水肿等）。
在另一些实施例中，每个第一分类器120可以用于输出一种待分类病种的得分，即单病种得分。在又一些实施例中，待分类病种的数量可以根据待分类任务确定，例如待分类任务中包括区分五种病种，则待分类病种的数量可以为五个，相应的，可以设置至少五个第一分类器120，以分别输出每个待分类病种的单病种得分。在一些实施例中，单病种得分可以为0-1之间的数值。
在对疾病分类模型100进行训练的过程中，可以首先获取带样本标签的医学样本图像，然后将样本标签转化为二分类标签，并基于该二分类标签和医学样本图像对疾病分类模型100进行训练。例如，在一个五病种的待分类任务中，有疾病1和疾病3的样本标签，即样本标签可以表示为[1,3]，其转化为由0或1表示的二分类标签可以为[1,0,1,0,0]。该二分类标签的生成过程可以通过如下公式1来表达：
Figure DEST_PATH_IMAGE001
公式1
其中，yi表示待分类病种i的二分类标签，Y表示样本标签。
本发明人发现，对于易混淆的病种，可能出现原始的样本标注标错的问题；对于一些可合并的病症，可能出现原始的样本标注中漏标的问题。例如，在观察到足够的重度糖网证据后，标注人员就可能不会给出黄斑水肿这样的病症标签。还例如，对于糖尿病视网膜（简称糖网）的不同阶段，中度及以上糖网的图像中除了存在出血特征外，也可能兼具轻度糖网的例如微血管瘤的特征，但是在训练用于进行轻度糖网分类的第一分类器时，中度及以上的糖网会被划分为轻度糖网的负样本，这使得该第一分类器不仅需要判断图像是否有微血管瘤，还需要判断图像是否没有出血，这将导致第一分类器在进行训练时接收到的监督信号较为混乱。如果原始的样本标注中对于上述易混淆的病种还存在错误标注（例如将中度糖网样本标注为轻度糖网的标签）等问题，会给疾病分类模型的训练效果产生更大的影响。基于此，本申请提出了一种新的疾病分类模型和用于该疾病分类模型的新的训练方法，以提高对易混淆病种之间以及易混淆病种与其他病种之间的分类精度。
图2是示出根据本申请实施例的混淆关系的示意图。在构建本申请实施例的疾病分类模型以及对其进行训练之前，可以预先建立各易混淆病种之间的混淆关系图，该混淆关系图中的混淆关系可以来源于医学先验信息和/或大数据统计结果等。如图2中所示，疾病A、病症B和疾病C可以是三种不同的病种，其中疾病A（轻）、疾病A（中）和疾病A（重）可以表示同一病种的不同分级，为了便于理解，以疾病A为糖网为例，疾病A（轻）可以表示轻度糖网，疾病A（中）可以表示中度糖网，疾病A（重）可以表示重度糖网。病症B和疾病C分别是与疾病A不同的病种。
如图2中进一步示出的，每个有向边（图示中以箭头示出方向）相连的两个节点（即图示中以圆圈示出的病种）代表两种易混淆的疾病/病症，其中单向边表示的混淆关系是单向的，即单向边的起始节点易被混淆为单向边的指向节点，而单向边的指向节点不易被混淆为单向边的起始节点。例如图示中的疾病A（重）与病症B之间的有向边表示：疾病A（重）容易被错分（或称混淆）为病症B，而病症B不容易被错分为疾病A（重），或者可以理解为疾病A（重）有病症B的特征，而病症B中缺少疾病A（重）的某些特征。
进一步地，图示中的双向边表示的混淆关系为双向混淆，例如疾病A（轻）和疾病A（中）之间的双向边可以表示疾病A（轻）容易被混淆为疾病A（中），而疾病A（中）也容易被错分为疾病A（轻）。在一些实施例中，双向边可以通过拆分为两个单向边来表示。
以上结合图2描述了根据本申请实施例的混淆关系，可以理解的是，上面的描述是示例性的而非限制性的，例如混淆关系图中包括的病种数量可以不限于图示中的五个，可以根据需要设置的更多或者更少。还例如，图示中的单向边或双向边的指向是示意性的，可以根据实际应用需要进行调整。在获得了各病种之间的混淆关系之后，可以配置本申请实施例的疾病分类模型。下面将结合图3进行说明。
图3是示出根据本申请实施例的疾病分类模型的示意性框图。如图3中所示，疾病分类模型300可以包括主干网络110和与主干网络110分别连接的第一分类器120和第二分类器310，主干网络110可以用于对待分类的目标医学图像进行特征提取，以获得目标医学图像中的病灶特征，第一分类器110可以用于基于病灶特征输出待分类病种的单病种得分，第二分类器310可以用于基于病灶特征输出与待分类病种相关的病种细分得分。主干网络110和第一分类器120的结构与前文中结合图1描述的模型结构相同或相似，此处不再赘述。
在一些实施例中，目标医学图像可以包括眼底图像。第一分类器120的数量可以不限于图3中所示的三个，可以根据需要设置的更多或者更少，例如设置一个、两个、四个、五个或者更多个，其中每个第一分类器120可以用于输出相应的一个待分类病种的单病种得分。上文中所述的与待分类病种相关的病种细分得分，可以是与待分类病种的混淆关系相关的病种细分得分。第二分类器310的数量可以设置为一个或多个，而不限于图3中所示的三个，例如设置一个、两个、四个、五个或者更多个，其中每个第二分类器可以用于输出相应的一个混淆关系中的病种细分得分。一个混淆关系中通常包括两个节点，病种细分得分可以用于表示一个混淆关系中两个节点之间的细分得分。在一些实施例中，病种细分得分可以为0-1之间的数值。在另一些实施例中，第一分类器120和第二分类器310可以均为二分类器。
为了便于说明，结合图2中所示，每个单向边可以表示一个混淆关系，每个双向边可以表示两个混淆关系，每个节点表示一个待分类病种，在一些应用场景中，假设待分类任务是对目标医学图像中是否存在例如图2中所示的五个病种进行分类，则可以根据节点的数量确定第一分类器120的数量，并且每个第一分类器120用于对应输出一个节点的单病种得分，即可以设置五个第一分类器120；以及可以根据混淆关系的数量确定第二分类器310的数量，例如图2中示出了七个混淆关系，则可以设置七个第二分类器310。
可以理解的是，上面的描述是示例性的而非限制性的，例如不限于待分类病种之间均具有混淆关系，对于没有与其他病种之间存在混淆关系的待分类病种，可以仅设置与其对应的第一分类器120，而无需设置与其有关的第二分类器310。仍然以图2为例，假设在一个待分类任务中，除了包括图2中所示的五个待分类病种的分类任务，还包括另一个不存在混淆关系的待分类病种，则根据本申请实施例的疾病分类模型可以设置六个第一分类器120和七个第二分类器310。在描述了根据本申请实施例的混淆关系和疾病分类模型之后，下面将结合图4对根据本申请实施例的训练方法进行示例性的描述。
图4是示出根据本申请实施例的用于疾病分类模型的训练方法的流程图。如图4中所示，该训练方法400可以包括：在步骤410中，获取带样本标签的医学样本图像。样本标签可以通过人工标注或者机器标注来获得。样本标签可以用于表示医学样本图像中的病灶特征所表征的病种类别。每个医学样本图像可以带有用于表示一个或多个病种类别的样本标签。在一些应用场景中，训练方法400可以获取一定数量的医学样本图像，其数量越大越有利于提高疾病分类模型的分类准确性。在一些实施例中，医学样本图像可以包括眼底图像样本，则训练后的疾病分类模型可以用于对眼底图像进行病种分类。在另一些实施例中，医学样本图像可以包括脑部图像样本，则训练后的疾病分类模型可以用于对脑部图像进行病种分类。
接着，在步骤420中，可以根据多个待分类病种之间的混淆关系和样本标签，生成用于对疾病分类模型进行训练的训练标签。这里的疾病分类模型可以采用例如图3中所描述的疾病分类模型。在本申请的一个实施例中，第一分类器和第二分类器可以均为二分类器，步骤420可以包括：可以生成用于训练第一分类器和第二分类器的二分类标签。二分类器是用于确定一种待分类病种是否存在的分类器。二分类标签可以用于产生对相应二分类器进行训练时的监督信号。训练标签的维数可以与第一分类器和第二分类器的数量相同。例如对于一个包括五个第一分类器和七个第二分类器的疾病分类模型，生成的训练标签可以为十二维的标签，即可以包括十二个标签值，以产生十二个监督信号。多个待分类病种之间的混淆关系已经在前文或者结合图2进行了说明，此处不再赘述。
进一步地，在步骤430中，可以使用带训练标签的医学样本图像对疾病分类模型进行训练。通过使用带训练标签的医学样本图像训练疾病分类模型，可以不断优化疾病分类模型的参数和权值。在一些实施例中，每个第一分类器和每个第二分类器可以具有对应的损失函数，在步骤430中，还可以根据训练数据（即带训练标签的医学样本图像）与第一分类器/第二分类器的输出之间的损失函数，通过例如反向传播计算来优化第一分类器和第二分类器的参数和权值。
以上结合图4对根据本申请实施例的训练方法进行了示例性的说明，可以理解的是，根据混淆关系和样本标签生成训练标签，能够考虑到混淆关系的影响，使得疾病分类模型能够更好的学习到每个病种的特征，而不易受到其他易混淆病种的特征影响，从而能够得到分类精度更好的疾病分类模型。为了便于理解根据本申请实施例的生成训练标签的具体实施方式，下面将结合图5进行示例性的描述。
图5是示出根据本申请另一个实施例的用于疾病分类模型的训练方法的流程图。通过下面的描述可知，图5中所示的训练方法500可以是前文中结合图4描述的训练方法400的一个具体化表现形式，因此前文中结合图4对训练方法400的描述同样可以适用于下面对训练方法500的描述中。
如图5中所示，训练方法500可以包括：在步骤510中，可以获取带样本标签的医学样本图像。步骤510与前文中结合图4描述的步骤410相同或相似，此处不再赘述。接着，在步骤520中，可以根据多个待分类病种之间的混淆关系和样本标签，生成用于对疾病分类模型进行训练的训练标签。在本申请的一个实施例中，每个第一分类器可以用于输出相应的一个待分类病种的单病种得分，每个第二分类器可以用于输出相应的一个混淆关系中的病种细分得分，并且如图5中进一步示出的，在步骤520中可以包括步骤521（虚线框示出）和步骤522（虚线框示出），其中在步骤521中，可以生成与每个第一分类器对应的单病种标签；以及在步骤522中，可以生成与每个第二分类器对应的病种细分标签。
在一些实施例中，步骤521中生成单病种标签可以包括：生成与每个第一分类器对应的待分类病种的单病种标签。在另一些实施例中，可以根据每个第一分类器对应的第一待分类病种是否存在于样本标签中，以及根据样本标签中是否存在易被混淆为该第一待分类病种的第二待分类病种，确定每个第一分类器对应的单病种标签。
在另一些实施例中，生成单病种标签可以包括：对于任一第一分类器对应的第一待分类病种，可以执行以下操作中的任一项：响应于样本标签中包括第一待分类病种，确定医学样本图像中第一待分类病种对应的单病种标签为1；响应于样本标签中包括易被混淆为第一待分类病种的第二待分类病种，且不包括第一待分类病种，确定医学样本图像中第一待分类病种对应的单病种标签为-1；响应于样本标签中既不包括第一待分类病种，也不包括第二待分类病种，确定医学样本图像中第一待分类病种对应的单病种标签为0。第一待分类病种和第二待分类病种可以是不同的待分类病种。
假设样本标签以Y表示，对于第一待分类病种i的单病种标签yi可以通过如下公式2来生成：
Figure 511254DEST_PATH_IMAGE002
公式2
其中，yi表示第一待分类病种i的单病种标签，Y表示样本标签，E表示混淆关系集合，j表示第二待分类病种，<j,i>表示第二待分类病种j易被混淆为第一待分类病种i。也就是说，对于任一第一分类器对应的第一待分类病种i,如果其存在于样本标签中，则可以将第一待分类病种i的单病种标签设置为1；如果其不存在于样本标签中，但是样本标签中存在另一个容易被混淆为第一待分类病种i的第二待分类病种j，则可以将第一待分类病种i的单病种标签设置为-1；如果样本标签中既不存在第一待分类病种i，也不存在易被混淆为第一待分类病种i的第二待分类病种j，可以将第一待分类病种i的单病种标签设置为0。
可以理解的是，上述第一待分类病种和第二待分类病种中的“第一”和“第二”是为了便于对不同病种进行区分，而不是对待分类病种的限制，对于第二待分类病种对应的第一分类器而言，在对其设置单病种标签时，仍可以采用上述公式2所示的方法进行设置，即判断第二待分类病种是否在样本标签中，以及混淆关系集合中是否存在易被混淆为第二待分类病种的其他病种。在一些实施例中，第一待分类病种可以称为当前待分类病种，第二待分类病种可以称为易混淆病种。
通过对每个第一分类器对应的待分类病种执行上述操作，可以根据混淆关系设置-1的标签值，这样可以在第一分类器学习相应待分类病种的病灶特征时，能够排除易混淆的干扰特征可能产生的影响，从而有利于帮助第一分类器更好的学习。仍以糖网举例，假设某医学样本图像的样本标签中存在中度糖网的标签，由于中度糖网与轻度糖网之间具有易被混淆的关系，因此无法确定该医学样本图像中是否存在轻度糖网的病灶特征，或者是否存在轻度糖网被错标为中度糖网的问题，如果在此情况下将轻度糖网对应的训练标签设置为0，可能会指导轻度糖网对应的第一分类器学习到错误或者混乱的信息。根据本申请的实施例的训练方法，可以将此情况下的轻度糖网对应的训练标签设置为-1，使该医学样本图像不指导轻度糖网对应的第一分类器的学习，从而可以从根本上排除中度糖网的病灶特征对于第一分类器学习轻度糖网特征的干扰和影响。
在本申请的一个实施例中，在步骤522中生成与每个第二分类器对应的病种细分标签可以包括：生成与每个第二分类器对应的混淆关系的病种细分标签。在另一个实施例中，生成病种细分标签可以包括：生成与每个第二分类器对应的混淆关系中不易被混淆的待分类病种（例如图2中所示的有向边箭头所指向的节点）对应的病种细分得分。在又一个实施例中，生成病种细分标签可以包括：根据每个第二分类器对应的混淆关系，以及根据样本标签中是否包括符合混淆关系的待分类病种，确定每个第二分类器对应的病种细分标签。在一些实施例中，病种细分标签可以设置为二分类标签。
在另一些实施例中，确定每个第二分类器对应的病种细分标签可以包括：根据样本标签中是否包括符合混淆关系中的不易被混淆的待分类病种，确定相应的病种细分得分。在第二待分类病种易被混淆为第一待分类病种的混淆关系中，第一待分类病种可以被视为不易被混淆的待分类病种。在第一待分类病种易被混淆为第二待分类病种的混淆关系中，第二待分类病种可以被视为不易被混淆的待分类病种。假设第一待分类病种与第二待分类病种之间为双向混淆关系，其分别对应于两个第二分类器，则对于每个第二分类器中对应的单向混淆关系单独进行判断。
在一个实施例中，确定每个第二分类器对应的病种细分标签可以包括：响应于任一第二分类器对应的混淆关系包括第二待分类病种易被混淆为第一待分类病种，执行以下操作中的任一项：响应于样本标签中包括第一待分类病种，确定医学样本图像中混淆关系对应的病种细分标签为1；响应于样本标签中不包括第一待分类病种，确定医学样本图像中混淆关系对应的病种细分标签为0。
具体地，在一个实施例中，假设样本标签以Y表示，对于第二待分类病种j易被混淆为第一待分类病种i的混淆关系<j,i>对应的病种细分标签yji可以通过如下公式3来生成：
Figure DEST_PATH_IMAGE003
公式3
其中，yji表示第二待分类病种j易被混淆为第一待分类病种i的混淆关系对应的病种细分标签，Y表示样本标签。也就是说，根据混淆关系<j,i>中的待分类病种i是否在样本标签中，可以生成混淆关系<j,i>对应的二分类标签。
在本申请的又一个实施例中，确定每个第二分类器对应的病种细分标签可以包括：响应于任一第二分类器对应的混淆关系包括第二待分类病种易被混淆为第一待分类病种，执行以下操作中的任一项：响应于样本标签中包括第一待分类病种，确定医学样本图像中混淆关系对应的病种细分标签为1；响应于样本标签中既不包括第一待分类病种，也不包括第二待分类病种，确定医学样本图像中混淆关系对应的病种细分标签为-1；响应于样本标签中包括第二待分类病种，且不包括第一待分类病种，确定医学样本图像中混淆关系对应的病种细分标签为0。
具体地，在另一个实施例中，假设医学样本图像的样本标签以Y表示，对于第二待分类病种j易被混淆为第一待分类病种i的混淆关系<j,i>对应的病种细分标签yji可以通过如下公式4来生成：
Figure 482621DEST_PATH_IMAGE004
公式4
其中，yji表示第二待分类病种j易被混淆为第一待分类病种i的混淆关系对应的病种细分标签，Y表示样本标签。也就是说，对于任一第二分类器对应的混淆关系<j,i>，如果第一待分类病种i在医学样本图像的样本标签中，可以将混淆关系<j,i>对应的第二分类器的病种细分标签设置为1；如果第一待分类病种i不存在于样本标签中，但是样本标签中存在另一个容易被混淆为第一待分类病种i的第二待分类病种j，则可以将混淆关系<j,i>对应的第二分类器的病种细分标签设置为0；如果医学样本图像的样本标签中既不存在第一待分类病种i，也不存在易被混淆为第一待分类病种i的第二待分类病种j，可以将该医学样本图像在混淆关系<j,i>中对应的第二分类器的病种细分标签设置为-1。
可以理解的是，由于第二分类器与混淆关系<j,i>是唯一对应的，因此仅当样本标签中含有待分类病种i和待分类病种j的数据才会对该第二分类器产生监督信号。第二分类器通过学习这样的训练数据，可以关注到易混淆病种之间的细分差异，从而使得疾病分类模型能够输出用于辅助最终分类判断的病种细分得分，有利于提高疾病分类模型的训练效果和输出结果的准确性。
在详细介绍了训练标签的生成过程之后，返回图5中继续描述。如图5中进一步示出的，流程可以继续前进到步骤530中，可以使用带训练标签的医学样本图像对疾病分类模型进行训练。进一步地，在训练过程中，可以设置与每个第一分类器和每个第二分类器对应的损失函数，训练方法500可以包括步骤541（虚线框示出）和/或步骤542（虚线框示出），其中在步骤541中，响应于单病种标签中存在-1，可以将单病种标签-1对应的第一分类器的损失函数确定为0；和/或在步骤542中，响应于病种细分标签中存在-1，可以将病种细分标签-1对应的第二分类器的损失函数确定为0。
在一些实施例中，损失函数可以采用例如均方误差、或者二分类交叉熵BCE损失函数等。将单病种标签-1对应的第一分类器的损失函数确定为0，和/或将病种细分标签-1对应的第二分类器的损失函数确定为0，可以使得单病种标签-1对应和/或病种细分标签为-1的训练数据在相应损失函数的计算中不产生作用，即无论疾病分类模型将该训练数据分类为阳性或阴性，均不产生损失。
在一些实施例中，用于训练第一分类器的损失函数可以通过如下公式5来计算：
Figure DEST_PATH_IMAGE005
公式5
其中，
Figure 739159DEST_PATH_IMAGE006
表示与待分类病种i对应的第一分类器的损失函数，yi表示待分类病种i的单病种标签，
Figure DEST_PATH_IMAGE007
表示与待分类病种i对应的第一分类器基于医学样本图像输出的单病种得分，
Figure 798907DEST_PATH_IMAGE008
表示Sigmoid函数。进一步地，基于公式2，公式5也可以表示为如下公式6的形式。
Figure DEST_PATH_IMAGE009
公式6
其中，
Figure 471196DEST_PATH_IMAGE010
表示与待分类病种i对应的第一分类器的损失函数，
Figure 297070DEST_PATH_IMAGE007
表示与待分类病种i对应的第一分类器基于医学样本图像输出的单病种得分，
Figure 334296DEST_PATH_IMAGE008
表示Sigmoid函数，Y表示医学样本图像的样本标签，E表示混淆关系集合，j表示易被混淆为待分类病种i的待分类病种，<j,i>表示待分类病种j易被混淆为待分类病种i。
在另一些实施例中，用于训练第二分类器的损失函数可以通过如下公式7来计算得到：
Figure DEST_PATH_IMAGE011
公式7
其中，
Figure 878410DEST_PATH_IMAGE012
表示与待分类病种j易被混淆为待分类病种i的混淆关系<j,i>对应的第二分类器的损失函数，Y表示样本标签，
Figure DEST_PATH_IMAGE013
表示与混淆关系<j,i>对应的第二分类器基于医学样本图像输出的病种细分得分，
Figure 354391DEST_PATH_IMAGE014
表示Sigmoid函数。
以上结合图5对根据本申请实施例的用于疾病分类模型的训练方法500进行了详细的描述，通过上面的描述可知，本申请实施例的训练方法可以通过设置单病种标签和病种细分标签，使得疾病分类模型能够更好的学习病种的病灶特征以及易混淆病种之间的细分特征，从而有利于提高疾病分类模型的输出得分的可靠性。通过基于本申请实施例的训练方法对疾病分类模型进行训练，可以发现第一分类器的输出分布发生了明显的改善。下面将结合图6a-图6c进行示例性的描述。
图6a是示出使用传统训练方法训练后的疾病分类模型的输出得分的概率分布图。传统训练方法即为仅根据样本标签的信息，直接将样本标签转化为0或1的标签来训练例如图1中所示的疾病分类模型100，该疾病分类模型100输出的得分为传统训练方法下的第一分类器的单病种得分。如图6a中所示，通过采用某病种的阳性样本（样本标签中包括该病种）和阴性样本（样本标签中不包括该病种）对模型进行训练，可以看出传统训练方法下的阳性样本的单病种得分比较均匀的分布于0-1之间，而不具有显著性。
图6b是示出根据本申请实施例的训练方法训练后的疾病分类模型输出的单病种得分的概率分布图。如图6b中所示，通过采用与图6a中相同病种的阳性样本（样本标签中包括该病种）和阴性样本（样本标签中不包括该病种）对模型进行训练，并且根据样本标签和混淆关系生成的训练标签来进行训练，可以看出根据本申请实施例的训练方法下的阳性样本的单病种得分较集中的分布于1附近，具有较好的显著性和辨识度，说明疾病分类模型在本申请实施例的训练方法中能够获得更好的学习效果。
图6c是示出传统训练方法与本申请实施例的训练方法训练后的模型的PR曲线对比图。如图6c中所示，本申请实施例提供的全新的训练方法训练后的疾病分类模型的PR（精准率precision和召回率recall）曲线（图中以虚线示出）明显高于传统训练方法训练后的传统分类模型的PR曲线（图中以实线示出）。也就是说，在相同的召回率下，本申请实施例提供的新的训练方法训练后的疾病分类模型的准确率显著高于传统训练方法训练的疾病分类模型。
以上结合图6a-图6c对根据本申请实施例的训练方法的训练效果进行了说明，可以发现，本申请实施例的训练方法能够显著提高疾病分类模型的准确率以及单病种得分的分布情况，使得第一分类器输出的单病种得分具有更好的集中程度和分辨率。进一步地，在对第一分类器的输出实现了改善之后，通过结合第二分类器的输出可以帮助模型对疾病进行更好的分类和预测。下面将结合图7对利用本申请实施例训练后的疾病分类模型进行疾病分类的方法进行示例性描述。
图7是示出根据本申请实施例的利用疾病分类模型进行疾病分类的方法流程图。如图7中所示，方法700可以包括：在步骤710中，可以使用主干网络对待分类的目标医学图像进行特征提取，以获得目标医学图像中的病灶特征。在一些应用场景中，可以将待分类的目标医学图像输入到主干网络中，以使用主干网络对其进行特征识别和提取。接着，在步骤720中，可以使用第一分类器基于所述病灶特征输出待分类病种的单病种得分。然后，在步骤730中，可以使用第二分类器基于所述病灶特征输出与所述待分类病种相关的病种细分得分。步骤710-步骤730已经在前文中结合图1-图3描述的疾病分类模型进行了详细的描述，此处不再赘述。
在本申请的一个实施例中，方法700可以进一步包括：根据待分类任务中的待分类病种的数量，确定第一分类器的数量，使得每个第一分类器用于输出相应的一个待分类病种的单病种得分；以及根据待分类病种之间混淆关系的数量，确定第二分类器的数量，使得每个第二分类器用于输出相应的一个混淆关系中的病种细分得分。在一些实施例中，第一分类器的数量可以与待分类病种的数量相同并且一一对应，第二分类器的数量可以与混淆关系的数量相同并一一对应。在另一些实施例中，第一分类器的数量可以多于待分类病种的数量，第二分类器的数量可以多于混淆关系的数量。
如图7中进一步示出的，在步骤740中，可以基于单病种得分和病种细分得分，确定基于目标医学图像的最终分类结果。在一些实施例中，基于单病种得分和病种细分得分，可以采用阈值策略筛选出得分较高的结果作为最终分类结果。在另一些实施例中，可以使用自然语言模型来对单病种得分和病种细分得分进行推理，以输出最终分类结果。在又一些实施例中，最终分类结果可以包括基于目标医学图像进行判断和预测得到的一个或多个阳性病种（即预测发生概率较大的病种）。
在本申请的另一个实施例中，步骤740可以包括：根据每个第一分类器输出的单病种得分与第一预设阈值的比较结果，确定是否存在阳性单病种得分；响应于存在多个阳性单病种得分，确定多个阳性单病种得分对应的多个待分类病种之间是否符合混淆关系；以及响应于存在阳性单病种得分对应的待分类病种符合混淆关系，根据符合的混淆关系对应的病种细分得分与第二预设阈值的比较结果，确定最终分类结果。
第一预设阈值可以根据需要进行设定。在一些实施例中，每个第一分类器可以对应设置一个第一预设阈值，多个第一分类器对应设置的第一预设阈值可以相同或不同。在另一些实施例中，多个第一分类器可以对应设置同一个第一预设阈值。在又一些实施例中，单病种得分可以为0-1之间的数值，第一预设阈值也为0-1之间的数值，例如可以设置第一预设阈值为0.5、0.6、或0.7等。通过将每个第一分类器输出的单病种得分与第一预设阈值分别进行比较，可以将大于或等于第一预设阈值的单病种得分确定为阳性单病种得分。如果没有单病种得分大于或等于第一预设阈值，则确定不存在阳性单病种得分。
接着，响应于仅存在一个阳性单病种得分时，可以确定最终分类结果为该一个阳性单病种得分对应的待分类病种。响应于存在多个阳性单病种得分时，可以确定多个阳性单病种得分对应的多个待分类病种之间是否符合第二分类器对应的混淆关系。在一个具体实施例中，假设待分类病种j和i均得到阳性单病种得分，则确定第二分类器对应的混淆关系中是否包括<j,i>表示的混淆关系和<i,j>表示的混淆关系，当这两种混淆关系均存在时，则判断相应两个第二分类器输出的病种细分得分xij和xji。响应于xij和xji均大于或等于第二预设阈值，则待分类病种j和i的最终分类结果均为阳性。响应于xij大于或等于第二预设阈值，而xji小于第二预设阈值，则待分类病种j的最终分类结果为阳性，待分类病种i的最终分类结果为阴性。响应于xij和xji均小于第二预设阈值，则待分类病种j和i的最终分类结果均为阴性。
在另一个具体实施例中，假设待分类病种j和i均得到阳性单病种得分，且第二分类器对应的混淆关系中仅存在<j,i>表示的混淆关系，而不存在<i,j>表示的混淆关系，则判断第二分类器输出的病种细分得分xji，并基于xji是否大于或等于第二预设阈值来判断待分类病种i的最终分类结果，而待分类病种j的最终分类结果由其单病种得分来确定。在又一个具体实施例中，假设待分类病种j和i均得到阳性单病种得分，且第二分类器对应的混淆关系中既不存在<j,i>表示的混淆关系，也不存在<i,j>表示的混淆关系，则待分类病种j和i的最终分类结果均为阳性。
第二预设阈值可以根据需要进行设定。在一些实施例中，每个第二分类器可以对应设置一个第二预设阈值，多个第二分类器对应设置的第二预设阈值可以相同或不同。在另一些实施例中，多个第二分类器可以对应设置同一个第二预设阈值。在又一些实施例中，病种细分得分可以为0-1之间的数值，第二预设阈值也为0-1之间的数值，例如可以设置第二预设阈值为0.5、0.6、或0.7等。
在本申请的又一个实施例中，步骤740可以包括：根据每个第一分类器输出的单病种得分与第一预设阈值的比较结果，确定是否存在阳性单病种得分；根据每个第二分类器输出的病种细分得分与第二预设阈值的比较结果，确定每个病种细分得分为阳性细分得分或阴性细分得分；响应于存在多个阳性单病种得分，确定多个阳性单病种得分对应的多个待分类病种之间是否符合混淆关系；以及响应于存在阳性单病种得分对应的待分类病种符合混淆关系，根据符合的混淆关系对应的病种细分得分为阳性细分得分或阴性细分得分，确定最终分类结果。
以上结合图7对根据本申请实施例的利用疾病分类模型进行疾病分类的方法进行了示例性的描述，可以理解的是，上述步骤740可以不限于仅使用阈值判断规则来实现，还可以使用自然语言模型进行推理来实现。下面将结合图8进行示例性的说明。
图8是示出根据本申请实施例的使用自然语言模型进行推理的示例性流程框图。在本申请的一个实施例中，基于单病种得分和病种细分得分，确定基于目标医学图像的最终分类结果可以包括：将单病种得分对应的待分类病种进行编码，以生成用于表示待分类病种的第一词向量；将每个第一词向量与相应的单病种得分相乘，以得到第一相乘结果；将病种细分得分对应的混淆关系进行编码，以生成用于表示混淆关系的第二词向量；将每个第二词向量与相应的病种细分得分相乘，以得到第二相乘结果；以及使用自然语言模型820对第一相乘结果和第二相乘结果形成的序列进行推理，以确定最终分类结果。在一些实施例中，自然语言模型820可以采用任何支持不定长输入的模型结构。在另一些实施例中，自然语言模型820可以采用例如循环神经网络RNN、或者Transformer等模型结构。
如图8中所示，假设第一分类器输出待分类病种1及其单病种得分1、待分类病种2及其单病种得分2、待分类病种3及其单病种得分3，第二分类器输出混淆关系a及其病种细分得分a、混淆关系b及其病种细分得分b、混淆关系c及其病种细分得分c，可以将待分类病种1、待分类病种2、待分类病种3、混淆关系a、混淆关系b和混淆关系c作为词输入至嵌入层（或称embedding层）810以进行编码，并分别生成用于表示每个待分类病种的第一词向量和用于表示每个混淆关系的第二词向量。将待分类病种1、待分类病种2、待分类病种3、混淆关系a、混淆关系b和混淆关系c作为词输入可以是直接输入各待分类病种的名称或者标识。假设待分类病种1为轻度糖网、待分类病种2为中度糖网、待分类病种3为重度糖网，可以直接将轻度糖网、中度糖网和重度糖网这三个词输入至嵌入层810。假设混淆关系a为待分类病种1易被混淆为待分类病种2，可以直接将“待分类病种1易被混淆为待分类病种2”这个语句输入至嵌入层810。
然后，可以将用于表示待分类病种1的第一词向量与单病种得分1相乘，将用于表示待分类病种2的第一词向量与单病种得分2相乘，将用于表示待分类病种3的第一词向量与单病种得分3相乘，以得到三个第一相乘结果。同时，可以将用于表示混淆关系a的第二词向量与病种细分得分a相乘，将用于表示混淆关系b的第二词向量与病种细分得分b相乘，将用于表示混淆关系c的第二词向量与病种细分得分c相乘，以得到三个第二相乘结果。
进一步地，通过将这三个第一相乘结果和三个第二相乘结果序列化后输入自然语言模型820进行推理，可以输出一个或多个最终推断结果（即最终分类结果）。需要说明的是，通过将每个第一词向量与相应的单病种得分相乘，可以表示输入的第一词向量的强度；通过将每个第二词向量与相应的病种细分得分相乘，可以表示输入的第二词向量的强度。第一相乘结果和第二相乘结果形成的序列可以通过将第一相乘结果与第二相乘结果直接拼接来形成。每个第一词向量与相应的单病种得分相乘可以得到一个相应的第一相乘结果，多个第一词向量与相应的单病种得分相乘可以得到多个相应的第一相乘结果。每个第二词向量与相应的病种细分得分相乘可以得到一个相应的第二相乘结果，多个第二词向量与相应的病种细分得分相乘可以得到多个相应的第二相乘结果。多个第一相乘结果和多个第二相乘结果可以依次排序以形成序列。
以上结合图8对根据本申请实施例的使用自然语言模型进行推理的过程进行了描述，可以理解的是，上面的描述是示例性的而非限制性的，例如可以不限于使用嵌入层810来对待分类病种进行编码，还可以采用其他现有或者未来可实现的编码方式实现对待分类病种的编码。待分类病种和混淆关系的数量可以不限于图示中的分别为三个，可以分别根据需要设置的更多或者更少。还例如，可以不限于上述的直接将第一分类器和第二分类器输出的所有结果输入自然语言模型中进行推理，还可以先对第一分类器输出的单病种得分进行阈值筛选，以过滤掉一些得分较低的待分类病种，然后根据筛选后得到的得分较高的待分类病种，筛选出相应的混淆关系及其对应的病种细分得分，并将这些筛选后的结果输入至自然语言模型中。相比于直接将第一分类器和第二分类器的全部输出结果输入至自然语言模型中，使用筛选后的结果进行自然语言模型的推理，能够过滤掉一些对最终推断结果影响较小的“词”，从而有利于提高推理速度和推理效率。
通过上面对本申请的训练方法和进行疾病分类的技术方案以及多个实施例的描述，本领域技术人员可以理解的是，通过结合多个待分类病种之间的混淆关系来生成训练标签，有助于疾病分类模型学习到易混淆病种之间的对比特征，从而使得疾病分类模型能够更好的对多病种分类的特征空间进行建模，以更好的适应于多病种分类任务中存在的特征混淆、标注混乱等问题。在一些实施例中，根据本申请实施例的训练方法通过生成单病种得分和病种细分得分，可以实现对第一分类器和第二分类器分别进行有监督的训练，以排除易混淆特征对第一分类器学习效果的影响，并使得第二分类器能够用于对易混淆病种之间进行对比细分，从而有利于获得较好的得分分布情况以及有利于提高疾病分类模型判断的精准率。
图9是示出根据本申请实施例的用于疾病分类模型的系统的示意框图。如图9中所示，该系统可以包括根据本申请实施例的训练设备（或设备）901（例如包括CPU9011和存储器）以及其外围设备和外部网络，其中本申请实施例的训练设备可以用于执行结合图2-图5所述的本申请的方案，包括但不限于获取带样本标签的医学样本图像、生成训练标签和对疾病分类模型进行训练等操作。本申请实施例的设备可以用于执行结合图7-图8所述的本申请的方案，包括但不限于特征提取、输出单病种得分和病种细分得分，以及确定最终分类结果等操作。
具体地，本申请实施例的训练设备/设备901可以包括CPU 9011，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，本申请实施例的训练设备/设备901还可以包括大容量存储器9012和只读存储器ROM 9013，其中大容量存储器9012可以配置用于存储各类数据，包括医学样本图像、样本标签、疾病分类模型、或目标医学图像等以及运行训练或分类操作所需要的各种程序，ROM 9013可以配置成存储对于本申请训练设备/设备901的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
进一步，该训练设备/设备901还可以包括其他的硬件平台或组件，例如示出的张量处理单元（TPU） 9014、图形处理单元（GPU）9015、现场可编程门阵列（FPGA）9016和机器学习单元（MLU）9017。可以理解的是，尽管在训练设备/设备901中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，训练设备/设备901可以仅包括CPU，以用于执行相应的训练或分类等操作。
为了实现信息的传递，本申请的系统900还可以包括通信接口9018，从而可以通过其连接到局域网/无线局域网（LAN/WLAN）905，进而可以通过LAN/WLAN连接到本地服务器906或连接到因特网（“Internet”）907。替代地或附加地，本申请的系统900还可以通过通信接口9018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代（“3G”）、第四代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本申请的系统900还可以根据需要访问外部网络的服务器909以及可能的数据库908，以便获得各种已知的神经网络模型、数据和模块，并且可以远程地存储训练和推断中使用或产生的各种数据。
附加地或可选地，本申请的系统900的外围设备还可以包括显示装置902、输入装置903和数据传输接口904。显示装置902可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的显示训练过程或者最终分类结果进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收模拟导弹的数值的输入和/或用户指令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口904可以接收来自于SQL数据库的存储的疾病分类模型、医学样本图像、样本标签等，并且向系统900传送包括分类结果或各种其他类型的数据或结果。
本申请的系统900的上述CPU 9011、大容量存储器9012、ROM 9013、TPU 9014、GPU9015、FPGA 9016、MLU 9017和通信接口9018可以通过总线9019相互连接，并且通过该总线9019与外围设备实现数据交互。在一个实施例中，通过该总线9019，CPU 9011可以控制系统900中的其他硬件组件及其外围设备。
还应当理解，当本申请的方案还可以借助于计算机指令来实现，该计算机指令可以存储于计算机可读介质中。根据不同的实现方式，该计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
基于上文，本申请还公开了一种计算机可读存储介质，其上存储有用于对疾病分类模型进行训练的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如本申请的图2-图5中任一所描述的训练方法。本申请还提供一种计算机可读存储介质，其上存储有利用疾病分类模型进行疾病分类的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如本申请的图7或图8中所描述的方法。
上述的计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-AccessMemory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是本公开的设备的一部分或可访问或可连接到设备。本申请描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
虽然本文已经示出和描述了本申请的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本申请思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本申请的过程中，可以采用对本文所描述的本申请实施例的各种替代方案。所附权利要求书旨在限定本申请的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。

Claims (17)

1.一种用于疾病分类模型的训练方法，其特征在于，所述疾病分类模型包括主干网络和与主干网络分别连接的至少一个第一分类器和至少一个第二分类器，所述主干网络用于对待分类的目标医学图像进行特征提取，以获得所述目标医学图像中的病灶特征，所述第一分类器用于基于所述病灶特征输出待分类病种的单病种得分，所述第二分类器用于基于所述病灶特征输出与所述待分类病种相关的病种细分得分，所述训练方法包括：
获取带样本标签的医学样本图像；
根据多个待分类病种之间的混淆关系和所述样本标签，生成用于对所述疾病分类模型进行训练的训练标签；以及
使用带训练标签的医学样本图像对所述疾病分类模型进行训练；
所述根据多个待分类病种之间的混淆关系和所述样本标签，生成用于对所述疾病分类模型进行训练的训练标签包括：
根据每个第一分类器对应的第一待分类病种是否存在于样本标签中，以及根据样本标签中是否存在易被混淆为该第一待分类病种的第二待分类病种，生成与每个第一分类器对应的单病种标签；
根据每个第二分类器对应的混淆关系，以及根据样本标签中是否包括符合所述混淆关系的待分类病种，生成与每个第二分类器对应的病种细分标签。
2.根据权利要求1所述的训练方法，其特征在于，所述第一分类器和所述第二分类器均为二分类器，所述训练标签均为二分类标签。
3.根据权利要求1所述的训练方法，其特征在于，所述生成与每个第一分类器对应的单病种标签包括：
对于任一第一分类器对应的第一待分类病种，执行以下操作中的任一项：
响应于所述样本标签中包括所述第一待分类病种，确定所述医学样本图像中所述第一待分类病种对应的单病种标签为1；
响应于所述样本标签中包括易被混淆为所述第一待分类病种的第二待分类病种，且不包括所述第一待分类病种，确定所述医学样本图像中所述第一待分类病种对应的单病种标签为-1；
响应于所述样本标签中既不包括所述第一待分类病种，也不包括所述第二待分类病种，确定所述医学样本图像中所述第一待分类病种对应的单病种标签为0。
4.根据权利要求1所述的训练方法，其特征在于，所述生成与每个第二分类器对应的病种细分标签包括：
响应于任一第二分类器对应的混淆关系包括第二待分类病种易被混淆为第一待分类病种，执行以下操作中的任一项：
响应于所述样本标签中包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为1；
响应于所述样本标签中不包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为0。
5.根据权利要求1所述的训练方法，其特征在于，所述生成与每个第二分类器对应的病种细分标签包括：
响应于任一第二分类器对应的混淆关系包括第二待分类病种易被混淆为第一待分类病种，执行以下操作中的任一项：
响应于所述样本标签中包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为1；
响应于所述样本标签中既不包括第一待分类病种，也不包括第二待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为-1；
响应于所述样本标签中包括第二待分类病种，且不包括第一待分类病种，确定所述医学样本图像中所述混淆关系对应的病种细分标签为0。
6.根据权利要求1所述的训练方法，其特征在于，每个第一分类器和每个第二分类器具有对应的损失函数，所述训练方法还包括：
响应于所述单病种标签中存在-1，将单病种标签-1对应的第一分类器的损失函数确定为0；和/或
响应于所述病种细分标签中存在-1，将病种细分标签-1对应的第二分类器的损失函数确定为0。
7.根据权利要求1-6任一所述的训练方法，其特征在于，所述医学样本图像包括眼底图像样本。
8.一种用于疾病分类模型的训练设备，其特征在于，包括：
处理器；以及
存储器，其存储有用于对疾病分类模型进行训练的程序指令，当所述程序指令由处理器运行时，使得所述训练设备执行如权利要求1-7任一所述的训练方法。
9.一种计算机可读存储介质，其特征在于，其上存储有用于对疾病分类模型进行训练的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求1-7中任意一项所述的训练方法。
10.一种利用疾病分类模型进行疾病分类的设备，其特征在于，包括：
处理器；以及
存储器，其存储有利用疾病分类模型进行疾病分类的程序指令，当所述程序指令由处理器运行时，使得所述设备执行利用经权利要求1-7任一所述训练方法训练后的疾病分类模型进行疾病分类的方法如下：
使用主干网络对待分类的目标医学图像进行特征提取，以获得所述目标医学图像中的病灶特征；
使用第一分类器基于所述病灶特征输出待分类病种的单病种得分；
使用第二分类器基于所述病灶特征输出与所述待分类病种相关的病种细分得分；以及
基于所述单病种得分和所述病种细分得分，确定基于所述目标医学图像的最终分类结果。
11.根据权利要求10所述的设备，其特征在于，所述利用经权利要求1-7任一所述训练方法训练后的疾病分类模型进行疾病分类的方法进一步包括：
根据待分类任务中的待分类病种的数量，确定第一分类器的数量，使得每个第一分类器用于输出相应的一个待分类病种的单病种得分；以及
根据待分类病种之间混淆关系的数量，确定第二分类器的数量，使得每个第二分类器用于输出相应的一个混淆关系中的病种细分得分。
12.根据权利要求11所述的设备，其特征在于，所述基于所述单病种得分和所述病种细分得分，确定基于所述目标医学图像的最终分类结果包括：
根据每个第一分类器输出的单病种得分与第一预设阈值的比较结果，确定是否存在阳性单病种得分；
响应于存在多个阳性单病种得分，确定多个阳性单病种得分对应的多个待分类病种之间是否符合所述混淆关系；以及
响应于存在阳性单病种得分对应的待分类病种符合所述混淆关系，根据符合的混淆关系对应的病种细分得分与第二预设阈值的比较结果，确定最终分类结果。
13.根据权利要求10-12任一所述的设备，其特征在于，所述目标医学图像包括眼底图像。
14.一种计算机可读存储介质，其特征在于，其上存储有利用疾病分类模型进行疾病分类的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现利用经权利要求1-7任一所述训练方法训练后的疾病分类模型进行疾病分类的方法如下：
使用主干网络对待分类的目标医学图像进行特征提取，以获得所述目标医学图像中的病灶特征；
使用第一分类器基于所述病灶特征输出待分类病种的单病种得分；
使用第二分类器基于所述病灶特征输出与所述待分类病种相关的病种细分得分；以及
基于所述单病种得分和所述病种细分得分，确定基于所述目标医学图像的最终分类结果。
15.根据权利要求14所述的计算机可读存储介质，其特征在于，所述利用经权利要求1-7任一所述训练方法训练后的疾病分类模型进行疾病分类的方法进一步包括：
根据待分类任务中的待分类病种的数量，确定第一分类器的数量，使得每个第一分类器用于输出相应的一个待分类病种的单病种得分；以及
根据待分类病种之间混淆关系的数量，确定第二分类器的数量，使得每个第二分类器用于输出相应的一个混淆关系中的病种细分得分。
16.根据权利要求15所述的计算机可读存储介质，其特征在于，所述基于所述单病种得分和所述病种细分得分，确定基于所述目标医学图像的最终分类结果包括：
根据每个第一分类器输出的单病种得分与第一预设阈值的比较结果，确定是否存在阳性单病种得分；
响应于存在多个阳性单病种得分，确定多个阳性单病种得分对应的多个待分类病种之间是否符合所述混淆关系；以及
响应于存在阳性单病种得分对应的待分类病种符合所述混淆关系，根据符合的混淆关系对应的病种细分得分与第二预设阈值的比较结果，确定最终分类结果。
17.根据权利要求14-16任一所述的计算机可读存储介质，其特征在于，所述目标医学图像包括眼底图像。
CN202211085784.3A 2022-09-06 2022-09-06 疾病分类模型的训练方法、疾病分类的方法及相关产品 Active CN115147668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211085784.3A CN115147668B (zh) 2022-09-06 2022-09-06 疾病分类模型的训练方法、疾病分类的方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211085784.3A CN115147668B (zh) 2022-09-06 2022-09-06 疾病分类模型的训练方法、疾病分类的方法及相关产品

Publications (2)

Publication Number Publication Date
CN115147668A CN115147668A (zh) 2022-10-04
CN115147668B true CN115147668B (zh) 2022-12-27

Family

ID=83416287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211085784.3A Active CN115147668B (zh) 2022-09-06 2022-09-06 疾病分类模型的训练方法、疾病分类的方法及相关产品

Country Status (1)

Country Link
CN (1) CN115147668B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921190A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 一种图像分类方法、装置及电子设备
CN111160442A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 图像分类方法、计算机设备和存储介质
CN112819076A (zh) * 2021-02-03 2021-05-18 中南大学 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN113555110A (zh) * 2021-07-15 2021-10-26 北京鹰瞳科技发展股份有限公司 一种训练多疾病转诊模型的方法及设备
CN114171197A (zh) * 2021-11-12 2022-03-11 东莞市人民医院 一种乳腺癌her2状态的预测方法及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656357B (zh) * 2018-04-17 2024-05-10 深圳华大生命科学研究院 眼科疾病分类模型的建模方法、装置及系统
CN110033863B (zh) * 2019-04-23 2021-06-04 科大讯飞股份有限公司 应用于临床决策支持系统的不合理疾病诊断检测方法、装置
CN111753908A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像分类方法和装置及风格迁移模型训练方法和装置
CN112634226B (zh) * 2020-12-18 2024-05-14 平安科技（深圳）有限公司 头部ct图像检测装置、方法、电子设备及存储介质
CN114022725A (zh) * 2021-10-09 2022-02-08 北京鹰瞳科技发展股份有限公司 一种训练多病种转诊系统的方法、多病种转诊系统以及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921190A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 一种图像分类方法、装置及电子设备
CN111160442A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 图像分类方法、计算机设备和存储介质
CN112819076A (zh) * 2021-02-03 2021-05-18 中南大学 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN113555110A (zh) * 2021-07-15 2021-10-26 北京鹰瞳科技发展股份有限公司 一种训练多疾病转诊模型的方法及设备
CN114171197A (zh) * 2021-11-12 2022-03-11 东莞市人民医院 一种乳腺癌her2状态的预测方法及相关设备

Also Published As

Publication number Publication date
CN115147668A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
US20210241034A1 (en) Method of and system for generating training images for instance segmentation machine learning algorithm
US10892050B2 (en) Deep image classification of medical images
CN111782840B (zh) 图像问答方法、装置、计算机设备和介质
US20190251396A1 (en) Method for processing input on basis of neural network learning and apparatus therefor
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
Xiang et al. Towards interpretable skin lesion classification with deep learning models
CN109783666A (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN109034218B (zh) 模型训练方法、装置、设备及存储介质
EP3769270A1 (en) A method, an apparatus and a computer program product for an interpretable neural network representation
Xie et al. Optic disc and cup image segmentation utilizing contour-based transformation and sequence labeling networks
JP2022548187A (ja) 対象再識別方法および装置、端末並びに記憶媒体
CN114064928A (zh) 一种知识图谱的知识推理方法、装置、设备及存储介质
CN115908947A (zh) 一种基于反绎学习的多模态牙周图像识别方法和系统
CN115222750A (zh) 基于多尺度融合注意力的遥感图像分割方法及系统
RU2703270C1 (ru) Оптическое распознавание символов посредством применения специализированных функций уверенности, реализуемое на базе нейронных сетей
CN112016493B (zh) 图像描述方法、装置、电子设备及存储介质
CN115147668B (zh) 疾病分类模型的训练方法、疾病分类的方法及相关产品
CN116541507A (zh) 一种基于动态语义图神经网络的视觉问答方法及系统
CN115878896A (zh) 基于语义的真假性特征的多模态虚假新闻检测方法及装置
CN113222989B (zh) 一种图像分级方法、装置、存储介质及电子设备
Rasekh et al. Ecor: Explainable clip for object recognition
CN115148323B (zh) 基于医学图像进行疾病预测的装置、方法和可读存储介质
CN113821610A (zh) 信息匹配方法、装置、设备及存储介质
CA3070816A1 (en) Method of and system for generating training images for instance segmentation machine learning algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240722

Address after: Room 01, 8th Floor, Building 1, No. 180 Yizhou Road, Xuhui District, Shanghai, 200233

Patentee after: SHANGHAI EAGLEVISION MEDICAL TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 100081 room 21, 4th floor, building 2, National Defense Science Park, beiligong, Haidian District, Beijing

Patentee before: Beijing Yingtong Technology Development Co.,Ltd.

Country or region before: China