CN114372564A - 用于对象分级的模型训练方法、对象分级方法及装置 - Google Patents
用于对象分级的模型训练方法、对象分级方法及装置 Download PDFInfo
- Publication number
- CN114372564A CN114372564A CN202210033666.1A CN202210033666A CN114372564A CN 114372564 A CN114372564 A CN 114372564A CN 202210033666 A CN202210033666 A CN 202210033666A CN 114372564 A CN114372564 A CN 114372564A
- Authority
- CN
- China
- Prior art keywords
- sample
- feature
- fusion
- similarity
- branch network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种用于对象分级的模型训练方法、对象分级方法及装置。涉及机器学习、大数据、云医疗等技术领域。通过两个分支网络按照不同的类别采样率对样本数据集采样,以及分别获取各自采样数据的第一样本特征和第二样本特征,分别对该两个样本特征进行融合得到至少两个融合特征,对两个样本标签进行融合得到至少两个融合特征对应的至少两个融合标签,以提高样本特征的丰富度;确定该至少两个融合特征中的正样本特征和负样本特征,确定锚点特征分别与正样本特征之间的第一相似度、以及与负样本特征之间的第二相似度,以基于两个相似度之间的差异,对网络进行训练得到目标模型;基于正负样本对来对网络进行对比学习,提高了对象分级的准确率。
Description
技术领域
本申请涉及人工智能、机器学习、云医疗等技术领域,本申请涉及一种用于对象分级的模型训练方法、对象分级方法及装置。
背景技术
随着人工智能技术的发展,已实现利用网络模型的图像识别功能,例如识别图像所包括的内容。而在医疗领域中,仍需要医生人工识别患者的图像以判断患者病变的级别。
然而,人工识别存在诸多限制,例如,人工识别耗时较长、候诊病人排队时间较久,且受地域限制,患者需提前挂号、到医院医生才可诊断。而随着人工智能在医疗领域的发展,利用网络模型进行对象分级方法,目前已成为本领域技术人员亟待研究的热点问题。
发明内容
本申请提供了一种用于对象分级的模型训练方法、对象分级方法及装置,所述技术方案如下:
一方面,提供了一种用于对象分级的模型训练方法,待训练的初始模型包括第一分支网络和第二分支网络,所述方法包括:
基于所述第一分支网络对样本数据集进行采样,并提取采样的第一样本数据的第一样本特征,以及,基于所述第二分支网络对样本数据集进行采样,并提取采样的第二样本数据的第二样本特征;
分别对所述第一样本特征和所述第二样本特征进行融合,得到至少两个融合特征,以及,对所述第一样本标签和第二样本标签进行融合,得到所述至少两个融合特征对应的至少两个融合标签;
基于锚点特征对应的锚点标签和所述至少两个融合标签,确定所述至少两个融合特征中的正样本特征和负样本特征;
确定所述锚点特征与正样本特征之间的第一相似度、以及所述锚点特征与负样本特征之间的第二相似度,基于所述第一相似度和所述第二相似度之间的差异,对所述第一分支网络和所述第二分支网络进行训练,得到训练后的目标模型;
其中,所述样本数据集包括至少两种类别的样本,所述第一分支网络和第二分支网络的类别采样率不同,所述类别采样率是指针对样本数据集中样本量不同的至少两种类别的样本的采样率;所述第一样本数据对应第一样本标签,所述第二样本数据对应第二样本标签;所述锚点特征为所述第一样本特征和第二样本特征中任一样本特征。
另一方面,提供了一种对象分级方法,所述方法包括:
响应于任一请求设备的分级请求,基于任一对象的目标图像,调用目标模型,得到所述目标图像所对应对象的级别,所述分级请求用于请求返回所述目标图像所对应对象的级别;
向所述任一请求设备返回所述目标图像所对应对象的级别;
其中,所述目标模型是基于上述的用于对象分级的模型训练方法进行训练得到。
另一方面,提供了一种用于对象分级的模型训练装置,待训练的初始模型包括第一分支网络和第二分支网络,所述装置包括:
提取模块,用于基于所述第一分支网络对样本数据集进行采样,并提取采样的第一样本数据的第一样本特征,以及,基于所述第二分支网络对样本数据集进行采样,并提取采样的第二样本数据的第二样本特征;
融合模块,用于分别对所述第一样本特征和所述第二样本特征进行融合,得到至少两个融合特征,以及,对所述第一样本标签和第二样本标签进行融合,得到所述至少两个融合特征对应的至少两个融合标签;
确定模块,用于基于锚点特征对应的锚点标签和所述至少两个融合标签,确定所述至少两个融合特征中的正样本特征和负样本特征;
训练模块,用于确定所述锚点特征与正样本特征之间的第一相似度、以及所述锚点特征与负样本特征之间的第二相似度,基于所述第一相似度和所述第二相似度之间的差异,对所述第一分支网络和所述第二分支网络进行训练,得到训练后的目标模型;
其中,所述样本数据集包括至少两种类别的样本,所述第一分支网络和第二分支网络的类别采样率不同,所述类别采样率是指针对样本数据集中样本量不同的至少两种类别的样本的采样率;所述第一样本数据对应第一样本标签,所述第二样本数据对应第二样本标签;所述锚点特征为所述第一样本特征和第二样本特征中任一样本特征。
在一个可能实现方式中,所述确定模块,用于确定所述锚点标签分别与所述至少两个融合特征中每个融合特征之间的相似度,得到至少两个相似度;将所述至少两个相似度中第三相似度所对应的融合特征,作为所述正样本特征,将所述至少两个相似度中第四相似度所对应的融合特征,作为所述负样本特征,所述第三相似度大于所述第四相似度。
在一个可能实现方式中,所述训练模块,用于当所述第二相似度与所述第一相似度之间的差值不高于目标数值时,对所述第一分支网络和第二分支网络进行迭代训练,直至所述第二相似度高于所述第一相似度所述目标数值时停止训练,得到所述目标模型。
在一个可能实现方式中,所述融合模块,用于获取至少两个融合参数对,每个融合参数对包括两个随机参数,所述两个随机参数的取值范围为大于0且小于1;对于每个融合参数对,基于所述每组融合参数所包括的两个随机参数,分别对所述第一样本特征和所述第二样本特征进行融合,得到所述融合参数对所对应的融合特征,对所述第一样本标签和所述第二样本标签进行入融合,得到所述融合参数对所对应的融合特征的融合标签。
在一个可能实现方式中,所述提取模块,用于基于所述第一分支网络,对所述样本数据集进行均匀采样,得到所述第一样本数据,并提取所述第一样本数据的第一样本特征;基于所述第二分支网络,确定所述样本数据集中每种类别的样本频率,基于所述每种类别的样本频率,对所述至少两种类别的样本进行逆向采样,得到所述第二样本数据,并提取所述第二样本数据的第二样本特征,所述逆向采样是指至少两种类别的样本频率与采样率成反比,所述样本频率是指每种类别的样本量在所述样本数据集中所占比例。
在一个可能实现方式中,所述装置还包括:
获取模块,用于基于所述第一样本特征,获取第一样本数据的第一样本级别,以及,基于所述第二样本特征,获取第二样本数据的第二样本级别;
所述获取模块,还用于获取所述第一样本数据的第一损失权重和第二样本数据的第二损失权重;
差异确定模块,用于分别基于所述第一损失权重和第二损失权重,对第一差异和第二差异进行加权处理,得到第三差异,所述第一差异为所述第一样本级别与第一样本标签之间的差异,所述第二差异为所述第二样本级别和第二样本标签之间的差异;
相应的,所述训练模块,还用于基于所述第一相似度和所述第二相似度之间的差异、以及所述第三差异,对所述第一分支网络和所述第二分支网络进行训练,得到所述目标模型。
在一个可能实现方式中,所述获取模块,还用于确定当前迭代训练过程的当前迭代次数;基于所述当前迭代次数和总迭代次数之间的比值,确定所述第一损失权重;将所述目标阈值与所述第一损失权重之间的差值,作为所述第二损失权重。
另一方面,提供了一种对象分级装置,所述装置包括:
模型调用模块,用于响应于任一请求设备的分级请求,基于任一对象目标图像,调用目标模型,得到所述目标图像所对应对象的级别,所述分级请求用于请求返回所述目标图像所对应对象的级别;
返回模块,用于向所述任一请求设备返回所述目标图像所对应对象的级别;
其中,所述目标模型是基于上述的用于对象分级的模型训练方法进行训练得到。
另一方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现上述方法的步骤。
另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例提供的技术方案带来的有益效果是:
通过两个分支网络按照不同的类别采样率在至少两个类别的样本数据集中采样,以及分别获取各自采样数据的第一样本特征和第二样本特征,从而通过两个分支为后续的分离学习提供可能,再分别对该两个样本特征进行融合得到至少两个融合特征,对两个样本标签进行融合得到至少两个融合特征对应的至少两个融合标签,以提高样本特征的丰富度;进一步确定出该至少两个融合特征中的正样本特征和负样本特征,确定该锚点特征分别与正样本特征之间的第一相似度、以及与负样本特征之间的第二相似度,以进一步基于两个相似度之间的差异,对网络进行训练得到目标模型;从而基于正负样本对来对网络进行对比学习,使网络在对比中学习对象级别之间的特征相关关系,使得两个分支网络能够更好的表达相邻级别之间的共性特征、以及区分不相邻的间隔级别之间的差异性,从而使得目标模型能够更加准确的进行对象分级,提高了对象分级的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种实现对象分级方法的实施环境示意图;
图2为本申请实施例提供的一种用于对象分级的模型训练方法的流程示意图;
图3为本申请实施例提供的一种模块的结构示意图;
图4为本申请实施例提供的一种特征融合的示意图;
图5为本申请实施例提供的一种利用正负样本对的特征进行对比学习的示意图;
图6为本申请实施例提供的一种用于对象分级的模型训练过程的模型结构的示意图;
图7为本申请实施例提供的一种对象分级方法的流程示意图;
图8为本申请实施例提供的一种用于对象分级的模型训练装置的结构示意图;
图9为本申请实施例提供的一种对象分级装置的结构示意图;
图10为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解,下面结合附图所阐述的实施方式,是用于解释本申请实施例的技术方案的示例性描述,对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件,但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解,当我们称一个元件被“连接”或“耦接”到另一元件时,该一个元件可以直接连接或耦接到另一元件,也可以指该一个元件和另一元件通过中间元件建立连接关系。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个,例如“A和/或B”可以实现为“A”,或者实现为“B”,或者实现为“A和B”。
可以理解的是,在本申请的具体实施方式中,涉及到的目标图像、目标图像所对应对象的级别、目标图像的病变级别、样本数据集、样本数据的样本标签等任何与用户相关的数据,当本申请以下实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的用于对象分级的模型训练方法、对象分级方法,涉及人工智能技术、机器学习等技术,可以利用以下人工智能技术中大数据处理技术,对大量样本数据集进行处理以便利用样本数据集进行模型训练签;当然,也可以利用上述的机器学习,训练得到用于对象分级的目标模型,以利用训练后的目标模型进行对象分级。示例性的,本申请的方法可以应用于云医疗领域,例如,将训练后的目标模型搭载于云计算中心,利用“云计算”技术所创建的医疗健康服务云平台调用该云计算中心的目标模型,以为用户提供对象分级服务,例如,该对象分级服务可以包括基于对象的目标图像识别对象病变的级别的服务。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
医疗云(Medical cloud),是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上,结合医疗技术,使用“云计算”来创建医疗健康服务云平台,实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合,医疗云提高医疗机构的效率,方便居民就医。像现在医院的预约挂号、医保等等都是云计算与医疗领域结合的产物,医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。
图1是本发明实施例提供的一种对象分级方法的实施环境的示意图,参见图1,该实施环境包括:计算机设备101、计算机设备102以及请求设备103。该计算机设备102配置有训练后的目标模型,该目标模型用于基于输入的图像输出该图像所对应对象的级别;例如,该级别可以包括表示对象的病变严重程度的病变级别。该计算机设备101基于对该目标模型的调用过程提供对象分级服务。
在一个可能示例中,该请求设备103可以获取任一对象的目标图像,并向计算机设备101发送分级请求,该分级请求用于请求返回目标图像所对应对象的级别。该计算机设备101接收该分级请求,基于目标图像调用计算机设备102中的目标模型,得到该目标图像所对应对象的级别,并向该请求设备103返回该目标图像所对应对象的级别。示例性的,该计算机设备102可以预先基于大量的样本数据集,对包括第一分支网络和第二分支网络的初始模型进行训练,得到该目标模型。在又一可能示例中,该计算机设备102中也可以预先配置并存储该训练后的目标模型,则该计算机设备102可以直接利用已存储的目标模型向请求设备103返回该目标图像所对应对象的级别。
示例性的,该计算机设备101、计算机设备102可以为服务器。该请求设备103可以上可以配置有目标应用,该目标应用可以为搭载于应用平台中的程序插件;例如,该应用平台可以为基于云计算技术搭建的医疗健康服务云平台,该对象分级服务为该医疗健康服务云平台所提供的多项服务中的其中一项;当然,该目标应用也可以为独立的应用程序,本申请实施例对该目标应用的具体形式不做限定。
服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、Wi-Fi及其他实现无线通信的网络。终端可以是智能手机、医疗云设备、医疗自助终端、个人计算机、平板电脑、笔记本电脑、数字广播接收器、MID(Mobile InternetDevices,移动互联网设备)、PDA(个人数字助理)、台式计算机、车载终端(例如车载导航终端、车载电脑等)、智能音箱、智能手表等,终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,但并不局限于此。具体也可基于实际应用场景需求确定,在此不作限定。
图2为本申请实施例提供的一种用于对象分级的模型训练方法的流程示意图。该方法的执行主体可以为计算机设备。如图2所示,该方法包括以下步骤。
步骤201、计算机设备基于该第一分支网络对样本数据集进行采样,并提取采样的第一样本数据的第一样本特征,以及,基于该第二分支网络对样本数据集进行采样,并提取采样的第二样本数据的第二样本特征。
该样本数据集包括至少两种类别的样本,类别是指样本数据所对应对象的级别。例如,该级别可以包括该对象的病变级别。其中,该病变级别用于指示病变的程度,病变级别越高,对应的病变的程度越严重。例如,病变级别可以包括零级、一级病变、二级病变、三级病变、四级病变,其中,零级表示无病症,一级病变为低级别病变、对应为病变程度相对较轻,二级病变级别稍高、对应的病变程度也比一级病变高,三级病变相对二级病变的级别更高,对应的病变程度也比二级病变高,而四级病变为最高级别,对应的病变程度为严重程度最高、病情最重。该第一样本数据对应第一样本标签,该第二样本数据对应第二样本标签;
待训练的初始模型包括第一分支网络和第二分支网络。该第一分支网络和第二分支网络的类别采样率不同,该类别采样率是指针对样本数据集中样本量不同的至少两种类别的样本的采样率。示例性的,该样本数据集中该至少两种类别的样本的样本量可以不相同。例如,样本数据集中二级病变的样本较多,三级病变、四级病变的样本较少。该第一分支网络和第二分支网络针对每种类别的类别采用率可以不相同。
在一种可能实现方式中,可以通过第一分支网络进行均匀采样,即样本量大的类别对应的类别采样率也大;通过第二分支网络进行逆向采样,即样本量大的类别对应的类别采样率反而较小,以平衡第一分支网络中样本量小类别的类别采样率。则步骤201可以包括:该计算机设备可以基于该第一分支网络,对该样本数据集进行均匀采样,得到该第一样本数据,并提取该第一样本数据的第一样本特征;该计算机设备基于该第二分支网络,确定该样本数据集中每种类别的样本频率,基于该每种类别的样本频率,对该至少两种类别的样本进行逆向采样,得到该第二样本数据,并提取该第二样本数据的第二样本特征。其中,该均匀采样是指至少两种类别中每种类别的类别采样率与该每种类别的样本频率成正比,该样本频率是指每种类别的样本量在该样本数据集中所占比例;该逆向采样是指至少两种类别中每种类别的类别采样率与该每种类别的样本频率成反比。
示例性的,样本数据集中零级、一级病变、二级病变、三级病变、四级病变在样本数据集中的样本频率分别为:20%、20%、40%、10%、10%;则第一分支网络对零级、一级病变、二级病变、三级病变、四级病变的类别采样率分别为:20%、20%、40%、10%、10%,对样本频率较大的级别,第一分支网络对其采样量占总采样量的比例也较大,与样本频率成正比;而第二分支网络对零级、一级病变、二级病变、三级病变、四级病变的类别采样率分别为:15.4%、15.4%、7.6%、30.8%、30.8%,对于样本频率较大的级别,第二分支网络对其采样量占总采样量的比例反而较小,与样本频率成反比。
在一个可能示例中,第一分支网络和第二分支网络可以通过采样器进行采样、以及通过用于特征提取的卷积网络来提取所采样本的特征。示例性的,该第一分支网络可以通过均匀采样器对样本数据集进行均匀采样,得到第一样本数据,通过卷积网络提取该第一样本数据的第一样本特征。该第二分支网络可以通过逆向采样器对样本数据集进行均匀采样,得到第二样本数据,通过卷积网络提取该第二样本数据的第二样本特征。第一分支网络和第二分支网络的卷积网络的结构可以相同。示例性的,本申请实施例中,使用ResNet-50(Residual Network,残差网络)作为基础模型,模型结构如下表1所示。其中,Conv3_x(Convolutional,卷积层)和Conv4_x的第一层的stride(步长)均为2。其中,每个卷积层之后都接有ReLU(RectifiedLinearUnit,线性整流函数,是一种激活函数)层以及BatchNormalization(批标准化)层。如下表1,表1示出了ResNet-50的Layer name(层的名字)、Output size(输出尺寸)、以及每个卷积网络结构等三个维度的信息。
表1
样本数据集可以使用从合作医院收集的2725张X光(X射线)扫描的图像进行模型训练与测试。其中,可以按照70:10:20的比例将数据分为训练集、验证集和测试集。X-Ray(X光)穿透照射,拍摄成的图片,可用于医学治疗中。
X光扫描的图像的分辨率比较大,一般为1000×1500,为了便于模型处理,可以将扫描的图像缩放至352×352,也即是表1中Conv1的输入为352×352的图像,Conv1包括64个7×7大小的卷积核,步长为2,Conv1输出的特征图尺寸为176x176。Conv2_x包括3个模块(blocks),每个模块包括三个卷积层,第一个卷积层包括64个7×7大小的卷积核,第二个卷积层包括64个3×3大小的卷积核,第三个卷积层包括256个1×1大小的卷积核,Conv2_x输出的特征图尺寸为88x88。Conv3_x包括4个模块(每个模块包括如表1示出的三个卷积层,结构与Conv2_x同理,只是数量上有所改变,此处不再赘述),Conv3_x输出的特征图尺寸为44x44。Conv4_x包括6个模块,Conv4_x输出的特征图尺寸为22x22。Conv5_x包括3个模块,Conv5_x输出的特征图尺寸为11x11,其中,Conv5_x输出的11x11特征图中每个特征点包括2048个通道的特征。Conv5_x之后为分类器,输出一个包括5个通道的特征的特征矩阵,该5个通道的特征可以对应为5个病变级别的概率。需要说明的是,该分类器可以包括转换矩阵,通过该转换矩阵,将Conv5_x输出的2048维度的特征矩阵转换为5维度的特征矩阵。
其中,每个模块(block)的结构如图3所示。模块可以为残差网络的结构,该模块的输入为上一层输出的256维的特征矩阵,该模块中第一个卷积层包括64个1×1大小的卷积核,第二个卷积层包括64个3×3大小的卷积核,第三个卷积层包括256个1×1大小的卷积核;其中,每个卷积层之后可以包括ReLU层,此外,还可以包括Batch Normalization层。在每个模块中,输入的特征矩阵经过每个卷积层、并经过每个卷积层之后的ReLU层和BatchNormalization层处理后,得到的特征矩阵可以与输入该模块的256维的特征矩阵再进行相加,并将相加的结果再经过ReLU层处理后,即为该模块的输出结果。
需要说明的是,上述仅以网络使用ResNet-50的结构进行举例说明,当然,还可以采用气他网络结构,例如,VGG-16(Visual Geometry Group,计算机视觉组)网络或DenseNet-121(Densely Connected Networks,稠密连接网络)网络等等,本申请实施例对此不做限定。
步骤202、计算机设备分别对该第一样本特征和该第二样本特征进行融合,得到至少两个融合特征,以及,对该第一样本标签和第二样本标签进行融合,得到该至少两个融合特征对应的至少两个融合标签。
该计算机设备可以采用融合参数对第一样本特征和第二样本特征进行融合,以及采用相同的融合参数,对第一样本特征和第二样本特征所对应的样本标签进行融合。在一种可能实现方式中,步骤202可以包括:该计算机设备获取至少两个融合参数对,每个融合参数对包括两个随机参数,该两个随机参数的取值范围为大于0且小于1;对于每个融合参数对,计算机设备基于该每组融合参数所包括的两个随机参数,分别对该第一样本特征和该第二样本特征进行融合,得到该融合参数对所对应的融合特征,对该第一样本标签和该第二样本标签进行入融合,得到该融合参数对所对应的融合特征的融合标签。示例性的,该计算机设备可以获取0到1之间的两个随机数作为一个融合参数对。
图4示出了本申请实施例提供的一种融合过程示意图。如图4所示,假设两个分支分别对各自采样的样本所产生的样本特征为fc和fr,对应的金标准为yc和yr,也即是,各自采样的样本的真值标签为yc和yr,正方体表示fc和fr各自对应的特征矩阵,γ为fc的随机融合参数,λ为fr的随机融合参数,基于两个随机融合参数对两个分支的样本特征进行融合后,得到融合特征为f。
在一个可能示例中,以两个融合参数对为例,该计算机设备可以通过以下公式一,基于第一个融合参数对,分别对该第一样本特征和该第二样本特征进行融合得到第一融合特征,对该第一样本标签和该第二样本标签进行入融合得到该第一融合特征对应的第一融合标签;同理,基于第二个融合参数对,分别对该第一样本特征和该第二样本特征进行融合得到第二融合特征,对该第一样本标签和该第二样本标签进行入融合得到该第二融合特征对应的第二融合标签。
其中,fc为第一样本特征,fr为第二样本特征,yc为第一样本特征所对应的第一样本标签,也即是第一样本数据的真值标签,yr为第二样本特征所对应的第二样本标签,也即是第二样本数据的真值标签;γ1和λ1为第一个融合参数对,f1为第一融合特征,y1为第一融合特征对应的第一融合标签;γ2和λ2为第二个融合参数对,f2为第一融合特征,y2为第一融合特征对应的第一融合标签;其中,γ1和λ1、γ2和λ2可以为[0,1]范围内的随机数。
需要说明的是,计算机设备可以将第一分支网络的一个样本和第二分支网络的一个样本作为一组样本,针对每组样本,对该组样本的样本特征进行融合以及样本标签进行融合,并执行后续步骤203,步骤202中,计算机设备可以针对每组样本获取该至少两个融合参数对。上述仅以两个融合参数对进行举例说明,当然,若有三个或更多个融合参数对,可以基于与上述公式一对应的过程同理方式,得到三个或更多个融合特征及其对应的融合标签,此处不再一一赘述。
步骤203、计算机设备基于锚点特征对应的锚点标签和该至少两个融合标签,确定该至少两个融合特征中的正样本特征和负样本特征。
其中,该锚点特征为该第一样本特征和第二样本特征中任一样本特征。
本步骤中,该计算机设备确定锚点特征以及锚点特征对应的锚点标签,基于锚点标签分别与每个融合标签之间的相似度,确定对应的至少两个融合特征中的正样本特征和负样本特征。在一种可能实现方式中,步骤203可以包括:计算机设备确定该锚点标签分别与该至少两个融合特征中每个融合特征之间的相似度,得到至少两个相似度;计算机设备将该至少两个相似度中第三相似度所对应的融合特征,作为该正样本特征,将该至少两个相似度中第四相似度所对应的融合特征,作为该负样本特征,该第三相似度大于该第四相似度。示例性的,该计算机设备可以将第一样本特征和第二样本特征中任一特征作为锚点特征,则该任一特征对应的样本标签作为锚点特征对应的锚点标签。
示例性的,以两个融合参数对为例,我们将第一样本特征fc作为anchor(锚点),并计算锚点标签yc分别与两个融合标签y1、y2之间的差值,将两个融合标签y1、y2中差值较小的融合标签对应的融合特征作为正样本特征fp,差值较小的融合标签对应的融合特征作为负样本特征fn。当然,如果有三个或更多个融合特征及其对应的融合标签,可以将至少两个融合标签中差值最小的融合标签对应的融合特征作为正样本特征,差值最大的融合标签对应的融合特征作为负样本特征。又或者,还可以采用其他筛选规则来筛选正负样本特征。例如,正样本特征为差值最小的融合标签对应的融合特征,正样本特征为差值大于最小差值的任一融合标签对应的融合特征。正样本特征对应的样本标签与锚点标签更接近,负样本特征则相对较远。本申请实施例对该至少两个融合特征中正负样本特征的筛选规则不做限定。
步骤204、计算机设备确定该锚点特征与正样本特征之间的第一相似度、以及该锚点特征与负样本特征之间的第二相似度,基于该第一相似度和该第二相似度之间的差异,对该第一分支网络和该第二分支网络进行训练,得到训练后的目标模型。
在一种可能实现方式中,模型训练的过程可以包括:当该第二相似度与该第一相似度之间的差值不高于目标数值时,计算机设备对该第一分支网络和第二分支网络进行迭代训练,直至该第二相似度高于该第一相似度该目标数值时停止训练,得到该目标模型。其中,该计算机设备可以多次重复执行上述步骤201-203的过程,并基于每次重复过程的第一相似度和该第二相似度之间的差异,对第一分支网络和第二分支网络中模型参数进行优化,以对初始模型进行迭代训练,直至满足该第二相似度高于该第一相似度该目标数值时停止迭代,得到目标模型。
在一个可能示例中,该计算机设备可以基于锚点特征、正样本特征以及负样本特征,通过以下公式二所示出的三元组损失函数,确定本次迭代训练的损失值,直至该损失值达到第一优化条件时,停止迭代,得到目标模型:
其中,为Tripletloss(三元组损失函数)的损失值,d(x,y)表示x和y之间的距离,也即是,d(fc,fp)为锚点特征fc和正样本特征fp之间的第一距离,该第一距离越大,第一相似度越小;d(fc,fn)为锚点特征fc和负样本特征fn之间的第二距离,该第二距离越大,第二相似度越小;例如,该距离可以用曼哈顿距离(L1距离)进行表示,则d(x,y)=||x-y||1。margin(边缘参数)的取值可以为目标数值。
需要说明的是,对象分级时,对象级别的特征之间存在连续性。例如,对象的病变分级时,各个病变级别的特征之间是连续变化的,也即是,病变分级过程有以下重要的分级先验:从一级病变到二级病变再到三级病变,是一个逐渐变化的过程,二级病变是在一级病变的基础上的严重程度增大,三级病变则是在二级病变的基础上严重程度增大,四级病变是在三级病变的基础上严重程度增大,相应的,每一级别病变对应的图像的特征之间也存在连续的关联性,也即是,每一级别病变对应的图像的特征也呈现逐级渐变的趋势。显然,二级病变与相邻的一级病变、三级病变之间的特征差异接近或较小,而二级病变与四级病变之间的特征差异则相对较大。例如,病变级别较高(三级、四级)的患者在病灶上往往存在相似的特征,该类表征明显区别与级别较低(一级、二级)的患者,也即是,四级与三级差距相对较小、与一级二级差距相对较大。
本申请实施例正是基于上述分级先验,通过上述步骤202-204,将该分级先验嵌入至网络学习中,通过两个分支网络输出的特征进行融合,并将融合得到的两个新的病变特征进行对比学习,通过构造锚点和正负样本对,判断出两个新的病变特征哪个病变更严重,并基于此对两个分支网络进行特征对比学习,使网络在对比中学习病变级别之间的相关关系,从而使得目标模型能够更加准确的进行病变分级,提高了病变分级的准确率。
通过上述步骤202对样本特征进行融合,并对样本标签进行对应融合,从而细化出各级之间的中间级别的病灶的特征,增强了病变级别的特征精细化表达,后续基于此进行分支网络的优化,能够进一步提高网络所提取的特征的精确性。
通过上述步骤203确定出融合特征中的正样本特征和负样本特征,并进一步通过步骤204,利用锚点特征分别与正负样本特征之间的两个相似度之间的差异,对模型进行迭代训练,以使模型可以通过正负样本对进行对比学习,优化两个分支网络的特征表达,从而在特征空间中拉近锚点与正样本特征之间的距离,同时拉开锚点与负样本特征之间的距离。也即是,使得正样本特征与锚点特征更接近,而使得负样本特征在特征空间上远离锚点特征,达到减少相邻级别的样本之间的特征差距、增大不相邻的间隔级别的样本之间的特征差距的目的,进而实现将对象分级的重要的分级有效的嵌入至网络中进行学习,提高了训练后的目标模型进行对象分级的准确性。
如图5所示,Triplet loss可以在特征空间中拉近anchor和positive(正样本)之间的距离,同时拉开anchor与negative(负样本)之间的距离,达到减少类内差距,也即是减小相邻病变级别之间的特征差异;同时增大类间差距的目的,也即是增大不相邻的间隔病变级别之间的特征差异。
上述过程为针对网络的特征保证的学习,在一种可能的实现方式中,还可以针对网络的分类学习,例如,针对两个分支网络各自对应的病变分级结果,对网络进行学习。在一个可能示例中,该目标模型的训练过程,还包括以下步骤S1-步骤S3的过程。
步骤S1、计算机设备基于该第一样本特征,获取第一样本数据的第一样本级别,以及,基于该第二样本特征,获取第二样本数据的第二样本级别。
该计算机设备可以基于第一样本特征,通过第一分支网络的分类器预测该第一样本数据的第一样本级别;并基于第二样本特征,通过第二分支网络的分类器预测第二样本数据的第二样本级别。
步骤S2、计算机设备获取该第一样本数据的第一损失权重和第二样本数据的第二损失权重。
在一个可能实现方式中,该计算机设备可以确定当前迭代训练过程的当前迭代次数;该计算机设备基于该当前迭代次数和总迭代次数之间的比值,确定该第一损失权重;该计算机设备将该目标阈值与该第一损失权重之间的差值,作为该第二损失权重。
示例性的,该计算机设备可以通过以下公式三,获取该第一损失权重:
其中,α表示第一损失权重,N为当前迭代训练过程的当前迭代次数,Nmax为迭代训练的总迭代次数。该目标阈值可以为1,则第二损失权重可以为(1-α)。当然,该目标阈值可以基于需要进行配置,例如,目标阈值还可以为0.9、0.95等等,本申请实施例对此不作具体限定。
例如,总迭代次数为30次,则在多次迭代训练过程中,N的数值由1逐渐增大至30,相应的,第一损失权重的数值由接近1逐渐减小至接近0,而第二损失权重的数值由接近0逐渐大增至接近1。
步骤S3、计算机设备分别基于该第一损失权重和第二损失权重,对第一差异和第二差异进行加权处理,得到第三差异。
其中,该第一差异为该第一样本级别与第一样本标签之间的差异,该第二差异为该第二样本级别和第二样本标签之间的差异。本步骤中,该计算机设备获取第一差异以及第二差异,并分别基于第一损失权重对第一差异进行加权处理、基于第二损失权重对第二差异进行加权处理,并将两个加权处理得到的结果进行求和,得到该第三差异。
示例性的,该计算机设备可以通过损失函数对应的以下公式四,基于该第一损失权重和第二损失权重,对第一差异和第二差异进行加权处理,得到第三差异。
其中,表示损失函数的损失值,也即是第三差异,E(.)为交叉熵计算函数,表示第一分支网络的分类器对应的转换矩阵,表示第二分支网络的分类器对应的转换矩阵,fc为第一样本特征,fr为第二样本特征,相应的,表示基于第一分支网络的第一样本特征进行预测的第一样本级别,表示基于第一分支网络的第一样本特征进行预测的第二样本级别。yc为第一样本特征所对应的第一样本标签,也即是第一样本数据的真值标签,yr为第二样本特征所对应的第二样本标签,也即是第二样本数据的真值标签。α表示第一损失权重,(1-α)表示第二损失权重,两个损失权重的数值随着迭代次数的变化而变化。
示例性的,该计算机设备基于该第三差异进行训练时,例如可以基于上述公式四中损失函数的损失值,对第一分支网络和第二分支网络中参数进行优化,以实现对模型的迭代训练,直至达到第二优化条件时,停止迭代,得到目标模型,其中,第二优化条件可以包括但不限于:第三差异对应的损失函数的损失值不高于0.05、损失值为0等等。例如,可以对卷积层中参数、分类器中转换矩阵等网络参数进行优化。
在一种可能实现方式中,基于上述步骤S1至步骤S3,该计算机设备基于该第一相似度和该第二相似度之间的差异,对该第一分支网络和该第二分支网络进行训练,得到训练后的目标模型的步骤可以替换为:步骤S4、该计算机设备基于该第一相似度和该第二相似度之间的差异、以及该第三差异,对该第一分支网络和该第二分支网络进行训练,得到该目标模型。
需要说明的是,该计算机设备可以分别基于该第一相似度和该第二相似度之间的差异进行模型训练,以及基于第三差异进行模型训练。也可以基于该第一相似度和该第二相似度之间的差异、以及第三差异,对模型进行联合训练。本申请实施例对基于两种差异进行联合训练、或者分别基于两种差异分开训练的方式,不做限定。此外,本申请实施例对步骤202-203的执行顺序与步骤S1-S3的执行顺序不做限定。
样本数据集可以使用从合作医院收集的2725张X光(X射线)扫描的图像进行模型训练与测试。其中,可以按照70:10:20的比例将数据分为训练集、验证集和测试集。训练集可用于对模型进行训练;验证集可用于调整模型的超参数、用于对模型的对象分级能力进行初步评估,例如可在模型迭代训练时,验证当前模型泛化能力、准确率等,以参考是否停止继续训练。测试集可用于评估模最终模型的泛化能力、准确率。在测试阶段,测试图像将同时输入两个分支,得到预测概率分布后,将两个概率分布进行平均得到最终的预测结果。
模型中网络可以为CNN(Convolutional Neural Network,卷积神经网络),CNN是广泛使用于图像分类任务中的一种深度学习网络,网络包含卷积层、池化层与全连接层等。其中,CNN中各个卷积层可以输出的特征可以为Feature Map(特征图)的形式,特征图是指图像和滤波器进行卷积后得到的特征图,特征图可以和滤波器进行卷积再生成新的特征图。Contrastive Learning(对比学习),是通过输入构建好的正负样本对让机器进行特征提取与学习,使其更好的提取域内共性与域间差异性。
以该级别为病变级别进行举例说明,在病变分级的任务中,通常存在数据不均衡的问题。这是由于患者在达到某个病变级别后才会有明显感觉(例如痛感),并前往医院就医。同时,由于定期体检筛查的存在,医院采集的正常样本数量也会大幅超过病变样本。这导致用于模型训练的样本存在两个不平衡关系:一方面,正常与病变样本数不均衡;另一方面,病变级别之间存在不均衡,即引起患者不适的病变级别样本明显多于较轻或较重级别的样本数量。使用病变级别之间样本量不均衡的数据训练模型,会让模型预测存在明显的偏向性,例如偏向样本量多的类别,降低模型泛化性。针对该问题,申请人提出了上述的用于对象分级的模型训练方法,可明显提高训练后的目标模型在样本不均衡的对象分级数据上的性能。利用上述步骤S1-S4的训练过程,可以通过该两个分支网络的损失权重,自适应的在两个分支网络之间逐渐切换学习的注意力,在不丢失样本量大的级别的样本数据上的精度的前提下,明显提升样本量小的级别的样本数据上的准确率。并在此基础上,进一步提出上述步骤202-204的过程,利用构造的正负样本对进行对比学习,实现在对象分级任务中将重要的分级先验嵌入至网络中,使网络学习相邻类别之间的连续性的共性特征,增大特征在域内共性的表达,增强不相邻的间隔类别,也即是域间差异性的特征表达,使得网络在对比学习中学习对象级别之间的渐变关系,提高对象分级的准确率。
为对本申请实施例的训练流程进行清晰介绍,下面以图6示出的网络模型结构,对上述训练流程进一步阐述。如图6所示,第一分支网络可以为经典分支(ConventionalBranch),第二分支网络可以为平衡分支(Re-balancing Branch)。为了减少模型参数量,两个分支的主干网络相互共享权重。如图6所示,在经典分支中,采用均匀采样的方式,如坐标轴所示,从大类至小类的类别采样率逐渐减小,其中,大类是指样本数据集中样本量较大的类别,小类则是样本量较小的类别;均匀采样时每个样本的被采用的概率均相同,则大类样本的采样量大于小类;在该经典分支中将第一样本数据输入至特征提取的卷积网络中,经过层层卷积层的特征提取、以及池化层的全局平均值池化处理,得到第一样本特征fc。在平衡分支中,采用逆向采样的方式,从大类至小类的类别采样率之间增大,在该经典分支中将采样得到的第二样本数据输入至特征提取的卷积网络中,经过层层卷积层的特征提取、以及池化层的全局平均值池化处理,得到第二样本特征fr。在两个分支之后连接有对比学习模块(Mixing Module)和积累学习模块(Cumulative Learning Module)。可以将第一样本特征和第二样本特征输入至对比学习模块,利用对比学习模块执行上述步骤202-204的过程,计算损失值以通过正负样本对的对比学习优化网络;以及,将第一样本特征和第二样本特征输入至积累学习模块,利用积累学习模块执行上述步骤S1-S4的过程,计算损失值以通过预测结果和真值标签优化网络,最终得到该目标模型。
本申请实施例提供的用于对象分级的模型训练方法,通过两个分支网络按照不同的类别采样率在至少两个类别的样本数据集中采样,以及分别获取各自采样数据的第一样本特征和第二样本特征,从而通过两个分支为后续的分离学习提供可能,再分别对该两个样本特征进行融合得到至少两个融合特征,对两个样本标签进行融合得到至少两个融合特征对应的至少两个融合标签,以提高样本特征的丰富度;进一步确定出该至少两个融合特征中的正样本特征和负样本特征,确定该锚点特征分别与正样本特征之间的第一相似度、以及与负样本特征之间的第二相似度,以进一步基于两个相似度之间的差异,对网络进行训练得到目标模型;从而基于正负样本对来对网络进行对比学习,使网络在对比中学习对象级别之间的特征相关关系,使得两个分支网络能够更好的表达相邻级别之间的共性特征、以及区分不相邻的间隔级别之间的差异性,从而使得目标模型能够更加准确的进行对象分级,提高了对象分级的准确率。
图7为本申请实施例提供的一种对象分级方法的流程示意图。该方法的执行主体可以为计算机设备。如图7所示,该方法包括以下步骤。
步骤701、计算机设备响应于任一请求设备的分级请求,基于任一对象的目标图像,调用目标模型,得到该目标图像所对应对象的级别,该分级请求用于请求返回该目标图像所对应对象的级别。
该请求设备可以为用户的设备,例如,用户的终端。在一些可能场景中,以该级别为病变级别进行举例说明,医生或者患者可以基于医疗平台提供的病变分级服务,向该计算机设备发送分级请求,该计算机设备可以基于该分级请求的目标图像对目标模型进行调用。示例性的,该计算机设备可以配置有病变分级服务的服务接口,基于该服务接口向提供该服务的云计算中心的设备发送该目标图像,以获取该目标图像的病变级别。
示例性的,云计算中心的设备可以配置基于上述用于对象分级的模型训练方法训练得到的目标模型,该云计算中心的设备将该目标图像输入至目标模型,通过该目标模型中已训练好的第一分支网络,提取目标图像的第一特征,并基于第一分支网络的分类器,获取第一特征对应的第一概率分布矩阵,该第一概率分布矩阵包括该目标图像为每种级别的概率;例如,包括五种病变级别对应的5个概率值;同理,通过该目标模型中已训练好的第二分支网络,提取目标图像的第二特征,并基于第二分支网络的分类器,获取第二特征对应的第二概率分布矩阵,该第二概率分布矩阵包括该目标图像为每种级别的概率;例如,包括五种病变级别对应的5个概率值;该云计算中心的设备将第一概率分布矩阵和第二概率分布矩阵进行求和再取平均,得到最终的概率分布矩阵,将该概率分布矩阵中最大概率值对应的级别,作为该目标图像所对应对象的级别;例如,将5个概率值中最大概率值对应的病变级别作为该目标图像所对应对象的病变级别。
步骤702、计算机设备向该任一请求设备返回该目标图像所对应对象的级别。
其中,该目标模型是基于上述实施例提供的用于对象分级的模型训练方法进行训练得到。该请求设备接收该计算机设备返回的级别,并向用户显示该目标图像所对应对象的级别。
通过基于上述的用于对象分级的模型训练方法完成模型训练后,直接将目标模型搭载于云计算中心以方便调用。例如,用户可通过医疗平台上传疑似病变图像,上传至医疗平台的医疗服务器,该医疗服务器调用云计算中心的目标模型。云计算中心的服务器可通过目标模型对该上传图像自动进行分级评估,云计算中心的服务器向医疗服务器返回评估结果,该医疗服务器向用户返回该疑似病变图像对应的病变级别。
本申请实施例提供的对象分级方法,通过计算机设备基于分级请求,调用目标模型,并基于该模型调用过程返回目标图像所对应对象的级别实现自动分级;例如,实现自动对患者的病变级别进行精确评估,减少临床医生阅片负担等,且计算机设备自身不需要存储或训练模型,节省了成本,实现多方对目标模型的统一调用,进一步提高对象分级的便捷性和实用性;并且,该目标模型为基于上述的用于对象分级的模型训练方法进行训练得到,提高了对象分级的准确性。
图8为本申请实施例提供的一种用于对象分级的模型训练装置的结构示意图,待训练的初始模型包括第一分支网络和第二分支网络,如图8所示,本实施例的装置可以包括:
提取模块801,用于基于该第一分支网络对样本数据集进行采样,并提取采样的第一样本数据的第一样本特征,以及,基于该第二分支网络对样本数据集进行采样,并提取采样的第二样本数据的第二样本特征;
融合模块802,用于分别对该第一样本特征和该第二样本特征进行融合,得到至少两个融合特征,以及,对该第一样本标签和第二样本标签进行融合,得到该至少两个融合特征对应的至少两个融合标签;
确定模块803,用于基于锚点特征对应的锚点标签和该至少两个融合标签,确定该至少两个融合特征中的正样本特征和负样本特征;
训练模块804,用于确定该锚点特征与正样本特征之间的第一相似度、以及该锚点特征与负样本特征之间的第二相似度,基于该第一相似度和该第二相似度之间的差异,对该第一分支网络和该第二分支网络进行训练,得到训练后的目标模型;
其中,该样本数据集包括至少两种类别的样本,该第一分支网络和第二分支网络的类别采样率不同,该类别采样率是指针对样本数据集中样本量不同的至少两种类别的样本的采样率;该第一样本数据对应第一样本标签,该第二样本数据对应第二样本标签;该锚点特征为该第一样本特征和第二样本特征中任一样本特征。
在一个可能实现方式中,该确定模块803,用于确定该锚点标签分别与该至少两个融合特征中每个融合特征之间的相似度,得到至少两个相似度;将该至少两个相似度中第三相似度所对应的融合特征,作为该正样本特征,将该至少两个相似度中第四相似度所对应的融合特征,作为该负样本特征,该第三相似度大于该第四相似度。
在一个可能实现方式中,该训练模块804,用于当该第二相似度与该第一相似度之间的差值不高于目标数值时,对该第一分支网络和第二分支网络进行迭代训练,直至该第二相似度高于该第一相似度该目标数值时停止训练,得到该目标模型。
在一个可能实现方式中,该融合模块802,用于获取至少两个融合参数对,每个融合参数对包括两个随机参数,该两个随机参数的取值范围为大于0且小于1;对于每个融合参数对,基于该每组融合参数所包括的两个随机参数,分别对该第一样本特征和该第二样本特征进行融合,得到该融合参数对所对应的融合特征,对该第一样本标签和该第二样本标签进行入融合,得到该融合参数对所对应的融合特征的融合标签。
在一个可能实现方式中,该提取模块801,用于基于该第一分支网络,对该样本数据集进行均匀采样,得到该第一样本数据,并提取该第一样本数据的第一样本特征;基于该第二分支网络,确定该样本数据集中每种类别的样本频率,基于该每种类别的样本频率,对该至少两种类别的样本进行逆向采样,得到该第二样本数据,并提取该第二样本数据的第二样本特征,该逆向采样是指至少两种类别的样本频率与采样率成反比,该样本频率是指每种类别的样本量在该样本数据集中所占比例。
在一个可能实现方式中,该装置还包括:
获取模块,用于基于该第一样本特征,获取第一样本数据的第一样本级别,以及,基于该第二样本特征,获取第二样本数据的第二样本级别;
该获取模块,还用于获取该第一样本数据的第一损失权重和第二样本数据的第二损失权重;
差异确定模块,用于分别基于该第一损失权重和第二损失权重,对第一差异和第二差异进行加权处理,得到第三差异,该第一差异为该第一样本级别与第一样本标签之间的差异,该第二差异为该第二样本级别和第二样本标签之间的差异;
相应的,该训练模块804,还用于基于该第一相似度和该第二相似度之间的差异、以及该第三差异,对该第一分支网络和该第二分支网络进行训练,得到该目标模型。
在一个可能实现方式中,该获取模块,还用于确定当前迭代训练过程的当前迭代次数;基于该当前迭代次数和总迭代次数之间的比值,确定该第一损失权重;将该目标阈值与该第一损失权重之间的差值,作为该第二损失权重。
本申请实施例提供的用于对象分级的模型训练装置,通过两个分支网络按照不同的类别采样率在至少两个类别的样本数据集中采样,以及分别获取各自采样数据的第一样本特征和第二样本特征,从而通过两个分支为后续的分离学习提供可能,再分别对该两个样本特征进行融合得到至少两个融合特征,对两个样本标签进行融合得到至少两个融合特征对应的至少两个融合标签,以提高样本特征的丰富度;进一步确定出该至少两个融合特征中的正样本特征和负样本特征,确定该锚点特征分别与正样本特征之间的第一相似度、以及与负样本特征之间的第二相似度,以进一步基于两个相似度之间的差异,对网络进行训练得到目标模型;从而基于正负样本对来对网络进行对比学习,使网络在对比中学习对象级别之间的特征相关关系,使得两个分支网络能够更好的表达相邻级别之间的共性特征、以及区分不相邻的间隔级别之间的差异性,从而使得目标模型能够更加准确的进行对象分级,提高了对象分级的准确率。
本实施例的用于对象分级的模型训练装置可执行本申请上述实施例所示的用于对象分级的模型训练方法,其实现原理相类似,此处不再赘述。
图9为本申请实施例提供的一种用于对象分级装置的结构示意图,如图9所示,本实施例的装置可以包括:
模型调用模块901,用于响应于任一请求设备的分级请求,基于任一对象的目标图像,调用目标模型,得到该目标图像所对应对象的级别,该分级请求用于请求返回该目标图像所对应对象的级别;
返回模块902,用于向该任一请求设备返回该目标图像所对应对象的级别;
其中,该目标模型是基于上述的用于对象分级的模型训练方法进行训练得到。
本申请实施例提供的对象分级装置,通过计算机设备基于分级请求,调用目标模型,并基于该模型调用过程返回目标图像所对应对象的级别实现自动分级;例如,实现自动对患者的病变级别进行精确评估,减少临床医生阅片负担等,且计算机设备自身不需要存储或训练模型,节省了成本,实现多方对目标模型的统一调用,进一步提高对象分级的便捷性和实用性;并且,该目标模型为基于上述的用于对象分级的模型训练方法进行训练得到,提高了对象分级的准确性。
本实施例的对象分级装置可执行本申请上述实施例所示的对象分级方法,其实现原理相类似,此处不再赘述。
图10是本申请实施例中提供了一种计算机设备的结构示意图。如图10所示,该计算机设备包括:存储器、处理器及存储在存储器上的计算机程序,该处理器执行上述计算机程序以实现用于对象分级的模型训练方法、对象分级方法的步骤,与相关技术相比可实现:
本申请实施例提供的用于对象分级的模型训练方法,通过两个分支网络按照不同的类别采样率在至少两个类别的样本数据集中采样,以及分别获取各自采样数据的第一样本特征和第二样本特征,从而通过两个分支为后续的分离学习提供可能,再分别对该两个样本特征进行融合得到至少两个融合特征,对两个样本标签进行融合得到至少两个融合特征对应的至少两个融合标签,以提高样本特征的丰富度;进一步确定出该至少两个融合特征中的正样本特征和负样本特征,确定该锚点特征分别与正样本特征之间的第一相似度、以及与负样本特征之间的第二相似度,以进一步基于两个相似度之间的差异,对网络进行训练得到目标模型;从而基于正负样本对来对网络进行对比学习,使网络在对比中学习对象级别之间的特征相关关系,使得两个分支网络能够更好的表达相邻级别之间的共性特征、以及区分不相邻的间隔级别之间的差异性,从而使得目标模型能够更加准确的进行对象分级,提高了对象分级的准确率。
本申请实施例提供的对象分级方法,通过计算机设备基于分级请求,调用目标模型,并基于该模型调用过程返回目标图像所对应对象的级别实现自动分级;例如,实现自动对患者的病变级别进行精确评估,减少临床医生阅片负担等,且计算机设备自身不需要存储或训练模型,节省了成本,实现多方对目标模型的统一调用,进一步提高对象分级的便捷性和实用性;并且,该目标模型为基于上述的用于对象分级的模型训练方法进行训练得到,提高了对象分级的准确性。
在一个可选实施例中提供了一种计算机设备,如图10所示,图10所示的计算机设备1000包括:处理器1001和存储器1003。其中,处理器1001和存储器1003相连,如通过总线1002相连。可选地,计算机设备1000还可以包括收发器1004,收发器1004可以用于该计算机设备与其他计算机设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器1004不限于一个,该计算机设备1000的结构并不构成对本申请实施例的限定。
处理器1001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器1001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线1002可包括一通路,在上述组件之间传送信息。总线1002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线1002可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器1003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscReadOnly Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质\其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质,在此不做限定。
存储器1003用于存储执行本申请实施例的计算机程序,并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的计算机程序,以实现前述方法实施例所示的步骤。
其中,计算机设备包括但不限于:服务器、终端、服务集群、云计算中心等等。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是,虽然本申请实施例的流程图中通过箭头指示各个操作步骤,但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明,否则在本申请实施例的一些实施场景中,各流程图中的实施步骤可以按照需求以其他的顺序执行。此外,各流程图中的部分或全部步骤基于实际的实施场景,可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行,这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下,这些子步骤或者阶段的执行顺序可以根据需求灵活配置,本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请的方案技术构思的前提下,采用基于本申请技术思想的其他类似实施手段,同样属于本申请实施例的保护范畴。
Claims (13)
1.一种用于对象分级的模型训练方法,其特征在于,待训练的初始模型包括第一分支网络和第二分支网络,所述方法包括:
基于所述第一分支网络对样本数据集进行采样,并提取采样的第一样本数据的第一样本特征,以及,基于所述第二分支网络对样本数据集进行采样,并提取采样的第二样本数据的第二样本特征;
分别对所述第一样本特征和所述第二样本特征进行融合,得到至少两个融合特征,以及,对所述第一样本标签和第二样本标签进行融合,得到所述至少两个融合特征对应的至少两个融合标签;
基于锚点特征对应的锚点标签和所述至少两个融合标签,确定所述至少两个融合特征中的正样本特征和负样本特征;
确定所述锚点特征与正样本特征之间的第一相似度、以及所述锚点特征与负样本特征之间的第二相似度,基于所述第一相似度和所述第二相似度之间的差异,对所述第一分支网络和所述第二分支网络进行训练,得到训练后的目标模型;
其中,所述样本数据集包括至少两种类别的样本,所述第一分支网络和第二分支网络的类别采样率不同,所述类别采样率是指针对样本数据集中样本量不同的至少两种类别的样本的采样率;所述第一样本数据对应第一样本标签,所述第二样本数据对应第二样本标签;所述锚点特征为所述第一样本特征和第二样本特征中任一样本特征。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一相似度和所述第二相似度之间的差异,对所述第一分支网络和所述第二分支网络进行训练,得到训练后的目标模型,包括:
当所述第二相似度与所述第一相似度之间的差值不高于目标数值时,对所述第一分支网络和第二分支网络进行迭代训练,直至所述第二相似度高于所述第一相似度所述目标数值时停止训练,得到所述目标模型。
3.根据权利要求1所述的方法,其特征在于,所述基于锚点特征对应的锚点标签和所述至少两个融合标签,确定所述至少两个融合特征中的正样本特征和负样本特征,包括:
确定所述锚点标签分别与所述至少两个融合特征中每个融合特征之间的相似度,得到至少两个相似度;
将所述至少两个相似度中第三相似度所对应的融合特征,作为所述正样本特征,将所述至少两个相似度中第四相似度所对应的融合特征,作为所述负样本特征,所述第三相似度大于所述第四相似度。
4.根据权利要求1所述的方法,其特征在于,所述分别对所述第一样本特征和所述第二样本特征进行融合,得到至少两个融合特征,以及,对所述第一样本标签和第二样本标签进行融合,得到所述至少两个融合特征对应的至少两个融合标签,包括:
获取至少两个融合参数对,每个融合参数对包括两个随机参数,所述两个随机参数的取值范围为大于0且小于1;
对于每个融合参数对,基于所述每组融合参数所包括的两个随机参数,分别对所述第一样本特征和所述第二样本特征进行融合,得到所述融合参数对所对应的融合特征,对所述第一样本标签和所述第二样本标签进行入融合,得到所述融合参数对所对应的融合特征的融合标签。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一分支网络对样本数据集进行采样,并提取采样的第一样本数据的第一样本特征,以及,基于所述第二分支网络对样本数据集进行采样,并提取采样的第二样本数据的第二样本特征,包括:
基于所述第一分支网络,对所述样本数据集进行均匀采样,得到所述第一样本数据,并提取所述第一样本数据的第一样本特征,所述均匀采样是指至少两种类别中每种类别的类别采样率与所述每种类别的样本频率成正比,所述样本频率是指每种类别的样本量在所述样本数据集中所占比例;
基于所述第二分支网络,确定所述样本数据集中每种类别的样本频率,基于所述每种类别的样本频率,对所述至少两种类别的样本进行逆向采样,得到所述第二样本数据,并提取所述第二样本数据的第二样本特征,所述逆向采样是指至少两种类别中每种类别的类别采样率与所述每种类别的样本频率成反比。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述第一样本特征,获取第一样本数据的第一样本级别,以及,基于所述第二样本特征,获取第二样本数据的第二样本级别;
获取所述第一样本数据的第一损失权重和第二样本数据的第二损失权重;
分别基于所述第一损失权重和第二损失权重,对第一差异和第二差异进行加权处理,得到第三差异,所述第一差异为所述第一样本级别与第一样本标签之间的差异,所述第二差异为所述第二样本级别和第二样本标签之间的差异;
相应的,所述基于所述第一相似度和所述第二相似度之间的差异,对所述第一分支网络和所述第二分支网络进行训练,得到训练后的目标模型,包括:
基于所述第一相似度和所述第二相似度之间的差异、以及所述第三差异,对所述第一分支网络和所述第二分支网络进行训练,得到所述目标模型。
7.根据权利要求6所述的方法,其特征在于,所述获取所述第一样本数据的第一损失权重和第二样本数据的第二损失权重,包括:
确定当前迭代训练过程的当前迭代次数;
基于所述当前迭代次数和总迭代次数之间的比值,确定所述第一损失权重;
将所述目标阈值与所述第一损失权重之间的差值,作为所述第二损失权重。
8.一种对象分级方法,其特征在于,所述方法包括:
响应于任一请求设备的分级请求,基于任一对象的目标图像,调用目标模型,得到所述目标图像所对应对象的级别,所述分级请求用于请求返回所述目标图像所对应对象的级别;
向所述任一请求设备返回所述目标图像所对应对象的级别;
其中,所述目标模型是基于权利要求1至7所述的用于对象分级的模型训练方法进行训练得到。
9.一种用于对象分级的模型训练装置,其特征在于,待训练的初始模型包括第一分支网络和第二分支网络,所述装置包括:
提取模块,用于基于所述第一分支网络对样本数据集进行采样,并提取采样的第一样本数据的第一样本特征,以及,基于所述第二分支网络对样本数据集进行采样,并提取采样的第二样本数据的第二样本特征;
融合模块,用于分别对所述第一样本特征和所述第二样本特征进行融合,得到至少两个融合特征,以及,对所述第一样本标签和第二样本标签进行融合,得到所述至少两个融合特征对应的至少两个融合标签;
确定模块,用于基于锚点特征对应的锚点标签和所述至少两个融合标签,确定所述至少两个融合特征中的正样本特征和负样本特征;
训练模块,用于确定所述锚点特征与正样本特征之间的第一相似度、以及所述锚点特征与负样本特征之间的第二相似度,基于所述第一相似度和所述第二相似度之间的差异,对所述第一分支网络和所述第二分支网络进行训练,得到训练后的目标模型;
其中,所述样本数据集包括至少两种类别的样本,所述第一分支网络和第二分支网络的类别采样率不同,所述类别采样率是指针对样本数据集中样本量不同的至少两种类别的样本的采样率;所述第一样本数据对应第一样本标签,所述第二样本数据对应第二样本标签;所述锚点特征为所述第一样本特征和第二样本特征中任一样本特征。
10.一种对象分级装置,其特征在于,所述装置包括:
模型调用模块,用于响应于任一请求设备的分级请求,基于任一对象的目标图像,调用目标模型,得到所述目标图像所对应对象的级别,所述分级请求用于请求返回所述目标图像所对应对象的级别;
返回模块,用于向所述任一请求设备返回所述目标图像所对应对象的级别;
其中,所述目标模型是基于权利要求1至7所述的用于对象分级的模型训练方法进行训练得到。
11.一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1至8中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210033666.1A CN114372564A (zh) | 2022-01-12 | 2022-01-12 | 用于对象分级的模型训练方法、对象分级方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210033666.1A CN114372564A (zh) | 2022-01-12 | 2022-01-12 | 用于对象分级的模型训练方法、对象分级方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114372564A true CN114372564A (zh) | 2022-04-19 |
Family
ID=81144871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210033666.1A Pending CN114372564A (zh) | 2022-01-12 | 2022-01-12 | 用于对象分级的模型训练方法、对象分级方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114372564A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114528112A (zh) * | 2022-04-25 | 2022-05-24 | 睿至科技集团有限公司 | 一种基于云计算的大数据信息分析方法及系统 |
CN116346697A (zh) * | 2023-05-30 | 2023-06-27 | 亚信科技(中国)有限公司 | 业务质量评测方法、装置及电子设备 |
CN116883673A (zh) * | 2023-09-08 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 语义分割模型训练方法、装置、设备及存储介质 |
CN117474464A (zh) * | 2023-09-28 | 2024-01-30 | 光谷技术有限公司 | 多业务处理模型训练方法、多业务处理方法和电子设备 |
CN117649683A (zh) * | 2024-01-30 | 2024-03-05 | 深圳市宗匠科技有限公司 | 一种痤疮分级方法、装置、设备及存储介质 |
-
2022
- 2022-01-12 CN CN202210033666.1A patent/CN114372564A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114528112A (zh) * | 2022-04-25 | 2022-05-24 | 睿至科技集团有限公司 | 一种基于云计算的大数据信息分析方法及系统 |
CN114528112B (zh) * | 2022-04-25 | 2022-07-29 | 睿至科技集团有限公司 | 一种基于云计算的大数据信息分析方法及系统 |
CN116346697A (zh) * | 2023-05-30 | 2023-06-27 | 亚信科技(中国)有限公司 | 业务质量评测方法、装置及电子设备 |
CN116346697B (zh) * | 2023-05-30 | 2023-09-19 | 亚信科技(中国)有限公司 | 通信业务质量评测方法、装置及电子设备 |
CN116883673A (zh) * | 2023-09-08 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 语义分割模型训练方法、装置、设备及存储介质 |
CN116883673B (zh) * | 2023-09-08 | 2023-12-26 | 腾讯科技(深圳)有限公司 | 语义分割模型训练方法、装置、设备及存储介质 |
CN117474464A (zh) * | 2023-09-28 | 2024-01-30 | 光谷技术有限公司 | 多业务处理模型训练方法、多业务处理方法和电子设备 |
CN117474464B (zh) * | 2023-09-28 | 2024-05-07 | 光谷技术有限公司 | 多业务处理模型训练方法、多业务处理方法和电子设备 |
CN117649683A (zh) * | 2024-01-30 | 2024-03-05 | 深圳市宗匠科技有限公司 | 一种痤疮分级方法、装置、设备及存储介质 |
CN117649683B (zh) * | 2024-01-30 | 2024-04-09 | 深圳市宗匠科技有限公司 | 一种痤疮分级方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Singh et al. | Image classification: a survey | |
CN114372564A (zh) | 用于对象分级的模型训练方法、对象分级方法及装置 | |
WO2022083536A1 (zh) | 一种神经网络构建方法以及装置 | |
Wang et al. | FE-YOLOv5: Feature enhancement network based on YOLOv5 for small object detection | |
Abid et al. | Multi-view convolutional recurrent neural networks for lung cancer nodule identification | |
CN112989085B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN114445670B (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
Voon et al. | Performance analysis of seven Convolutional Neural Networks (CNNs) with transfer learning for Invasive Ductal Carcinoma (IDC) grading in breast histopathological images | |
CN112419326B (zh) | 图像分割数据处理方法、装置、设备及存储介质 | |
WO2023065503A1 (zh) | 一种面部表情的分类方法和电子设备 | |
CN114648680B (zh) | 图像识别模型的训练方法、装置、设备、介质 | |
CN113177559B (zh) | 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质 | |
CN114330499A (zh) | 分类模型的训练方法、装置、设备、存储介质及程序产品 | |
Cao et al. | Supervised contrastive pre-training formammographic triage screening models | |
CN111275126A (zh) | 样本数据集生成方法、装置、设备及存储介质 | |
Gulati et al. | Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy | |
Sarhan et al. | Microaneurysms segmentation and diabetic retinopathy detection by learning discriminative representations | |
Feng et al. | Trusted multi-scale classification framework for whole slide image | |
CN113762037A (zh) | 图像识别方法、装置、设备以及存储介质 | |
CN111651626B (zh) | 图像分类方法、装置及可读存储介质 | |
CN113627522A (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
CN113610080A (zh) | 基于跨模态感知的敏感图像识别方法、装置、设备及介质 | |
Zhang et al. | Deep learning-based multi-model approach on electron microscopy image of renal biopsy classification | |
Yifan et al. | An efficient deep learning model for predicting Alzheimer's disease diagnosis by using pet | |
WO2024066927A1 (zh) | 图像分类模型的训练方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |