CN110929807A - 图像分类模型的训练方法、图像分类方法及装置 - Google Patents

图像分类模型的训练方法、图像分类方法及装置 Download PDF

Info

Publication number
CN110929807A
CN110929807A CN201911243450.2A CN201911243450A CN110929807A CN 110929807 A CN110929807 A CN 110929807A CN 201911243450 A CN201911243450 A CN 201911243450A CN 110929807 A CN110929807 A CN 110929807A
Authority
CN
China
Prior art keywords
image
classification model
result
image classification
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911243450.2A
Other languages
English (en)
Other versions
CN110929807B (zh
Inventor
陈豪
郑瀚
孙钟前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911243450.2A priority Critical patent/CN110929807B/zh
Publication of CN110929807A publication Critical patent/CN110929807A/zh
Application granted granted Critical
Publication of CN110929807B publication Critical patent/CN110929807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Abstract

本发明提供了一种图像分类模型的训练方法、基于人工智能的图像分类方法、装置及存储介质；其中，图像分类模型的训练方法包括：构建包括多个携带众包标注结果的图像样本的数据集；众包标注结果由多个标注者进行分类结果标注得到；获取图像分类模型的预测结果与真实分类结果之间的关联关系，关联关系指示图像分类模型的预测结果相对真实分类结果的可信度；基于标注者标注的分类结果、以及预测结果与真实分类结果之间的关联关系，构建图像分类模型的损失函数；基于数据集及损失函数，训练图像分类模型基于输入的待分类图像，预测相应的图像类别的性能。通过本发明，能够提高标注样本的利用率，以及提高训练得到的图像分类模型的预测准确度。

Description

图像分类模型的训练方法、图像分类方法及装置
技术领域
本发明涉及人工智能(AI，Artificial Intelligence)技术领域，尤其涉及一种图像分类模型的训练方法、基于人工智能的图像分类方法、装置、电子设备及存储介质。
背景技术
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。
机器学习(ML，machine Learning)是人工智能的一个分支，其目的是让机器根据先验的知识进行学习，从而具有分类和判断的逻辑能力。以神经网络为代表的机器学习模型不断发展，被逐渐应用到图像分类中，从而实现基于图像分类的各种智能化应用。
相关技术中，图像分类模型训练所采用的图像样本通过众包技术进行数据标注，同一个任务，通常会分发给多个专家或专业人员进行多次标注，然后选取多位标注者一致的结果，作为该任务的标签，抛弃不一致的标注样本，样本的利用率低。
发明内容
本发明实施例提供一种图像分类模型的训练方法、基于人工智能的图像分类方法、装置、电子设备及存储介质，能够提高标注样本的利用率，以及提高训练得到的图像分类模型的预测准确度。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像分类模型的训练方法，包括：
构建包括多个携带众包标注结果的图像样本的数据集；所述众包标注结果由多个标注者进行分类结果标注得到；
获取所述图像分类模型的预测结果与真实分类结果之间的关联关系，所述关联关系指示所述图像分类模型的预测结果相对真实分类结果的可信度；
基于标注者标注的分类结果、以及所述预测结果与真实分类结果之间的关联关系，构建所述图像分类模型的损失函数；
基于所述数据集及所述损失函数，训练所述图像分类模型基于输入的待分类图像，预测相应的图像类别的性能。
本发明实施例还提供一种基于人工智能的图像分类方法，所述方法包括：
通过图像分类模型对待分类图像进行特征提取，得到所述待分类图像的图像特征；
通过所述图像分类模型对所述图像特征进行分类预测，得到所述待分类图像对应的图像类别；
其中，所述图像分类模型通过本发明实施例提供的图像分类模型的训练方法训练得到。
本发明实施例还提供一种图像分类模型的训练装置，所述装置包括：
第一构建模块，用于构建包括多个携带众包标注结果的图像样本的数据集；所述众包标注结果由多个标注者进行分类结果标注得到；
获取模块，用于获取所述图像分类模型的预测结果与真实分类结果之间的关联关系，所述关联关系指示所述图像分类模型的预测结果相对真实分类结果的可信度；
第二构建模块，用于基于标注者标注的分类结果、以及所述预测结果与真实分类结果之间的关联关系，构建所述图像分类模型的损失函数；
训练模块，用于基于所述数据集及所述损失函数，训练所述图像分类模型基于输入的待分类图像，预测相应的图像类别的性能。
上述方案中，所述第二构建模块，还用于基于图像样本的真实分类结果、所述预测结果与真实分类结果之间的关联关系，确定对应所述图像样本的各个标注者的预测结果；
分别获取各所述预测结果与相应标注者的分类结果之间的差异；
基于各所述预测结果与相应标注者的分类结果之间的差异，构建所述图像分类模型的损失函数。
上述方案中，所述训练模块，还用于将所述图像样本输入至所述图像分类模型，得到对应所述图像样本的各个标注者的预测结果；
基于各个所述预测结果、所述图像样本的各个标注者标注的分类结果，确定所述损失函数的值；
基于所述损失函数的值，更新所述图像分类模型的模型参数。
上述方案中，所述训练模块，还用于分别获取所述图像样本的各个预测结果与相应标注者标注的分类结果之间的差异；
确定所获取的各个差异的差异和，将确定的所述差异和作为所述损失函数的值。
上述方案中，所述训练模块，还用于当所述损失函数的值超出预设阈值时，基于所述图像分类模型的损失函数确定相应的误差信号；
将所述误差信号在所述图像分类模型中反向传播，并在传播的过程中更新所述图像分类模型的模型参数。
上述方案中，所述训练模块，还用于通过所述图像分类模型的特征提取层，对所述图像样本进行特征提取，得到所述图像样本的图像特征；
通过所述图像分类模型的众包层，对提取的所述图像特征进行分类预测，得到对应所述图像样本的各个标注者的预测结果。
上述方案中，所述图像样本为医学图像样本，所述待分类图像为医学图像；所述装置还包括：
处理模块，用于通过所述图像分类模型的特征提取层，对所述医学图像进行特征提取，得到所述医学图像的图像特征；
通过所述图像分类模型的众包层，对所述医学图像的图像特征进行分类预测，得到所述医学图像对应的病灶类别。
本发明实施例还提供一种基于人工智能的图像分类装置，所述装置包括：
特征提取模块，用于通过图像分类模型对待分类图像进行特征提取，得到所述待分类图像的图像特征；
图像分类模块，用于通过所述图像分类模型对所述图像特征进行分类预测，得到所述待分类图像对应的图像类别；
其中，所述图像分类模型通过本发明实施例提供的图像分类模型的训练方法训练得到。
本发明实施例提供一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像分类模型的训练方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像分类模型的训练方法。
本发明实施例提供一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的图像分类方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的图像分类方法。
本发明实施例具有以下有益技术效果：
基于标注者标注的分类结果、以及图像分类模型的预测结果与真实分类结果之间的关联关系，构建图像分类模型的损失函数，并基于包括多个携带众包标注结果的图像样本的数据集以及损失函数，训练该图像分类模型，实现了对众包标注的图像样本的充分利用，提高了样本利用率，以及训练得到的图像分类模型的预测准确度。
附图说明
图1为本发明实施例提供的图像分类模型的训练方法的场景示意图；
图2为本发明实施例提供的图像分类模型的训练系统的一个可选的架构示意图；
图3为本发明实施例提供的电子设备的结构示意图；
图4为本发明实施例提供的图像分类模型的训练方法的流程示意图；
图5为本发明实施例提供的图像分类模型的组成结构示意图；
图6为本发明实施例提供的图像分类模型的训练方法的流程示意图；
图7为本发明实施例提供的图像分类模型的训练框架示意图；
图8为本发明实施例提供的图像分类模型的训练装置的组成结构示意图；
图9为本发明实施例提供的基于人工智能的图像分类装置的组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)众包标注，对于一项标注任务，将标注任务分配给多个标注者，由多个标注者分别进行标注，得到包含各个标注者的标注结果的众包标注结果；例如对于图像分类标注任务，一张图像经多个标注者独立进行标注，得到携带各个标注者所标注的分类结果的图像，以作为图像样本用于图像分类模型的训练。
2)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
相关技术中，对于众包标注的图像样本，由于不同的标注者的能力是不同的，因此，不同的标注者所给出的标注结果的可信度也是不同的，收集的标注结果中存在很多噪声，为了提高训练得到的图像分类模型的预测准确度，需要对众包标注的图像样本进行筛选，也即，需要进行众包标注数据整合，最常用也是最直接的方式是多数投票法，通过统计每个任务的标注结果，采用最多的标注结果作为该任务的最终标签，采用该方式会抛弃大量标注的样本，而标注结果花费了大量的人力和财力，却没有被有效的利用，使得样本的利用率很低，且采用该方式忽略了每个标注者的差异性，将所有标注者分配同样的权重，使得训练得到的图像分类模型的预测准确度低。
基于此，提出本申请的图像分类模型的训练方法、基于人工智能的图像分类方法、装置、电子设备及存储介质，以提高标注样本的利用率，以及提高训练得到的图像分类模型的预测准确度。
图1是本发明实施例提供的图像分类模型的训练方法的场景示意图，参见
图1，通过众包标注，构建包括多个携带众包标注结果的图像样本的数据集，也即每个图像样本均通过多个标注者进行分类结果标注，多个图像样本构成用于图像分类模型训练的数据集，基于构建的数据集训练图像分类模型，将图像样本输入至图像分类模型，输出对应各个标注者的预测结果。在本发明实施例中，由于用于训练图像分类模型的损失函数基于标注者标注的分类结果、以及图像分类模型的预测结果与真实分类结果之间的关联关系所构建，使得每个标注者的标注结果均得到利用，无需在模型训练前进行样本筛选，大大提高了样本利用率，由于并未限制标注者的权重相同，使得每个标注者的差异性得到充分体现，提高了训练得到的图像分类模型的预测准确度。
图2是本发明实施例提供的图像分类模型的训练系统的一个可选的架构示意图，参见图2，为实现支撑一个示例性应用，终端包括终端400-1和终端400-2，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线或有线链路实现数据传输。
终端(如终端400-1)，用于发送图像分类模型的训练请求给服务器200，训练请求中携带众包标注结果的图像样本，该标注结果由多个标注者进行分类结果标注得到；
在实际应用中，终端可以为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，还可以为可穿戴计算设备、个人数字助理(PDA)、台式计算机、蜂窝电话、媒体播放器、导航设备、游戏机、电视机、或者这些数据处理设备或其他数据处理设备中任意两个或多个的组合。
服务器200，用于获取图像分类模型的预测结果与真实分类结果之间的关联关系，该关联关系指示图像分类模型的预测结果相对真实分类结果的可信度；
以及，基于标注者标注的分类结果、以及预测结果与真实分类结果之间的关联关系，构建图像分类模型的损失函数；
以及，基于终端发送的图像样本及损失函数，训练图像分类模型基于输入的待分类图像，预测相应的图像类别的性能；
在实际实施时，服务器200既可以为单独配置的支持各种业务的一个服务器，亦可以配置为一个服务器集群；
终端(如终端400-1)，还用于发送携带待分类图像的图像分类请求给服务器200；
服务器200，还用于解析该图像分类请求得到待分类图像，将待分类图像输入至训练得到的图像分类模型中，预测得到对应待分类图像的图像类别，返回预测得到的图像类别给终端。
在一些实施例中，终端(如终端400-1)上设置有图像分类客户端，用户通过终端采集待分类图像，或者选择已采集的图像作为待分类图像，通过图像分类客户端发送携带待分类图像的图像分类请求给服务器，服务器利用训练得到的图像分类模型对待分类图像进行类别预测，并返回相应的类别预测结果给图像分类客户端，图像分类客户端呈现对应待分类图像的图像类别。
在一些实施例中，用于训练图像分类模型的图像样本为医学图像样本，基于医学图像样本训练得到的图像分类模型，可用于对医学图像进行分类预测，例如基于输入的医学图像，预测其相应的病灶类别；通过人工智能辅助医生进行诊断，能够大大提高医生的诊断速度和准确度。
具体地，服务器构建包括多个携带众包标注结果的医学图像样本的数据集；众包标注结果由多个标注者进行分类结果标注得到；获取图像分类模型的预测结果与真实分类结果之间的关联关系，关联关系指示图像分类模型的预测结果相对真实分类结果的可信度；基于标注者标注的分类结果、以及预测结果与真实分类结果之间的关联关系，构建图像分类模型的损失函数；基于数据集中的医学图像样本及损失函数，训练图像分类模型基于输入的待分类医学图像，预测相应的图像类别的性能。如此，通过建立图像分类模型的预测结果与真实分类结果之间的关联关系，并基于该关联关系构建图像分类模型的损失函数，使得图像分类模型能够直接利用不同标注者的噪音标签进行训练，大大提高了图像样本的利用率，并进一步提高了训练得到的图像分类模型的准确度。
接下来下面对实施本发明实施例的图像分类模型的训练方法的电子设备进行说明。在一些实施例中，电子设备可以为智能手机、平板电脑、笔记本电脑等各种类型的终端，还可以为服务器。参见图3，图3是本发明实施例提供的电子设备的结构示意图，图3所示的电子设备包括：处理器210、存储器250、网络接口220和用户接口230。电子设备中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的图像分类模型的训练装置可以采用软件方式实现，图3示出了存储在存储器250中的图像分类模型的训练装置255，其可以是程序和插件等形式的软件，包括以下软件模块：第一构建模块2551、获取模块2552、第二构建模块2553及训练模块2554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的图像分类模型的训练装置可以采用硬件方式实现，作为示例，本发明实施例提供的图像分类模型的训练装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像分类模型的训练方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DS P、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPG A，Field-Programmable Gate Array)或其他电子元件。
基于上述对本发明实施例的图像分类模型的训练系统及电子设备的说明，接下来对本发明实施例提供的图像分类模型的训练方法进行说明，图4为本发明实施例提供的图像分类模型的训练方法的流程示意图，在一些实施例中，该图像分类模型的训练方法可由服务器或终端实施，或由服务器及终端协同实施，以服务器实施为例，如通过图2中的服务器200实施，结合图2及图4，对本发明实施例提供的图像分类模型的训练方法进行说明。
步骤301：服务器构建包括多个携带众包标注结果的图像样本的数据集；众包标注结果由多个标注者进行分类结果标注得到。
这里，在实际实施时，通过众包标注形成图像分类模型的训练样本，对于一个类别标注任务，每个待标注的图像均要经多个标注者独立的进行标注，以形成对于该图像的众包标注结果。
在实际应用中，类别标注任务可以为应用于人脸识别的人脸标注、应用于行人检测的行人标注、应用于车辆识别或计数的车辆标注、应用于车牌检测及识别的车牌标注、应用于医学图像分类的病灶类别标注等；以标注任务为医学图像的病灶类别标注为例，每一个待标注的医学图像经过多个标注者(如医学专家、主治医生等)进行病灶类别的标注，形成携带众包标注结果的医学图像样本，例如，每个包括眼球的眼底图像经过多个标注者进行眼部病灶类别标注，眼部病灶类别包括正常、温和非增值性、中度非增值性、重度非增值性及增值性，以形成携带众包标注结果的眼底图像样本。
在一些实施例中，应用众包标注的图像样本进行模型训练之前，可以对训练数据进行预处理，即对数据集中的图像样本进行预处理，在一些实施例中，服务器可对图像样本进行如下处理：分别对每个图像样本进行大小调整，如对每个图像样本调整图像大小为286×286，然后将图像像素值进行归一化，如归一化至-1到1之间，然后，将图像样本进行随机剪裁(如随机裁剪出大小为256×256)和/或随机上下翻转，以实现数据增强。
步骤302：获取图像分类模型的预测结果与真实分类结果之间的关联关系，关联关系指示图像分类模型的预测结果相对真实分类结果的可信度。
在实际实施时，为了能够使得图像分类模型学习到标注者的可信度及标注偏差，可以构建图像分类模型的预测结果与真实分类结果之间的关联关系，以指示图像分类模型的预测结果相对真实分类结果的可信度。
在一些实施例中，可基于转移矩阵构建图像分类模型的预测结果与真实分类结果之间的关联关系，相应的，服务器可通过如下方式获取图像分类模型的预测结果与真实分类结果之间的关联关系：
服务器获取转移矩阵，该转移矩阵用于指示由图像分类模型的预测结果转移至相应的真实分类结果的概率；基于转移矩阵，构建图像分类模型的预测结果与真实分类结果之间的关联关系。
在一些实施例中，服务器可通过如下方式构建图像分类模型的预测结果与真实分类结果之间的关联关系：初始化多个标注者中第n个标注者对应的转移矩阵；确定第n个标注者对应的转移矩阵与真实分类结果的乘积，将确定的乘积作为对应第n个标注者的预测结果，以建立预测结果与真实分类结果之间的关联关系。
具体地，图像分类模型的预测结果与真实分类结果之间的关联关系可通过如下公式表示：
pn＝Wn*T； (1)
其中，n表示众包标注的第n个标注者，pn表示图像分类模型对应第n个标注者所标注的分类结果的预测结果，T表示对应图像样本的真实分类结果，Wn表示对应第n个标注者的转移矩阵，该转移矩阵表示了基于第n个标注者所标注的分类结果，图像分类模型输出的预测结果转移至相应的真实分类结果的概率，也即，转移矩阵表征了标注者的标注能力。
在一些实施例中，还可以对于标注者进行标注能力建模，以通过标注能力模型表征标注者的标注能力，例如，通过标注者的标注能力值的大小表征标注者的标注能力，而该标注能力值可基于标注者所标注的分类结果与其它标注者的标注结果的一致度，及当前的标注任务的任务难度表征，具体地，服务器可通过如下方式获取第n个标注者的标注能力值：
服务器获取当前的标注任务的任务难度D，以及第n个标注者与其它标注者的标注结果的一致度Gn；将所获取的任务难度D与一致度Gn的乘积的结果作为第n个标注者的标注能力值Yn。
这里，标注任务的任务难度D可采用如下公式(2)表示：
Figure BDA0002306886790000131
其中，k表示标注任务所对应的类别的数量，β表示该标注任务的平衡度，采用各类标注结果所占比率之间平均方差的倒数表示。
第n个标注者与其它标注者的标注结果的一致度Gn可采用如下公式(3)表示：
Figure BDA0002306886790000132
其中，an表示第n个标注者的标注结果，
Figure BDA0002306886790000133
表示标注结果与第n个标注者的标注结果相同的标注者的数量，N表示标注者的总数量。
相应的，第n个标注者的标注能力值Yn可采用如下公式(4)表示：
Figure BDA0002306886790000134
相应的，在一些实施例中，服务器可通过如下方式获取图像分类模型的预测结果与真实分类结果之间的关联关系：
服务器获取第n个标注者的标注能力值，基于该标注能力值，构建图像分类模型的预测结果与真实分类结果之间的关联关系；具体地，图像分类模型的预测结果与真实分类结果之间的关联关系可通过如下公式(5)表示：
pn＝Yn*T； (5)
步骤303：基于标注者标注的分类结果、以及预测结果与真实分类结果之间的关联关系，构建图像分类模型的损失函数。
在一些实施例中，服务器可通过如下方式构建图像分类模型的损失函数：
服务器基于图像样本的真实分类结果、预测结果与真实分类结果之间的关联关系，确定对应图像样本的各个标注者的预测结果；分别获取各预测结果与相应标注者的分类结果之间的差异；基于各预测结果与相应标注者的分类结果之间的差异，构建图像分类模型的损失函数。
这里，在实际实施时，图像分类模型的损失函数可通过对应多个标注者的交叉熵的和来表征，也即图像分类模型的损失函数可通过如下公式(6)表示：
Figure BDA0002306886790000141
预测结果与真实分类结果之间的关联关系，图像分类模型的损失函数可通过如下公式(7)表示：
Figure BDA0002306886790000142
由于用于训练图像分类模型的损失函数基于标注者标注的分类结果、以及图像分类模型的预测结果与真实分类结果之间的关联关系所构建，使得每个标注者的标注结果均得到利用，无需在模型训练前进行样本筛选，大大提高了样本利用率。
步骤304：基于数据集及损失函数，训练图像分类模型基于输入的待分类图像，预测相应的图像类别的性能。
在一些实施例中，服务器可通过如下方式训练图像分类模型基于输入的待分类图像，预测相应的图像类别的性能：
服务器将图像样本输入至图像分类模型，得到对应图像样本的各个标注者的预测结果；基于各个预测结果、图像样本的各个标注者标注的分类结果，确定损失函数的值；基于损失函数的值，更新图像分类模型的模型参数。
在实际实施时，服务器可通过如下方式确定损失函数的值：
服务器分别获取图像样本的各个预测结果与相应标注者标注的分类结果之间的差异；确定所获取的各个差异的差异和，将确定的差异和作为损失函数的值。
相应的，服务器可通过如下方式更新图像分类模型的模型参数：
当服务器确定损失函数的值超出预设阈值时，基于图像分类模型的损失函数确定相应的误差信号；将误差信号在图像分类模型中反向传播，并在传播的过程中更新图像分类模型的模型参数。
这里对反向传播进行说明，将训练样本数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际结果之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛。
以损失函数为(7)为例，服务器基于损失函数确定误差信号，误差信号从图像分类模型的输出层反向传播，逐层反向传播误差信号，在误差信号到达每一层时，结合传导的误差信号来求解梯度(也就是Loss函数对该层参数的偏导数)，将该层的参数更新对应的梯度值。
在一些实施例中，图5为本发明实施例提供的图像分类模型的组成结构示意图，接下来结合图5对图像分类模型对于图像样本的预测过程进行说明。
参见图5，本发明实施例提供的图像分类模型包括输入层、特征提取层、众包层及输出层；在实际实施时，通过输入层将图像样本输入至图像分类模型，通过图像分类模型的特征提取层，对图像样本进行特征提取，得到图像样本的图像特征；通过图像分类模型的众包层，对提取的图像特征进行分类预测，得到对应图像样本的各个标注者的预测结果。
这里，在实际应用中，图像分类模型的特征提取层可由任何具备对图像进行特征提取功能的网络构成，如可由包括卷积层、池化层及全连接层的卷积神经网络(CNN，Convolutional Neural Networks)构成。
在实际应用中，图像分类模型的众包层可以为具备softmax多分类功能的分类器，通过众包层，对提取的图像特征进行分类预测，得到对应各个标注者的各个类别的概率分布。
在实际应用中，图像分类模型训练所采用的图像样本为医学图像样本，训练得到的图像分类模型具备基于输入的待分类医学图像，预测相应的病灶类别的性能，以辅助医生进行疾病诊断。具体地，将待分类的医学图像输入至训练得到的图像分类模型，通过图像分类模型的特征提取层，对医学图像进行特征提取，得到医学图像的图像特征；通过图像分类模型的众包层，对医学图像的图像特征进行分类预测，得到医学图像对应的病灶类别。
应用本发明上述实施例，基于标注者标注的分类结果、以及图像分类模型的预测结果与真实分类结果之间的关联关系，构建图像分类模型的损失函数，并基于包括多个携带众包标注结果的图像样本的数据集以及损失函数，训练该图像分类模型，实现了对众包标注的图像样本的充分利用，提高了样本利用率，以及训练得到的图像分类模型的预测准确度。
接下来以图像样本为医学图像样本为例，对本发明实施例提供的图像分类模型的训练方法进行说明，图6为本发明实施例提供的图像分类模型的训练方法的流程示意图，图7为本发明实施例提供的图像分类模型的训练框架示意图；在一些实施例中，该图像分类模型的训练方法可由服务器或终端实施，或由服务器及终端协同实施，以服务器实施为例，结合图6及图7，本发明实施例提供的图像分类模型的训练方法包括：
步骤401：服务器构建包括多个携带众包标注结果的医学图像样本的数据集；众包标注结果由多个标注者进行分类结果标注得到。
这里，在实际应用中，在构建数据集之前，需要准备众包标注的医学图像样本，可让专业医生对影像数据集中医学图像的病灶类别进行标注，每张图像都需要经过多名医生基于自身的标注能力进行独立的病灶类别的标注，确保标注结果都来自标注者自身的判断。
例如，待标注的医学图像为包括眼球的眼底图像，标注任务为对眼底图像中眼球对应的病灶类别进行标注，每个包括眼球的眼底图像经过多个标注者进行眼部病灶类别标注，眼部病灶类别包括正常、温和非增值性、中度非增值性、重度非增值性及增值性，以形成携带众包标注结果的眼底图像样本。
步骤402：基于转移矩阵，构建图像分类模型的预测结果与真实分类结果之间的关联关系。
在实际应用中，转移矩阵用于指示由图像分类模型的预测结果转移至相应的真实分类结果的概率。
在一些实施例中，服务器可通过如下方式构建图像分类模型的预测结果与真实分类结果之间的关联关系：初始化多个标注者中第n个标注者对应的转移矩阵；确定第n个标注者对应的转移矩阵与真实分类结果的乘积，将确定的乘积作为对应第n个标注者的预测结果，以建立预测结果与真实分类结果之间的关联关系。
具体地，图像分类模型的预测结果与真实分类结果之间的关联关系可通过如下公式表示：
pn＝Wn*T；(1)
其中，n表示众包标注的第n个标注者，pn表示图像分类模型对应第n个标注者所标注的分类结果的预测结果，T表示对应医学图像样本的真实分类结果，Wn表示对应第n个标注者的转移矩阵，该转移矩阵表示了基于第n个标注者所标注的分类结果，图像分类模型输出的预测结果转移至相应的真实分类结果的概率，也即，转移矩阵表征了标注者的标注能力。
步骤403：基于标注者标注的分类结果、以及预测结果与真实分类结果之间的关联关系，构建图像分类模型的损失函数。
在一些实施例中，服务器基于标注者标注的分类结果、以及预测结果与真实分类结果之间的关联关系，构建的图像分类模型的损失函数如下公式(7)表示：
Figure BDA0002306886790000171
其中，N为标注者的总数量，an表示第n个标注者的标注结果。
步骤404：基于数据集及损失函数，训练图像分类模型基于输入的医学图像，预测相应的病灶类别的性能。
在实际实施时，服务器将医学图像样本输入至图像分类模型，得到对应医学图像样本的各个标注者的预测结果；分别获取医学图像样本的各个预测结果与相应标注者标注的分类结果之间的差异；确定所获取的各个差异的差异和，将确定的差异和作为损失函数的值；基于损失函数的值，采用梯度下降更新图像分类模型的模型参数。
步骤405：接收到携带医学图像的图像分类请求。
这里，在实际应用中，终端中可设置图像分类客户端，基于图像分类客户端发送携带待分类的医学图像的图像分类请求给服务器。
步骤406：基于图像分类请求，采用训练得到的图像分类模型预测对应医学图像的病灶类别。
在实际实施时，服务器解析图像分类请求得到医学图像，输入医学图像至图像分类模型，输出相应的病灶类别。
步骤407：返回预测得到的病灶类别。
在实际应用中，服务器返回预测得到的病灶类别给图像分类客户端，以使图像分类客户端显示对应医学图像的病灶类别，从而辅助医生进行疾病的诊断。
应用本发明上述实施例，由于用于训练图像分类模型的损失函数基于标注者标注的分类结果、以及图像分类模型的预测结果与真实分类结果之间的关联关系所构建，使得每个标注者的标注结果均得到利用，无需在模型训练前进行样本筛选，大大提高了样本利用率及图像分类模型的预测准确度。
继续对本发明实施例提供的图像分类模型的训练装置进行说明，图8为本发明实施例提供的图像分类模型的训练装置的组成结构示意图，参见图8，在一些实施例中，本发明实施例提供的图像分类模型的训练装置包括：
第一构建模块81，用于构建包括多个携带众包标注结果的图像样本的数据集；所述众包标注结果由多个标注者进行分类结果标注得到；
获取模块82，用于获取所述图像分类模型的预测结果与真实分类结果之间的关联关系，所述关联关系指示所述图像分类模型的预测结果相对真实分类结果的可信度；
第二构建模块83，用于基于标注者标注的分类结果、以及所述预测结果与真实分类结果之间的关联关系，构建所述图像分类模型的损失函数；
训练模块84，用于基于所述数据集及所述损失函数，训练所述图像分类模型基于输入的待分类图像，预测相应的图像类别的性能。
在一些实施例中，所述获取模块，还用于获取转移矩阵，所述转移矩阵用于指示由所述图像分类模型的预测结果转移至相应的真实分类结果的概率；
基于所述转移矩阵，构建所述图像分类模型的预测结果与真实分类结果之间的关联关系。
在一些实施例中，所述获取模块，还用于初始化所述多个标注者中第n个标注者对应的转移矩阵；
确定所述第n个标注者对应的转移矩阵与所述真实分类结果的乘积，将确定的所述乘积作为对应所述第n个标注者的预测结果，以建立所述预测结果与真实分类结果之间的关联关系。
在一些实施例中，所述第二构建模块，还用于基于图像样本的真实分类结果、所述预测结果与真实分类结果之间的关联关系，确定对应所述图像样本的各个标注者的预测结果；
分别获取各所述预测结果与相应标注者的分类结果之间的差异；
基于各所述预测结果与相应标注者的分类结果之间的差异，构建所述图像分类模型的损失函数。
在一些实施例中，所述训练模块，还用于将所述图像样本输入至所述图像分类模型，得到对应所述图像样本的各个标注者的预测结果；
基于各个所述预测结果、所述图像样本的各个标注者标注的分类结果，确定所述损失函数的值；
基于所述损失函数的值，更新所述图像分类模型的模型参数。
在一些实施例中，所述训练模块，还用于分别获取所述图像样本的各个预测结果与相应标注者标注的分类结果之间的差异；
确定所获取的各个差异的差异和，将确定的所述差异和作为所述损失函数的值。
在一些实施例中，所述训练模块，还用于当所述损失函数的值超出预设阈值时，基于所述图像分类模型的损失函数确定相应的误差信号；
将所述误差信号在所述图像分类模型中反向传播，并在传播的过程中更新所述图像分类模型的模型参数。
在一些实施例中，所述训练模块，还用于通过所述图像分类模型的特征提取层，对所述图像样本进行特征提取，得到所述图像样本的图像特征；
通过所述图像分类模型的众包层，对提取的所述图像特征进行分类预测，得到对应所述图像样本的各个标注者的预测结果。
在一些实施例中，所述图像样本为医学图像样本，所述待分类图像为医学图像；所述装置还包括：
处理模块，用于通过所述图像分类模型的特征提取层，对所述医学图像进行特征提取，得到所述医学图像的图像特征；
通过所述图像分类模型的众包层，对所述医学图像的图像特征进行分类预测，得到所述医学图像对应的病灶类别。
基于上述训练得到的图像分类模型，本发明实施例还提供一种利用训练得到的图像分类模型进行图像分类的图像分类装置，图9为本发明实施例提供的基于人工智能的图像分类装置的组成结构示意图，参见图9，本发明实施例提供的基于人工智能的图像分类装置包包括：
特征提取模块91，用于通过图像分类模型对待分类图像进行特征提取，得到所述待分类图像的图像特征；
图像分类模块92，用于通过所述图像分类模型对所述图像特征进行分类预测，得到所述待分类图像对应的图像类别；
其中，上述图像分类模型本发明实施例提供的图像分类模型的训练方法训练得到。
这里需要指出的是：以上涉及装置的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述，对于本发明实施例所述装置中未披露的技术细节，请参照本发明方法实施例的描述。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现本发明实施例提供的上述图像分类模型的训练方法。
本发明实施例还提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像分类模型的训练方法。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现本发明实施例提供的上述基于人工智能的图像分类方法。
本发明实施例还提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的基于人工智能的图像分类方法。
实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像分类模型的训练方法，其特征在于，所述方法包括：
构建包括多个携带众包标注结果的图像样本的数据集；所述众包标注结果由多个标注者进行分类结果标注得到；
获取所述图像分类模型的预测结果与真实分类结果之间的关联关系，所述关联关系指示所述图像分类模型的预测结果相对真实分类结果的可信度；
基于标注者标注的分类结果、以及所述预测结果与真实分类结果之间的关联关系，构建所述图像分类模型的损失函数；
基于所述数据集及所述损失函数，训练所述图像分类模型基于输入的待分类图像，预测相应的图像类别的性能。
2.如权利要求1所述的方法，其特征在于，所述获取所述图像分类模型的预测结果与真实分类结果之间的关联关系，包括：
获取转移矩阵，所述转移矩阵用于指示由所述图像分类模型的预测结果转移至相应的真实分类结果的概率；
基于所述转移矩阵，构建所述图像分类模型的预测结果与真实分类结果之间的关联关系。
3.如权利要求2所述的方法，其特征在于，所述基于所述转移矩阵，构建所述图像分类模型的预测结果与真实分类结果之间的关联关系，包括：
初始化所述多个标注者中第n个标注者对应的转移矩阵；
确定所述第n个标注者对应的转移矩阵与所述真实分类结果的乘积，将确定的所述乘积作为对应所述第n个标注者的预测结果，以建立所述预测结果与真实分类结果之间的关联关系。
4.如权利要求1所述的方法，其特征在于，所述基于标注者标注的分类结果、以及所述预测结果与真实分类结果之间的关联关系，构建所述图像分类模型的损失函数，包括：
基于图像样本的真实分类结果、所述预测结果与真实分类结果之间的关联关系，确定对应所述图像样本的各个标注者的预测结果；
分别获取各所述预测结果与相应标注者的分类结果之间的差异；
基于各所述预测结果与相应标注者的分类结果之间的差异，构建所述图像分类模型的损失函数。
5.如权利要求1所述的方法，其特征在于，所述基于所述数据集及所述损失函数，训练所述图像分类模型基于输入的待分类图像，预测相应的图像类别的性能，包括：
将所述图像样本输入至所述图像分类模型，得到对应所述图像样本的各个标注者的预测结果；
基于各个所述预测结果、所述图像样本的各个标注者标注的分类结果，确定所述损失函数的值；
基于所述损失函数的值，更新所述图像分类模型的模型参数。
6.如权利要求5所述的方法，其特征在于，所述基于各个所述预测结果、所述图像样本的各个标注者标注的分类结果，确定所述损失函数的值，包括：
分别获取所述图像样本的各个预测结果与相应标注者标注的分类结果之间的差异；
确定所获取的各个差异的差异和，将确定的所述差异和作为所述损失函数的值。
7.如权利要求5所述的方法，其特征在于，所述基于所述损失函数的值，更新所述图像分类模型的模型参数，包括：
当所述损失函数的值超出预设阈值时，基于所述图像分类模型的损失函数确定相应的误差信号；
将所述误差信号在所述图像分类模型中反向传播，并在传播的过程中更新所述图像分类模型的模型参数。
8.如权利要求5所述的方法，其特征在于，所述将所述图像样本输入至所述图像分类模型，得到对应所述图像样本的各个标注者的预测结果，包括：
通过所述图像分类模型的特征提取层，对所述图像样本进行特征提取，得到所述图像样本的图像特征；
通过所述图像分类模型的众包层，对提取的所述图像特征进行分类预测，得到对应所述图像样本的各个标注者的预测结果。
9.如权利要求1所述的方法，其特征在于，所述图像样本为医学图像样本，所述待分类图像为医学图像；所述更新所述图像分类模型的模型参数之后，所述方法还包括：
通过所述图像分类模型的特征提取层，对所述医学图像进行特征提取，得到所述医学图像的图像特征；
通过所述图像分类模型的众包层，对所述医学图像的图像特征进行分类预测，得到所述医学图像对应的病灶类别。
10.一种基于人工智能的图像分类方法，其特征在于，所述方法包括：
通过图像分类模型对待分类图像进行特征提取，得到所述待分类图像的图像特征；
通过所述图像分类模型对所述图像特征进行分类预测，得到所述待分类图像对应的图像类别；
其中，所述图像分类模型通过权利要求1至9任一项所述的方法训练得到。
11.一种图像分类模型的训练装置，其特征在于，所述装置包括：
第一构建模块，用于构建包括多个携带众包标注结果的图像样本的数据集；所述众包标注结果由多个标注者进行分类结果标注得到；
获取模块，用于获取所述图像分类模型的预测结果与真实分类结果之间的关联关系，所述关联关系指示所述图像分类模型的预测结果相对真实分类结果的可信度；
第二构建模块，用于基于标注者标注的分类结果、以及所述预测结果与真实分类结果之间的关联关系，构建所述图像分类模型的损失函数；
训练模块，用于基于所述数据集及所述损失函数，训练所述图像分类模型基于输入的待分类图像，预测相应的图像类别的性能。
12.如权利要求11所述的装置，其特征在于，
所述获取模块，还用于获取转移矩阵，所述转移矩阵用于指示由所述图像分类模型的预测结果转移至相应的真实分类结果的概率；
基于所述转移矩阵，构建所述图像分类模型的预测结果与真实分类结果之间的关联关系。
13.如权利要求12所述的装置，其特征在于，
所述获取模块，还用于初始化所述多个标注者中第n个标注者对应的转移矩阵；
确定所述第n个标注者对应的转移矩阵与所述真实分类结果的乘积，将确定的所述乘积作为对应所述第n个标注者的预测结果，以建立所述预测结果与真实分类结果之间的关联关系。
14.一种基于人工智能的图像分类装置，其特征在于，所述装置包括：
特征提取模块，用于通过图像分类模型对待分类图像进行特征提取，得到所述待分类图像的图像特征；
图像分类模块，用于通过所述图像分类模型对所述图像特征进行分类预测，得到所述待分类图像对应的图像类别；
其中，所述图像分类模型通过权利要求1至9任一项所述的方法训练得到。
15.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至9任一项所述的图像分类模型的训练方法。
CN201911243450.2A 2019-12-06 2019-12-06 图像分类模型的训练方法、图像分类方法及装置 Active CN110929807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911243450.2A CN110929807B (zh) 2019-12-06 2019-12-06 图像分类模型的训练方法、图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911243450.2A CN110929807B (zh) 2019-12-06 2019-12-06 图像分类模型的训练方法、图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN110929807A true CN110929807A (zh) 2020-03-27
CN110929807B CN110929807B (zh) 2021-04-06

Family

ID=69858317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911243450.2A Active CN110929807B (zh) 2019-12-06 2019-12-06 图像分类模型的训练方法、图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN110929807B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507480A (zh) * 2020-04-16 2020-08-07 光际科技(上海)有限公司 标注方法、装置、设备及存储介质
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
CN111680754A (zh) * 2020-06-11 2020-09-18 北京字节跳动网络技术有限公司 图像分类方法、装置、电子设备及计算机可读存储介质
CN111814833A (zh) * 2020-06-11 2020-10-23 浙江大华技术股份有限公司 票据处理模型的训练方法及图像处理方法、图像处理设备
CN112488222A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 一种众包数据标注方法、系统、服务器及存储介质
CN112766337A (zh) * 2021-01-11 2021-05-07 中国科学院计算技术研究所 用于预测众包数据的正确标签的方法及系统
WO2021189908A1 (zh) * 2020-10-14 2021-09-30 平安科技（深圳）有限公司 基于深度学习的图像分类方法、装置、服务器及介质
CN113505800A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 图像处理方法及其模型的训练方法和装置、设备、介质
CN114299349A (zh) * 2022-03-04 2022-04-08 南京航空航天大学 一种基于多专家系统和知识蒸馏的众包图像学习方法
WO2022188080A1 (zh) * 2021-03-08 2022-09-15 深圳先进技术研究院 图像分类网络模型训练方法、图像分类方法及相关设备
CN115631386A (zh) * 2022-12-19 2023-01-20 天津医之本医疗科技有限公司 一种基于机器学习的病理图像分类方法和系统
CN117011649A (zh) * 2023-10-07 2023-11-07 腾讯科技（深圳）有限公司 一种模型训练方法和相关装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530282A (zh) * 2013-10-23 2014-01-22 北京紫冬锐意语音科技有限公司 语料标注方法及设备
CN104573359A (zh) * 2014-12-31 2015-04-29 浙江大学 一种基于任务难度与标注者能力的众包标注数据整合方法
CN104599084A (zh) * 2015-02-12 2015-05-06 北京航空航天大学 一种群体计算的质量控制方法及装置
CN105426826A (zh) * 2015-11-09 2016-03-23 张静 一种基于标签噪声纠正的众包标注数据质量提升方法
CN107194608A (zh) * 2017-06-13 2017-09-22 复旦大学 一种面向残疾人社区的众包标注任务分配策略
CN107247972A (zh) * 2017-06-29 2017-10-13 哈尔滨工程大学 一种基于众包技术的分类模型训练方法
CN107730131A (zh) * 2017-10-24 2018-02-23 北京航空航天大学 一种众包软件开发者的能力预测及推荐方法、装置
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108230294A (zh) * 2017-06-14 2018-06-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
CN109191451A (zh) * 2018-09-11 2019-01-11 百度在线网络技术（北京）有限公司 异常检测方法、装置、设备和介质
CN109271529A (zh) * 2018-10-10 2019-01-25 内蒙古大学 西里尔蒙古文和传统蒙古文双文种知识图谱构建方法
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
CN109800320A (zh) * 2019-01-04 2019-05-24 平安科技（深圳）有限公司 一种图像处理方法、设备及计算机可读存储介质
CN110490242A (zh) * 2019-08-12 2019-11-22 腾讯医疗健康(深圳)有限公司 图像分类网络的训练方法、眼底图像分类方法及相关设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530282A (zh) * 2013-10-23 2014-01-22 北京紫冬锐意语音科技有限公司 语料标注方法及设备
CN104573359A (zh) * 2014-12-31 2015-04-29 浙江大学 一种基于任务难度与标注者能力的众包标注数据整合方法
CN104599084A (zh) * 2015-02-12 2015-05-06 北京航空航天大学 一种群体计算的质量控制方法及装置
CN105426826A (zh) * 2015-11-09 2016-03-23 张静 一种基于标签噪声纠正的众包标注数据质量提升方法
CN107194608A (zh) * 2017-06-13 2017-09-22 复旦大学 一种面向残疾人社区的众包标注任务分配策略
CN108230294A (zh) * 2017-06-14 2018-06-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
CN107247972A (zh) * 2017-06-29 2017-10-13 哈尔滨工程大学 一种基于众包技术的分类模型训练方法
CN107730131A (zh) * 2017-10-24 2018-02-23 北京航空航天大学 一种众包软件开发者的能力预测及推荐方法、装置
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
CN109191451A (zh) * 2018-09-11 2019-01-11 百度在线网络技术（北京）有限公司 异常检测方法、装置、设备和介质
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
CN109271529A (zh) * 2018-10-10 2019-01-25 内蒙古大学 西里尔蒙古文和传统蒙古文双文种知识图谱构建方法
CN109800320A (zh) * 2019-01-04 2019-05-24 平安科技（深圳）有限公司 一种图像处理方法、设备及计算机可读存储介质
CN110490242A (zh) * 2019-08-12 2019-11-22 腾讯医疗健康(深圳)有限公司 图像分类网络的训练方法、眼底图像分类方法及相关设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FILIPE RODRIGUES等: "Deep Learning from Crowds", 《ARXIV:1709.01779V2》 *
孙欢: "众包标注的学习算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
江雨: "基于不确定任务环境的众包用户行为分析及调度策略研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
饶华铭: "人本计算系统中众包数据质量控制方法的改进及其应用研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507480B (zh) * 2020-04-16 2023-06-20 光际科技(上海)有限公司 标注方法、装置、设备及存储介质
CN111507480A (zh) * 2020-04-16 2020-08-07 光际科技(上海)有限公司 标注方法、装置、设备及存储介质
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
CN111680754A (zh) * 2020-06-11 2020-09-18 北京字节跳动网络技术有限公司 图像分类方法、装置、电子设备及计算机可读存储介质
CN111814833A (zh) * 2020-06-11 2020-10-23 浙江大华技术股份有限公司 票据处理模型的训练方法及图像处理方法、图像处理设备
CN111680754B (zh) * 2020-06-11 2023-09-19 抖音视界有限公司 图像分类方法、装置、电子设备及计算机可读存储介质
WO2021189908A1 (zh) * 2020-10-14 2021-09-30 平安科技（深圳）有限公司 基于深度学习的图像分类方法、装置、服务器及介质
CN112488222A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 一种众包数据标注方法、系统、服务器及存储介质
CN112766337A (zh) * 2021-01-11 2021-05-07 中国科学院计算技术研究所 用于预测众包数据的正确标签的方法及系统
CN112766337B (zh) * 2021-01-11 2024-01-12 中国科学院计算技术研究所 用于预测众包数据的正确标签的方法及系统
WO2022188080A1 (zh) * 2021-03-08 2022-09-15 深圳先进技术研究院 图像分类网络模型训练方法、图像分类方法及相关设备
CN113505800A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 图像处理方法及其模型的训练方法和装置、设备、介质
CN114299349A (zh) * 2022-03-04 2022-04-08 南京航空航天大学 一种基于多专家系统和知识蒸馏的众包图像学习方法
CN114299349B (zh) * 2022-03-04 2022-05-13 南京航空航天大学 一种基于多专家系统和知识蒸馏的众包图像学习方法
CN115631386A (zh) * 2022-12-19 2023-01-20 天津医之本医疗科技有限公司 一种基于机器学习的病理图像分类方法和系统
CN117011649A (zh) * 2023-10-07 2023-11-07 腾讯科技（深圳）有限公司 一种模型训练方法和相关装置
CN117011649B (zh) * 2023-10-07 2024-01-30 腾讯科技（深圳）有限公司 一种模型训练方法和相关装置

Also Published As

Publication number Publication date
CN110929807B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110929807B (zh) 图像分类模型的训练方法、图像分类方法及装置
CN109766840B (zh) 人脸表情识别方法、装置、终端及存储介质
WO2022022152A1 (zh) 视频片段定位方法、装置、计算机设备及存储介质
JP2022505775A (ja) 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム
WO2022022274A1 (zh) 一种模型训练方法及装置
US11954881B2 (en) Semi-supervised learning using clustering as an additional constraint
WO2020238353A1 (zh) 数据处理方法和装置、存储介质及电子装置
WO2020147369A1 (zh) 自然语言处理方法、训练方法及数据处理设备
WO2022016556A1 (zh) 一种神经网络蒸馏方法以及装置
CN114419509B (zh) 一种多模态情感分析方法、装置及电子设备
CN111914113A (zh) 一种图像检索的方法以及相关装置
CN113762052A (zh) 视频封面提取方法、装置、设备及计算机可读存储介质
CN111598168B (zh) 图像分类方法、装置、计算机设备及介质
CN113723378B (zh) 一种模型训练的方法、装置、计算机设备和存储介质
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN113254684B (zh) 一种内容时效的确定方法、相关装置、设备以及存储介质
WO2024002167A1 (zh) 一种操作预测方法及相关装置
CN110738070A (zh) 基于视频的行为识别方法、行为识别装置及终端设备
WO2022193973A1 (zh) 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2024083121A1 (zh) 一种数据处理方法及其装置
WO2024012360A1 (zh) 一种数据处理方法及相关装置
WO2024041483A1 (zh) 一种推荐方法及相关装置
WO2023246735A1 (zh) 一种项目推荐方法及其相关设备
WO2023197910A1 (zh) 一种用户行为预测方法及其相关设备
CN111984803A (zh) 多媒体资源处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022636

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant