CN110704661B - 一种图像分类方法和装置 - Google Patents

一种图像分类方法和装置 Download PDF

Info

Publication number
CN110704661B
CN110704661B CN201910969485.8A CN201910969485A CN110704661B CN 110704661 B CN110704661 B CN 110704661B CN 201910969485 A CN201910969485 A CN 201910969485A CN 110704661 B CN110704661 B CN 110704661B
Authority
CN
China
Prior art keywords
labeling
image
processed
determining
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910969485.8A
Other languages
English (en)
Other versions
CN110704661A (zh
Inventor
肖凯文
韩骁
陈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910969485.8A priority Critical patent/CN110704661B/zh
Publication of CN110704661A publication Critical patent/CN110704661A/zh
Application granted granted Critical
Publication of CN110704661B publication Critical patent/CN110704661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像分类方法和装置，针对待处理图像，可以通过N个标注模型分别确定该待处理图像的N个标注结果，根据这N个标注结果从整体角度综合确定标注一致性参数，降低某一模型出现标注偏差对图像分类带来的影响，提高标注一致性参数的可信度。确定出的标注一致性参数可以体现N个标注模型对待处理图像的标注一致性程度，从而确定待处理图像的标注难度，将待处理图像确定为容易标注的第一类图像，或不容易标注的第二类图像。通过对待处理图像进行标注难度层面的分类，可以区分出容易标注的第一类图像和不容易标注的第二类图像，从而能够根据标注难易程度有针对性的安排标注策略，降低标注成本，提高标注效率。

Description

一种图像分类方法和装置
技术领域
本申请涉及数据处理领域，特别是涉及一种图像分类方法和装置。
背景技术
图像标注是指对图像中包含的内容进行标注，以起到标识该内容的作用，例如标识该内容的类型、名称、形状、外观等。
在一些领域中，主要通过人工方式标注图像，例如在医学领域中，由医生对医学图像进行分析后，做出相应的标注。
人工标注的方式过于依赖标注者的人为经验，不仅标注效率低，而且不同经验的标注者对图像的标注准确性和标注成本往往差别很大，经验丰富的标注者虽然可以具有较好的标注准确性，但是标注成本远高于经验一般的标注者。
发明内容
为了解决上述技术问题，本申请提供了一种图像分类方法和装置，可以对待处理图像进行标注难度层面的分类，从而能够根据标注难易程度有针对性的安排标注策略，降低标注成本，提高标注效率。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供了一种图像分类方法，所述方法包括：
通过N个标注模型分别确定待处理图像对应的N个标注结果；其中，通过任一个标注模型确定所述待处理图像对应的一个标注结果；
确定所述N个标注结果对应的标注一致性参数；
若所述标注一致性参数满足一致性条件，确定所述待处理图像为第一类图像；
若所述标注一致性参数不满足所述一致性条件，确定所述待处理图像为第二类图像。
第二方面，本申请实施例提供了一种图像分类装置，所述装置包括第一确定单元和第二确定单元：
所述第一确定单元，用于通过N个标注模型分别确定待处理图像对应的N个标注结果；其中，通过任一个标注模型确定所述待处理图像对应的一个标注结果；
所述第二确定单元，用于确定所述N个标注结果对应的标注一致性参数；
若所述标注一致性参数满足一致性条件，所述第二确定单元还用于确定所述待处理图像为第一类图像；
若所述标注一致性参数不满足所述一致性条件，所述第二确定单元还用于确定所述待处理图像为第二类图像。
第三方面，本申请实施例提供了一种用于图像分类的设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的图像分类方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的图像分类方法。
由上述技术方案可以看出，针对待处理图像，可以通过N个标注模型分别确定该待处理图像的N个标注结果，每个标注模型所确定出的标注结果可以体现对该待处理图像的可能的标注，确定这N个标注结果对应的标注一致性参数，由于是通过N个标注模型的标注结果，从整体角度综合确定标注一致性参数，可以降低某一模型出现标注偏差对图像分类带来的影响，提高标注一致性参数的可信度。确定出的标注一致性参数可以体现N个标注模型对待处理图像的标注一致性程度，从而可以根据该标注一致性参数确定待处理图像的标注难度，若标注一致性参数满足一致性条件，即N个标注结果相对一致时，可以认为待处理图像的标注难度不高，将其确定为容易标注的第一类图像，若所述标注一致性参数不满足所述一致性条件，即N个标注结果较为不同时，可以认为待处理图像的标注难度高，将其确定为不容易标注的第二类图像。通过对待处理图像进行标注难度层面的分类，可以区分出容易标注的第一类图像和不容易标注的第二类图像，从而能够根据标注难易程度有针对性的安排标注策略，降低标注成本，提高标注效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像分类场景的示意图；
图2为本申请实施例提供的一种图像分类方法的方法流程图；
图3为本申请实施例提供的一种通过信息熵体现标注一致性程度的示意图；
图4为本申请实施例提供的一种通过概率参数确定模型标注标签可信程度的示意图；
图5为本申请实施例提供的一种图像分类示意图；
图6为本申请实施例提供的一种图像分类系统的整体场景示意图；
图7为本申请实施例提供的一种图像分类装置的装置结构图；
图8为本申请实施例提供的一种设备的结构图；
图9为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
由于图像标注多通过人工方式，不仅效率低下，而且准确性和标注成本难以平衡。
为此，本申请实施例提供了一种图像分类方法，可以通过N个标注模型分别确定待处理图像的标注结果，根据N个标注结果的一致性程度，对待处理图像进行标注难度层面的分类，从而区分出容易标注的第一类图像和不容易标注的第二类图像。由此，能够根据标注难易程度有针对性的安排标注策略，降低标注成本，提高标注效率。
本申请实施例所提供的图像分类方法可以是基于人工智能实现的，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中，主要涉及的人工智能软件技术包括上述计算机视觉技术和深度学习等方向。
例如可以涉及计算机视觉(Computer Vision)中的图像处理(ImageProcessing)、图像语义理解(Image Semantic Understanding，ISU)等。
例如可以涉及机器学习(Machine learning，ML)中的深度学习(Deep Learning)，包括各类人工神经网络(artificial neural network)。
本申请实施例所提供的图像分类方法可以应用于图像处理设备，该图像处理设备可以是终端设备，也可以是服务器。其中，终端设备具体可以为智能手机、计算机、个人数字助理(Personal Digital Assistant，PDA)、平板电脑等；服务器具体可以为独立服务器，也可以为集群服务器。
该数据处理设备可以具备实施计算机视觉技术的能力，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR等技术。
在本申请实施例中，图像处理设备可以通过计算机视觉技术确定待处理图像中所包含内容的相关特征、信息。
该图像处理设备可以具备机器学习(Machine Learning,ML)能力。ML是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络等技术。
在本申请实施例中，N个标注模型可以是各类人工神经网络模型，并涉及人工神经网络的应用，例如通过标注模型确定待处理图像的标注结果，通过图像训练样本训练标注模型等。
图1为本申请实施例提供的一种图像分类场景的示意图。在本实施例中，以服务器100作为前述图像处理设备为例进行说明。
服务器100可以获取待处理图像，通过标注模型1至标注模型N分别对待处理图像的内容进行标注。需要说明的是，图1中所显示的标注模型数量仅为示例，在本申请实施例中，N的数量大于等于2即可。
通过标注模型1至标注模型N可以分别得到对待处理图像的标注结果，如图1所示的标注结果1至标注结果N，每个标注模型所确定出的标注结果可以体现对该待处理图像的可能的标注。
根据所确定出的N个标注结果，从整体角度综合确定标注一致性参数，可以降低某一模型出现标注偏差对图像分类带来的影响，提高标注一致性参数的可信度。确定出的标注一致性参数可以体现N个标注模型对待处理图像的标注一致性程度，从而可以根据该标注一致性参数确定待处理图像的标注难度。
基于标注一致性参数上述特性，可以确定出待处理图像在标注难度层面的分类结果。分类结果可以包括容易标注的第一类图像和不容易标注的第二类图像。
若标注一致性参数满足一致性条件，即N个标注结果相对一致时，可以认为待处理图像的标注难度不高，将其确定为容易标注的第一类图像。
若所述标注一致性参数不满足所述一致性条件，即N个标注结果较为不同时，可以认为待处理图像的标注难度高，将其确定为不容易标注的第二类图像。
在通过分类区分出待处理图像的标注难度后，可以有针对性的安排标注策略，例如将第一类图像交由经验一般的标注者进行标注，以降低标注成本，或者直接根据标注模型的标注结果确定第一类图像的标注标签，从而提高标注效率。
图2为本申请实施例提供的一种图像分类方法的方法流程图，所述方法包括：
S201：通过N个标注模型分别确定待处理图像对应的N个标注结果。
在本申请实施例中，N可以为大于等于2的整数，通过N各标注模型分别对待处理图像进行标注处理，得到N个标注结果。其中，通过任一个标注模型确定所述待处理图像对应的一个标注结果。
采用N个标注模型的目的之一是为了当某一模型出现标注偏差时，其他模型的标注结果可以降低该模型的标注偏差对最终分类带来的不利影响。
在本申请实施例中，标注模型可以是各类用于图像分类的神经网络模型，例如卷积神经网络模型。模型结构包括但不限于inception、ResNet、DenseNet、SEResNext、EfficientNet等模型结构。
标注结果可以体现对待处理图像的可能的标注。
在一种可能的实现方式中，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数。在这一场景下，待处理图像可能被标注的标注标签包括M类，而一个标注结果能够体现出待处理图像中的内容属于这M类标注标签的可能性。例如在医学领域中，医学图像可能被标注的标注标签包括细胞类型、细胞病变、畸形、缺氧等多类。假设M类标注标签包括3类，分别为细胞病变、细胞畸形和细胞缺氧，作为待处理图像的医学图像，其通过标注模型得到的标注结果可以为[0.01,0.13,0.86]，体现该待处理图像中内容可能被标注为“细胞病变”这一标注标签的可能性为1％，可能被标注为“细胞畸形”这一标注标签的可能性为13％，可能被标注为“细胞缺氧”这一标注标签的可能性为86％。
在上述可能的实现方式的前提下，本申请实施例提供了一种训练上述N个标注模型的方式。在该方式中会各个标注模型的训练数据进行优化调整。
由于标注模型需要确定的标注结果包括所述待处理图像针对M类标注标签的概率参数。故训练数据需要囊括这M类标注标签的图像训练样本。
本申请实施例中，可以对图像训练样本使用诸如随机切割、随机旋转、随机翻转、随机RGB等数据增强方法，使用多种数据增强后的训练数据对标注模型进行训练，可以使标注模型保持最大泛化能力。
在获取包括M类标注标签的图像训练样本后，可以对其进行分类，将具有每一类标注标签的图像训练样本分为N份子样本。具体如何划分本申请并不限定，例如可以均分。
例如N等于10，M类标注标签中的一类为标注标签a，具有标注标签a的图像训练样本包括1000件。那么可以将这1000件均分为10份子样本，每份子样本包括100件具有标注标签a的图像训练样本。
根据上述分类得到的分类结果，可以确定N个标注模型分别对应的训练样本集。在这N个训练样本集中，每一个训练样本集中包括M份子样本，每一份子样本都对应于不同类的标注标签。
通过对应的训练样本集训练所述N个标注模型。
即使图像训练样本中具有噪声，例如包括标注标签不正确的图像训练样本(简称噪声样本)，通过上述确定训练样本集的方式，可以较大可能的将噪声样本划分在不同的训练样本集中，由此，噪声样本最多只会影响N个标注模型中的一部分，且影响可能会被几个标注模型所分担，提高了N个标注模型的容错能力。
在医学领域中，由于标注图像依赖于经验，故获取的医学领域中的图像训练样本中不可避免的会存在一定比例的上述噪声样本，故上述确定训练样本集的方式可以较好的适用于医学领域中的标注模型训练。
需要强调的是，本申请实施例中，除了上述介绍的方式以外，标注模型的训练和使用还可以采用各类机器学习、深度学习、统计计算训练、强化学习等方式实现。例如在强化学习中，可以利用惩罚-奖励-搜索的规则，让标注模型对各类图像的特征进行辨识。或者可以采用“提取特征-学习特征-分辨特征”的深度学习算法训练、使用本申请实施例中的标注模型。
S202：确定所述N个标注结果对应的标注一致性参数。
在本申请实施例中，标注一致性参数可以体现N个标注模型对待处理图像的标注一致性程度，例如当N个标注结果是否一致，或者不一致的程度等。
若所述标注一致性参数满足一致性条件，可以认为N个标注结果相对一致，均确定待处理图像标注某一标注标签的可能性较高。这种情况下，可以认为待处理图像的标注难度不高，执行S203。
若所述标注一致性参数不满足所述一致性条件，可以认为N个标注结果较为不一致，确定待处理图像标注多个标注标签的可能性均较高或相差不大。这种情况下，可以认为待处理图像的标注难度高，执行S204。
本申请不限定根据N个标注结果确定对应标注一致性参数的具体方式，只要确定出的标注一致性参数可以体现N个标注模型对待处理图像的标注一致性程度即可。
在一种可能的实现方式中，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数。可以通过计算N个标注结果对应的信息熵的方式来确定标注一致性参数。N个标注结果对应的信息熵可以体现N个标注结果是否处于稳定的状态。
信息熵越高，证明N个标注结果所携带的信息越平衡，即有多类信息(多个标注标签的可能性)类似，从而体现N个标注结果越不一致。信息熵越低，证明N个标注结果所携带的信息越不平衡，即有一类信息(一个标注标签的可能性)远高于其他信息，从而体现N个标注结果越一致。
在本实现方式中，可以先根据所述N个标注结果确定综合标注结果，例如可以采用集成计算的方式融合N个标注结果为一个综合标注结果。综合标注结果包括所述待处理图像针对M类标注标签的概率参数，且可以从整体层面上体现N个标注结果。
例如N个标注结果分别为P1-PN，其中任一个Pi都具有M个元素，每个元素体现一类标注标签的概率参数。基于P1-PN确定出的综合标注结果可以为Pm，其同样具有M个元素，分别体现各类标注标签的综合概率参数。
具体的，集成计算的方式可以包括多种可能的实现方式：
例如可以采用计算N个标注结果中各类标注标签概率参数的平均值，基于M个平均值确定综合标注结果；
又例如，可以取N个标注结果中各类标注标签概率参数的最大值，基于M个最大值确定综合标注结果；
又例如，可以通过对N个标注模型设置权重(例如基于标注准确性)，根据N个权重和标注结果，确定综合标注结果。
确定出综合标注结果后，可以根据综合标注结果确定对应的信息熵。
在确定信息熵时，可以采用综合标注结果中的全部元素内容进行计算，也可以根据所述综合标注结果中概率参数最大的前k项，确定所述综合标注结果对应的信息熵。由于概率参数最大的前k项携带了综合标注结果中的主要内容，故既可以保证计算准确性，也可以提高计算效率。
其中k可以取小于M的数值，例如一些场景下可以取2、3、5等。
计算信息熵H(U)可以采用如下公式：
Figure BDA0002231596270000091
其中E为计算统计平均值，qi为前述前k项概率参数中第i项概率参数。
信息熵的高低体现了标注模型对待处理图像的标注一致性程度。假设k＝3，如图3所示，其中柱状为综合标注结果中的概率参数，柱状的高低代表概率参数的大小。当N个标注结果一致性高时，对应的信息熵为低熵；当N个标注结果一致性低时，对应的信息熵为高熵。
S203：确定所述待处理图像为第一类图像。
S204：确定所述待处理图像为第二类图像。
由此可见，通过对待处理图像进行标注难度层面的分类，可以区分出容易标注的第一类图像和不容易标注的第二类图像，从而能够根据标注难易程度有针对性的安排标注策略，降低标注成本，提高标注效率。
在区分出待处理图像的标注难度并分类后，可以有针对性的安排标注策略，例如将第一类图像交由经验一般的标注者进行标注，以降低标注成本，或者直接根据标注模型的标注结果确定第一类图像的标注标签，从而提高标注效率。
由于待处理图像有可能已经具有标注标签，也有可能不具有标注标签的情况，针对不同的情况可以安排不同的标注策略，例如进行自动标注、确定原标注标签准确，或者确定原标注标签错误，需要重新标注等。
第一种情况：待处理图像是未经标注的。
也就是说，这种情况下，待处理图像不具有标注标签。
在这一情况下，若待处理图像被分类为第一类图像，即容易标注的图像时，由于通过S201已经通过N个标注模型确定出待处理图像的N个标注结果，且这N个标注结果具有一致性，均针对某一标注标签体现出高可能性，故该待处理图像应被标注该标注标签的准确性较高。故可以根据所述N个标注结果对所述待处理图像进行标注，标注的标注标签可以为N个标注结果中具有一致性的标注标签。在一种可能的实现方式中，N个标注结果中具有一致性的标注标签可以通过综合标注结果确定。
通过对无标注标签的第一类图像的自动标注，确定的标注标签的标注准确性能够得到保证，同时降低了标注成本和提高了标注效率。
若待处理图像被分类为第二类图像，即不容易标注的图像，由于N个标注模型给出的标注结果分歧较大，标注难度可能较高，可以将该待处理图像提供给经验丰富的标注者进行人工标注。
第二种情况：待处理图像具有标注标签。
在这一情况下，待处理图像在分类前就已经被标注了标注标签，例如通过人工标注的，但是，标注标签的可信度需要证实，例如在医学领域，医学图像的标注标签出错难以避免，由此，可以通过本申请提供的分类方式进行原标注标签的可信度确定，以确定原标注标签是否准确。
若确定所述待处理图像为第一类图像，根据所述N个标注结果确定所述待处理图像的模型标注标签。该模型标注标签可以为N个标注结果中具有一致性的标注标签。在一种可能的实现方式中，N个标注结果中具有一致性的标注标签可以通过综合标注结果确定。
在确定了待处理图像的模型标注标签后，可以根据所述标注标签和所述模型标注标签，确定所述标注标签的可信度参数。该可信度参数可以体现标注标签的可信程度或者是否准确。
针对确定可信度参数，本申请实施例提供了多种可能的实现方式。
例如通过标注标签和模型标注标签的比对方式。
若标注标签和模型标注标签相同，可以确定该标注标签的可信度较高；
若标注标签和模型标注标签不同，可以确定该标注标签的可信度较低，该标注标签可能属于标注错误。
例如还可以进一步考虑模型标注标签的可信程度，可以根据模型标注标签的概率参数，作为模型标注标签的可信程度，根据模型标注标签的可信程度高低，确定模型标注标签是否具备作为判断原标注标签可信度的依据。例如图4所示的是N个标注模型针对前述确定模型标注标签的概率参数，其中的1-N的标号用以区分不同的标注模型。图示中最大的概率参数是第3个标注模型所确定的0.876，由于该概率参数较高，故可以认为模型标注标签的可信程度较高，可以具备作为判断原标注标签可信度的依据。
若确定所述待处理图像为第二类图像，根据所述N个标注结果确定所述待处理图像的多个待定模型标注标签。该多个模型标注标签可以为N个标注结果中分歧较大的几个标注标签。在一种可能的实现方式中，N个标注结果中分歧较大的几个标注标签可以通过综合标注结果确定。
在确定了待处理图像的多个模型标注标签后，可以根据所述标注标签和所述多个待定模型标注标签，确定所述标注标签的可信度参数。
针对确定可信度参数，本申请实施例提供了多种可能的实现方式。
例如通过标注标签和多个模型标注标签的比对方式。
若标注标签和其中一个模型标注标签相同，可以确定该标注标签的可信度较高；
若标注标签和多个模型标注标签均不同，可以确定该标注标签的可信度较低，该标注标签可能属于标注错误。
例如还可以进一步考虑模型标注标签的可信程度，可以根据模型标注标签的概率参数，作为模型标注标签的可信程度，根据模型标注标签的可信程度高低，确定模型标注标签是否具备作为判断原标注标签可信度的依据。
若标注标签和某一模型标注标签相同，且该模型标注标签的可信程度高时，可以确定该标注标签的可信度较高；
若标注标签和某一模型标注标签相同，但该模型标注标签的可信程度低时，可以确定该标注标签的可信度较低，该标注标签可能属于标注错误。
在第二种情况下，可以将待处理图像区分为至少四个分类，例如容易标注且原标注标签准确的分类，容易标注但原标注标签错误的分类，不容易标注且原标注标签准确的分类，不容易标注但原标注标签错误的分类。例如在图5中，从信息熵体现标注模型的一致性，概率参数体现模型标注标签的可信度的维度，示出了上述四个分类。
由此，实现了判断待处理图像的已经具有标注标签的准确性，便于区分需要重新标注的图像。
接下来通过具体场景对本申请实施例的技术方案进行说明。如图6所示，对训练样本进行划分，得到训练样本集1-训练样本集N，一个训练样本集用于训练一个标注模型。在N个标注模型训练完成后，可以对待处理图像分别确定出标注结果，并基于标注结果得到待处理图像的分类结果，以体现待处理图像是否容易标注，从而可以有针对性的确定后续的标注策略。
图7为本申请实施例提供的一种图像分类装置的装置结构图，所述图像分类装置700包括第一确定单元701和第二确定单元702：
所述第一确定单元701，用于通过N个标注模型分别确定待处理图像对应的N个标注结果；其中，通过任一个标注模型确定所述待处理图像对应的一个标注结果；
所述第二确定单元702，用于确定所述N个标注结果对应的标注一致性参数；
若所述标注一致性参数满足一致性条件，所述第二确定单元502还用于确定所述待处理图像为第一类图像；
若所述标注一致性参数不满足所述一致性条件，所述第二确定单元502还用于确定所述待处理图像为第二类图像。
可选的，所述待处理图像是未经标注的，所述装置还包括标注单元：
所述标注单元，用于若所述第二确定单元确定所述待处理图像为第一类图像，根据所述N个标注结果对所述待处理图像进行标注。
可选的，所述待处理图像具有标注标签，所述第二确定单元还用于：
若确定所述待处理图像为第一类图像，根据所述N个标注结果确定所述待处理图像的模型标注标签；
根据所述标注标签和所述模型标注标签，确定所述标注标签的可信度参数；
若确定所述待处理图像为第二类图像，根据所述N个标注结果确定所述待处理图像的多个待定模型标注标签；
根据所述标注标签和所述多个待定模型标注标签，确定所述标注标签的可信度参数。
可选的，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数，所述第二确定单元还用于：
根据所述N个标注结果确定综合标注结果；所述综合标注结果包括所述待处理图像针对M类标注标签的概率参数；
确定所述综合标注结果对应的信息熵；
根据所述信息熵确定所述N个标注结果对应的标注一致性参数。
可选的，所述第二确定单元还用于根据所述综合标注结果中概率参数最大的前k项，确定所述综合标注结果对应的信息熵。
可选的，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数，所述装置还包括获取单元、分类单元、第三确定单元和训练单元：
所述训练单元，用于获取包括M类标注标签的图像训练样本；
所述分类单元，用于对所述图像训练样本进行分类得到分类结果，在所述分类结果中，具有任一类标注标签的图像训练样本被分为N份子样本；
所述第三确定单元，用于根据所述分类结果确定所述N个标注模型分别对应的训练样本集，任一个训练样本集中包括M类子样本，不同类的子样本具有不同类标注标签；
所述训练单元，用于通过对应的训练样本集训练所述N个标注模型。
可选的，所述M类标注标签的图像训练样本中包括标注标签不正确的图像训练样本。
由此可见，针对待处理图像，可以通过N个标注模型分别确定该待处理图像的N个标注结果，每个标注模型所确定出的标注结果可以体现对该待处理图像的可能的标注，确定这N个标注结果对应的标注一致性参数，由于是通过N个标注模型的标注结果，从整体角度综合确定标注一致性参数，可以降低某一模型出现标注偏差对图像分类带来的影响，提高标注一致性参数的可信度。确定出的标注一致性参数可以体现N个标注模型对待处理图像的标注一致性程度，从而可以根据该标注一致性参数确定待处理图像的标注难度，若标注一致性参数满足一致性条件，即N个标注结果相对一致时，可以认为待处理图像的标注难度不高，将其确定为容易标注的第一类图像，若所述标注一致性参数不满足所述一致性条件，即N个标注结果较为不同时，可以认为待处理图像的标注难度高，将其确定为不容易标注的第二类图像。通过对待处理图像进行标注难度层面的分类，可以区分出容易标注的第一类图像和不容易标注的第二类图像，从而能够根据标注难易程度有针对性的安排标注策略，降低标注成本，提高标注效率。
本申请实施例还提供了一种设备，该设备可以图像分类。下面结合附图对该设备进行介绍。请参见图8所示，本申请实施例提供了一种的设备1300，该设备1300还可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意智能终端，以终端设备为手机为例：
图8示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图8，手机包括：射频(Radio Frequency，简称RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity，简称WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍：
RF电路1310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1380处理；另外，将设计上行的数据发送给基站。通常，RF电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331，输入单元1330还可以包括其他输入设备1332。具体地，其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1341。进一步的，触控面板1331可覆盖显示面板1341，当触控面板1331检测到在其上或附近的触摸操作后，传送给处理器1380以确定触摸事件的类型，随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图8中，触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1360、扬声器1361，传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出；另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出处理器1380处理后，经RF电路1310以发送给比如另一手机，或者将音频数据输出至存储器1320以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块1370，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1380可包括一个或多个处理单元；优选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。
手机还包括给各个部件供电的电源1390(比如电池)，优选的，电源可以通过电源管理系统与处理器1380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，该终端设备所包括的处理器1380还具有以下功能：
通过N个标注模型分别确定待处理图像对应的N个标注结果；其中，通过任一个标注模型确定所述待处理图像对应的一个标注结果；
确定所述N个标注结果对应的标注一致性参数；
若所述标注一致性参数满足一致性条件，确定所述待处理图像为第一类图像；
若所述标注一致性参数不满足所述一致性条件，确定所述待处理图像为第二类图像。
本申请实施例还提供服务器，请参见图9所示，图9为本申请实施例提供的服务器1400的结构图，服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作系统1441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中的步骤也可以由服务器执行，该服务器可以基于该图9所示的服务器结构。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述各个实施例所述的图像分类方法。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的图像分类方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种图像分类方法，其特征在于，所述方法包括：
通过N个标注模型分别确定待处理图像对应的N个标注结果；其中，通过任一个标注模型确定所述待处理图像对应的一个标注结果；
确定所述N个标注结果对应的标注一致性参数；
若所述标注一致性参数满足一致性条件，确定所述待处理图像为第一类图像；
若所述标注一致性参数不满足所述一致性条件，确定所述待处理图像为第二类图像，所述第二类图像的标注难度高于所述第一类图像；
当所述待处理图像具有标注标签时：
若确定所述待处理图像为第一类图像，根据所述N个标注结果确定所述待处理图像的模型标注标签；
根据所述标注标签和所述模型标注标签，确定所述标注标签的可信度参数；
若确定所述待处理图像为第二类图像，根据所述N个标注结果确定所述待处理图像的多个待定模型标注标签；
根据所述标注标签和所述多个待定模型标注标签，确定所述标注标签的可信度参数。
2.根据权利要求1所述的方法，其特征在于，所述待处理图像是未经标注的，所述方法还包括：
若确定所述待处理图像为第一类图像，根据所述N个标注结果对所述待处理图像进行标注。
3.根据权利要求1或2所述的方法，其特征在于，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数，所述确定所述N个标注结果对应的标注一致性参数，包括：
根据所述N个标注结果确定综合标注结果；所述综合标注结果包括所述待处理图像针对M类标注标签的概率参数；
确定所述综合标注结果对应的信息熵；
根据所述信息熵确定所述N个标注结果对应的标注一致性参数。
4.根据权利要求3所述的方法，其特征在于，所述确定所述综合标注结果对应的信息熵，包括：
根据所述综合标注结果中概率参数最大的前k项，确定所述综合标注结果对应的信息熵。
5.根据权利要求1或2所述的方法，其特征在于，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数，所述N个标注模型通过如下方式训练得到：
获取包括M类标注标签的图像训练样本；
对所述图像训练样本进行分类得到分类结果，在所述分类结果中，具有任一类标注标签的图像训练样本被分为N份子样本；
根据所述分类结果确定所述N个标注模型分别对应的训练样本集，任一个训练样本集中包括M类子样本，不同类的子样本具有不同类标注标签；
通过对应的训练样本集训练所述N个标注模型。
6.根据权利要求5所述的方法，其特征在于，所述M类标注标签的图像训练样本中包括标注标签不正确的图像训练样本。
7.一种图像分类装置，其特征在于，所述装置包括第一确定单元和第二确定单元：
所述第一确定单元，用于通过N个标注模型分别确定待处理图像对应的N个标注结果；其中，通过任一个标注模型确定所述待处理图像对应的一个标注结果；
所述第二确定单元，用于确定所述N个标注结果对应的标注一致性参数；
若所述标注一致性参数满足一致性条件，所述第二确定单元还用于确定所述待处理图像为第一类图像；
若所述标注一致性参数不满足所述一致性条件，所述第二确定单元还用于确定所述待处理图像为第二类图像，所述第二类图像的标注难度高于所述第一类图像；
所述第二确定单元还用于当所述待处理图像具有标注标签时：
若确定所述待处理图像为第一类图像，根据所述N个标注结果确定所述待处理图像的模型标注标签；
根据所述标注标签和所述模型标注标签，确定所述标注标签的可信度参数；
若确定所述待处理图像为第二类图像，根据所述N个标注结果确定所述待处理图像的多个待定模型标注标签；
根据所述标注标签和所述多个待定模型标注标签，确定所述标注标签的可信度参数。
8.根据权利要求7所述的装置，其特征在于，所述待处理图像不包括标注标签，所述装置还包括标注单元：
所述标注单元，用于若所述第二确定单元确定所述待处理图像为第一类图像，根据所述N个标注结果对所述待处理图像进行标注。
9.根据权利要求7或8所述的装置，其特征在于，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数，所述第二确定单元还用于：
根据所述N个标注结果确定综合标注结果；所述综合标注结果包括所述待处理图像针对M类标注标签的概率参数；
确定所述综合标注结果对应的信息熵；
根据所述信息熵确定所述N个标注结果对应的标注一致性参数。
10.根据权利要求9所述的装置，其特征在于，所述第二确定单元还用于根据所述综合标注结果中概率参数最大的前k项，确定所述综合标注结果对应的信息熵。
11.根据权利要求7或8所述的装置，其特征在于，任一个标注结果包括所述待处理图像针对M类标注标签的概率参数，所述装置还包括获取单元、分类单元、第三确定单元和训练单元：
所述训练单元，用于获取包括M类标注标签的图像训练样本；
所述分类单元，用于对所述图像训练样本进行分类得到分类结果，在所述分类结果中，具有任一类标注标签的图像训练样本被分为N份子样本；
所述第三确定单元，用于根据所述分类结果确定所述N个标注模型分别对应的训练样本集，任一个训练样本集中包括M类子样本，不同类的子样本具有不同类标注标签；
所述训练单元，用于通过对应的训练样本集训练所述N个标注模型。
12.一种用于图像分类的设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-6任意一项所述的图像分类方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任意一项所述的图像分类方法。
CN201910969485.8A 2019-10-12 2019-10-12 一种图像分类方法和装置 Active CN110704661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969485.8A CN110704661B (zh) 2019-10-12 2019-10-12 一种图像分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969485.8A CN110704661B (zh) 2019-10-12 2019-10-12 一种图像分类方法和装置

Publications (2)

Publication Number Publication Date
CN110704661A CN110704661A (zh) 2020-01-17
CN110704661B true CN110704661B (zh) 2021-04-13

Family

ID=69198617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969485.8A Active CN110704661B (zh) 2019-10-12 2019-10-12 一种图像分类方法和装置

Country Status (1)

Country Link
CN (1) CN110704661B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353549B (zh) * 2020-03-10 2023-01-31 创新奇智(重庆)科技有限公司 图像标签的核验方法及装置、电子设备、存储介质
CN111598168B (zh) * 2020-05-18 2022-06-24 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及介质
CN111882521A (zh) * 2020-06-21 2020-11-03 浙江大学山东工业技术研究院 一种细胞涂片的图像处理方法
CN113159133A (zh) * 2021-03-29 2021-07-23 Oppo广东移动通信有限公司 数据标注方法及装置、电子设备、存储介质
CN113139072A (zh) * 2021-04-20 2021-07-20 苏州挚途科技有限公司 数据标注方法、装置和电子设备
CN113255339B (zh) * 2021-05-06 2023-09-19 网易（杭州）网络有限公司 标注任务的处理方法、装置、电子设备及存储介质
CN113796830B (zh) * 2021-08-30 2023-05-23 西安交通大学 一种睡眠信号分期可信度自动评价方法
CN113705691B (zh) * 2021-08-30 2024-04-09 深圳平安智慧医健科技有限公司 基于人工智能的图像标注校验方法、装置、设备及介质
CN115620039B (zh) * 2022-10-08 2023-07-18 中电金信软件有限公司 一种图像标注方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189950A (zh) * 2018-09-03 2019-01-11 腾讯科技（深圳）有限公司 多媒体资源分类方法、装置、计算机设备及存储介质
CN109784424A (zh) * 2019-03-26 2019-05-21 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN110263166A (zh) * 2019-06-18 2019-09-20 北京海致星图科技有限公司 基于深度学习的舆情文本分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213316A (ja) * 2002-12-27 2004-07-29 Ntt Data Corp 多変量データ分類規則導出装置、および、多変量データ分類規則導出方法をコンピュータに実行させるプログラム
CN108509969B (zh) * 2017-09-06 2021-11-09 腾讯科技（深圳）有限公司 数据标注方法及终端
CN109190371A (zh) * 2018-07-09 2019-01-11 四川大学 一种基于行为图的Android恶意软件检测方法和技术
CN109446325B (zh) * 2018-10-22 2021-09-14 北京云雀智享科技有限公司 一种高正确率的自然语言分类器系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189950A (zh) * 2018-09-03 2019-01-11 腾讯科技（深圳）有限公司 多媒体资源分类方法、装置、计算机设备及存储介质
CN109784424A (zh) * 2019-03-26 2019-05-21 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN110263166A (zh) * 2019-06-18 2019-09-20 北京海致星图科技有限公司 基于深度学习的舆情文本分类方法

Also Published As

Publication number Publication date
CN110704661A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110704661B (zh) 一种图像分类方法和装置
EP3989166A1 (en) Artificial intelligence-based image region recognition method and apparatus, and model training method and apparatus
US11681749B2 (en) Automated ranking of video clips
CN112052841B (zh) 一种视频摘要的生成方法以及相关装置
CN111209423B (zh) 一种基于电子相册的图像管理方法、装置以及存储介质
CN110766081B (zh) 一种界面图像检测的方法、模型训练的方法以及相关装置
CN110555337B (zh) 一种指示对象的检测方法、装置以及相关设备
CN111339737B (zh) 实体链接方法、装置、设备及存储介质
CN113723378B (zh) 一种模型训练的方法、装置、计算机设备和存储介质
CN114595124B (zh) 时序异常检测模型评估方法、相关装置及存储介质
CN114357278B (zh) 一种话题推荐方法、装置及设备
CN115022098B (zh) 人工智能安全靶场内容推荐方法、装置及存储介质
CN113723159A (zh) 场景识别模型训练方法、场景识别方法及模型训练装置
CN112749252A (zh) 一种基于人工智能的文本匹配方法和相关装置
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN113220848A (zh) 用于人机交互的自动问答方法、装置和智能设备
CN117540205A (zh) 模型训练方法、相关装置及存储介质
CN112859136A (zh) 一种定位方法和相关装置
CN116758362A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110929882A (zh) 一种基于人工智能的特征向量计算方法和相关装置
CN116958715A (zh) 一种手部关键点的检测方法、装置以及存储介质
CN110750193B (zh) 一种基于人工智能的场景拓扑确定方法和装置
CN112752155B (zh) 一种媒体数据显示方法和相关设备
CN113569043A (zh) 一种文本类别确定方法和相关装置
CN111723783A (zh) 一种内容识别方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020118

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200117

Assignee: Shenzhen Mindray Bio-Medical Electronics Co.,Ltd.

Assignor: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Contract record no.: X2021980004088

Denomination of invention: An image classification method and device

Granted publication date: 20210413

License type: Common License

Record date: 20210527

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20220120

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right