CN111414950B - 基于标注者专业度管理的矿石图片标注方法和系统 - Google Patents
基于标注者专业度管理的矿石图片标注方法和系统 Download PDFInfo
- Publication number
- CN111414950B CN111414950B CN202010179216.4A CN202010179216A CN111414950B CN 111414950 B CN111414950 B CN 111414950B CN 202010179216 A CN202010179216 A CN 202010179216A CN 111414950 B CN111414950 B CN 111414950B
- Authority
- CN
- China
- Prior art keywords
- labeling
- ore
- result
- annotators
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000003550 marker Substances 0.000 claims description 31
- 238000013136 deep learning model Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于标注者专业度管理的矿石图片标注方法和系统，包括采用预先构建的矿石标注模型对样本图片中目标矿石进行标注得到第一标注结果；根据多个标注者权值和多个标注者用户端对样本图片中目标矿石的人工标注结果，得到第二标注结果；根据第二标注结果得到标注者拟合命中率，根据多个标注者的标注者拟合命中率划分每个标注者的专业度等级，使得标注者专业度能够得到客观评价，根据标注者的专业度等级设置标注者权值，提高标注结果的准确性；根据第一标注结果和第二标注结果得到的人机标注重合度调整矿石标注模型。本发明能够客观评价标注者的专业度，根据标注者的专业度影响标注结果裁决，确保矿石图片标注结果的准确性，提高标注效率。
Description
技术领域
本发明涉及矿石图片分类技术领域，尤其是涉及一种基于标注者专业度管理的矿石图片标注方法和系统。
背景技术
在对矿石进行开采时，需要将矿石与废石分开，而对矿石进行图像识别是提高矿石开采效率、确保矿石品质的重要手段。对矿石进行准确标注，是实现矿石图像识别的重要前提。目前，在训练深度学习模型时，矿石标注主要依赖于人工标注，而矿石类的图片样本对于人工标注是一项十分具有挑战性的工作。普通人限于经验和专业知识很难保证标注准确性，而采用专业人员标注矿石类的图片样本则要面临标注效率和标注结果评价两大难题。
发明内容
本发明的目的在于提供一种基于标注者专业度管理的矿石图片标注方法和系统，能够提高标注效率，确保标注结果的准确性，缩短神经网络的训练时间，提升深度学习模型的准确性。
第一方面，实施例提供一种基于标注者专业度管理的矿石图片标注方法，包括：
采用预先构建的矿石标注模型对样本图片中的目标矿石进行标注，得到第一标注结果；
获取多个标注者用户端发送的多个标注者权值和多个标注者用户端对同一张样本图片对目标矿石的人工标注结果；
根据所述多个标注者权值和多个标注者用户端对样本图片中目标矿石的人工标注结果，得到样本图片的第二标注结果，在样本图片上展示所述第二标注结果；
根据所述第一标注结果和所述第二标注结果得到人机标注重合度；
根据所述人机标注重合度调整所述矿石标注模型。
在可选的实施方式中，所述多个标注者用户端对同一张样本图片的人工标注结果包括多个标注者用户端对同一张样本图片的多个标注者标签投票结果和多个标注者框选区域结果；所述第二标注结果包括矿石类别和矿石区域标框；其中，预先为同一样本图片设置多个类别的标签以获取标注者标签投票结果；根据所述多个标注者权值和多个标注者用户端对样本图片的人工标注结果，得到样本图片的第二标注结果包括：
根据多个标注者标签投票结果和标注者权值得到每个类别的标签得分；
将得分最高的标签所对应的类别作为样本图片的矿石类别；
根据多个标注者框选区域结果得到重叠区域；
根据所述重叠区域得到矿石区域标框。
在可选的实施方式中，预先存储每个标注者的专业度等级，根据每个标注者的专业度等级得到每个标注者的标注者权值；所述方法还包括：
根据多个标注者用户端对同一张样本图片的人工标注结果和第二标注结果得到多个标注者的标注者拟合命中率；
根据多个标注者的标注者拟合命中率得到每个标注者的专业度等级。
在可选的实施方式中，根据多个标注者的标注者拟合命中率得到每个标注者的专业度等级包括：
根据多个标注者拟合命中率得到每个标注者的拟合命中率均值和拟合偏差值；
当标注者的拟合命中率均值高于预设阈值时，根据所述拟合偏差值调整相应标注者的专业度等级。
在可选的实施方式中，还包括：
当标注者的拟合命中率均值低于预设阈值时，向相应的标注者用户端发送警告信息。
在可选的实施方式中，所述矿石标注模型为深度学习模型。
第二方面，实施例提供的一种基于标注者专业度管理的矿石图片标注装置，包括：
第一标注结果模块，用于采用预先构建的矿石标注模型对样本图片中的目标矿石进行标注，得到第一标注结果；
获取模块，用于获取多个标注者用户端发送的多个标注者权值和多个标注者用户端对同一张样本图片对目标矿石的人工标注结果；
第二标注结果模块，用于根据所述多个标注者权值和多个标注者用户端对样本图片对目标矿石的人工标注结果，得到样本图片的第二标注结果，在样本图片上展示所述第二标注结果；
人机标注重合度模块，用于根据所述第一标注结果和所述第二标注结果得到人机标注重合度；
调整模块，用于根据所述人机标注重合度调整所述矿石标注模型；
其中，所述多个标注者用户端对同一张样本图片的人工标注结果包括多个标注者用户端对同一张样本图片的多个标注者标签投票结果和多个标注者框选区域结果；所述第二标注结果包括矿石类别和矿石区域标框；其中，预先为同一样本图片设置多个类别的标签以获取标注者标签投票结果；根据所述多个标注者权值和多个标注者用户端对样本图片的人工标注结果，得到样本图片的第二标注结果包括：
根据多个标注者标签投票结果和标注者权值得到每个类别的标签得分；
将得分最高的标签所对应的类别作为样本图片的矿石类别；
根据多个标注者框选区域结果得到重叠区域；
根据所述重叠区域得到矿石区域标框。
第三方面，实施例提供的一种基于标注者专业度管理的矿石图片标注系统，包括标注者用户端和第二方面所述的矿石图片标注装置；
所述标注者用户端，用于接收矿石图片标注装置发送的样本图片，对样本图片进行标注得到人工标注结果，并向矿石图片标注装置发送所述人工标注结果和标注者权值；
所述矿石图片标注装置，用接收多个标注者用户端发送的多个人工标注结果和多个标注者权值，根据所述多个人工标注结果和多个标注者权值，得到样本图片的第二标注结果并加以展示；以及调整矿石标注模型。
第四方面，实施例提供一种基于标注者专业度管理的矿石分选系统，包括识别模块和分选模块；
所述识别模块，用于获取当前矿石的实时矿石图片，并采用第二方面所述的矿石图片标注装置得到的目标矿石的矿石标注模型识别矿石实时图片中的目标矿石，得到实时识别结果；
所述分选模块，用于根据所述实时识别结果控制分选执行机构从当前矿石中分选出目标矿石。
第五方面，实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述前述实施方式任一项所述的方法的步骤。
第六方面，实施例提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述前述实施方式任一项所述方法。
本发明提供的基于标注者专业度管理的矿石图片标注方法和系统，通过矿石标注模型得到第一标注结果，通过标注者用户端得到人工标注结果，结合人工标注结果和标注者权值得到第二标注结果，根据所述第一标注结果和所述第二标注结果得到人机标注重合度，从而根据人机标注重合度调整所述矿石标注模型；本发明由于采用人机结合的方式调整矿石标注模型，从而能够提高标注效率，降低人工标注难度，确保标注结果的准确性，减少工作量，缩短神经网络的训练时间，提升深度学习模型的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于标注者专业度管理的矿石图片标注方法的流程图；
图2为本发明实施例提供的基于标注者专业度管理的矿石图片标注装置的原理图；
图3为本发明实施例提供的基于标注者专业度管理的矿石图片标注系统的原理图；
图4为本发明实施例提供的基于标注者专业度管理的矿石分选系统的原理图；
图5为本发明实施例提供的电子设备的原理图。
图标：21-第一标注结果模块；22-获取模块；23-第二标注结果模块；24-人机标注重合度模块；25-调整模块；31-标注者用户端；32-矿石图片标注装置；41-识别模块；42-分选模块；400-电子设备；401-通信接口；402-处理器；403-存储器；404-总线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
目前，在对矿石进行分类时，需要构建深度学习模型对矿石进行分类识别；而构建的深度学习模型精度十分依赖于训练样本的分类精度，但是矿石类的图片样本对于人工标注是一项十分具有挑战性的工作。普通人限于经验和专业知识很难保证标注准确性，而采用专业人员标注矿石类的图片样本则要面临标注效率和标注结果评价两大难题。
基于此，本发明提供了一种基于标注者专业度管理的矿石图片标注方法和系统，能够提高标注效率，确保标注结果的准确性，缩短神经网络的训练时间，提升深度学习模型的准确性，下面通过实施例对本发明进行详细介绍。
参照图1，本实施例提供一种基于标注者专业度管理的矿石图片标注方法，包括如下步骤：
S110，采用预先构建的矿石标注模型对样本图片中的目标矿石进行标注，得到第一标注结果；
具体地，在最初没有足够训练样本的条件下先采用传统的图像分类算法，例如决策树、支持向量机等，基于颜色、纹理等矿石表面特征进行自动分类标注。当具有足够的样本时，矿石标注模型为建立的基于神经网络的深度学习模型。因此，第一标注结果是基于机器的自动标注结果。
根据第一标注结果和样本数量对带有标注结果的样本图片通过封包软件进行分组打包，每包数据不大于N幅图片。样本包中包含样本图片，第一标注结果和唯一识别ID号。
S120，获取多个标注者用户端发送的多个标注者权值和多个标注者用户端对同一张样本图片对目标矿石的人工标注结果；
具体地，标注者用户端可以是移动终端，标注者通过自己的移动终端对接收的样本图片进行人工标注。
优选地，标注者预先通过移动终端上的APP预先注册用户账号，获取相应的待标注样本包，利用APP自带的标注工具对每幅样本图片进行标注。移动终端APP的进度管理模块自动存档每幅图片样本已完成的标注数据，并在移动终端上给出标定进度提示。当完成一个样本包的标注后提交标注结果到WEB服务器。
优选地，为标注者预先设置权限，以向指定的标注者账号开放样本报的访问权限。
S130，根据所述多个标注者权值和多个标注者用户端对样本图片的人工标注结果，得到样本图片的第二标注结果，在样本图片上展示所述第二标注结果；
具体地，根据多个标注者权值和多个标注者的人工标注结果进行决策，根据决策结果得到第二标注结果。
S140，根据所述第一标注结果和所述第二标注结果得到人机标注重合度；
具体地，通过计算第一标注结合和第二标注结果的重合率得到人机标注重合度。
S150，根据所述人机标注重合度调整所述矿石标注模型。
具体地，根据人机标注重合度调整深度学习模型，以提高深度学习模型识别的准确度。
可选地，所述多个标注者用户端对同一张样本图片的人工标注结果包括多个标注者用户端对同一张样本图片的多个标注者标签投票结果和多个标注者框选区域结果；所述第二标注结果包括矿石类别和矿石区域标框；其中，预先为同一样本图片设置多个类别的标签以获取标注者标签投票结果；上述实施例中的步骤S130包括如下步骤：
根据多个标注者标签投票结果和标注者权值得到每个类别的标签得分；
将得分最高的标签所对应的类别作为样本图片的矿石类别；
根据多个标注者框选区域结果得到重叠区域；
根据所述重叠区域得到矿石区域标框。
具体地，预先为每张图片设定多个标签，该标签表示矿石的可能类别。标注者在移动用户端对每张样本图片进行框选后，选择对应的标签，即得到标注者标签投票结果；将标注者标签投票结果和标注者权值相乘，得到一个标注者的标签得分；计算同一张样本图片框选区域的每个标注者的标签得分，从中统计出得分最高的标签；该标签所表示的类别即为该张样本图片框选区域的矿石类别。
统计每个标注者对同一样本图片所框选的重叠区域，从中取占所有标注者权值总和一定比例的重叠区域，将该重叠区域作为矿石区域标框。
可选地，预先存储每个标注者的专业度等级，根据每个标注者的专业度等级得到每个标注者的标注者权值；所述方法还包括：
根据多个标注者用户端对同一张样本图片的人工标注结果和第二标注结果得到多个标注者的拟合命中率；
根据多个标注者的拟合命中率得到每个标注者的专业度等级。
具体地，根据每个标注者的专业度等级还可以设定每个标注者的用户权限。
预先为每个标注者设定专业度等级，并标注标注者属性，其中标注者属性包括专业、经验、历史标注评分。
标注拟合策略是少数服从多数，而矿石标注的专业性和独特性导致有时真理掌握在少数人手中，标注者权值是专业度和标注历史评分的综合结果，为了最大限度保证标注结果决策的正确性，需要设定标注者权值，并调整专业度等级。
可选地，根据多个标注者的拟合命中率划分每个标注者的专业度等级包括：
根据多个标注者的拟合命中率得到每个标注者的拟合命中率均值和拟合偏差值；
当标注者的拟合命中率均值高于预设阈值时，根据所述拟合偏差值调整相应标注者的专业度等级。
具体地，统计每个标注者拟合命中率，得到拟合命中率均值和拟合偏差值，当累计N次拟合偏差高于预设偏差阈值时，降低专业度等级；而当累计N次拟合偏差低于预设偏差阈值时，则提升标注者的专业度等级。
可选地，还包括：
当标注者的拟合命中率均值低于预设阈值时，向相应的标注者用户端发送警告信息。
具体地，当标注者的拟合命中率均值低于预设阈值时，向标注者用户端发送拟合命中率均值，并发送标定质量较差警告。
参照图2，实施例提供的一种基于标注者专业度管理的矿石图片标注装置，包括如下模块：
第一标注结果模块21，用于采用预先构建的矿石标注模型对样本图片中的目标矿石进行标注，得到第一标注结果；
获取模块22，用于获取多个标注者用户端发送的多个标注者权值和多个标注者用户端对同一张样本图片对目标矿石的人工标注结果；
第二标注结果模块23，用于根据所述多个标注者权值和多个标注者用户端对样本图片对目标矿石的人工标注结果，得到样本图片的第二标注结果，在样本图片上展示所述第二标注结果；
人机标注重合度模块24，用于根据所述第一标注结果和所述第二标注结果得到人机标注重合度；
调整模块25，用于根据所述人机标注重合度调整所述矿石标注模型。
可选地，所述多个标注者用户端对同一张样本图片的人工标注结果包括多个标注者用户端对同一张样本图片的多个标注者标签投票结果和多个标注者框选区域结果；所述第二标注结果包括矿石类别和矿石区域标框；其中，预先为同一样本图片设置多个类别的标签以获取标注者标签投票结果；第二标注结果模块包括：
标签得分计算模块，用于根据多个标注者标签投票结果和标注者权值得到每个类别的标签得分；
标签得分比较模块，用于将得分最高的标签所对应的类别作为样本图片的矿石类别；
重叠区域获取模块，用于根据多个标注者框选区域结果得到重叠区域；
矿石区域标框模块，用于根据所述重叠区域得到矿石区域标框。
可选地，预先存储每个标注者的专业度等级，根据每个标注者的专业度等级得到每个标注者的标注者权值；所述装置还包括：
标注者拟合命中率模块，用于根据多个标注者用户端对同一张样本图片的人工标注结果和第二标注结果得到多个标注者的标注者拟合命中率；
专业度等级模块，用于根据多个标注者的标注者拟合命中率得到每个标注者的专业度等级。
可选地，专业度等级管理模块包括：
均值和偏差值模块，用于根据多个标注者拟合命中率得到每个标注者的拟合命中率均值和拟合偏差值；
专业度等级调整模块，用于当标注者的拟合命中率均值高于预设阈值时，根据所述拟合偏差值调整相应标注者的专业度等级。
可选地，还包括：
警告模块，用于当标注者的拟合命中率均值低于预设阈值时，向相应的标注者用户端发送警告信息。
可选地，所述矿石标注模型为深度学习模型。
参照图3，实施例提供的一种基于标注者专业度管理的矿石图片标注系统，包括标注者用户端和第二方面所述的矿石图片标注装置；
所述标注者用户端31，用于接收矿石图片标注装置发送的样本图片，对样本图片进行标注得到人工标注结果，并向矿石图片标注装置发送所述人工标注结果和标注者权值；
所述矿石图片标注装置32，用接收多个标注者用户端发送的多个人工标注结果和多个标注者权值，根据所述多个人工标注结果和多个标注者权值，得到样本图片的第二标注结果并加以展示；以及调整矿石标注模型。
参照图4，本发明实施例还提供一种基于标注者专业度管理的矿石分选系统，包括识别模块和分选模块；
所述识别模块41，用于获取当前矿石的实时矿石图片，并采用上述实施例中的矿石图片标注装置32得到目标矿石的矿石标注模型识别矿石实时图片中的目标矿石，得到实时识别结果；
所述分选模块42，用于根据所述实时识别结果控制分选执行机构从当前矿石中分选出目标矿石。
参见图5，本发明实施例还提供了一种电子设备400，包括通信接口401、处理器402、存储器403以及总线404，处理器402、通信接口401和存储器403通过总线404连接；上述存储器403用于存储支持处理器402执行上述矿石图片标注方法的计算机程序，上述处理器402被配置为用于执行该存储器403中存储的程序。
可选地，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行如上述实施例中的矿石图片标注方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于标注者专业度管理的矿石图片标注方法，其特征在于，包括：
采用预先构建的矿石标注模型对样本图片中的目标矿石进行标注，得到第一标注结果；
获取多个标注者用户端发送的多个标注者权值和多个标注者用户端对同一张样本图片中的目标矿石的人工标注结果；
根据所述多个标注者权值和多个标注者用户端对样本图片中目标矿石的人工标注结果，得到样本图片的第二标注结果，在样本图片上展示所述第二标注结果；
根据所述第一标注结果和所述第二标注结果得到人机标注重合度；
根据所述人机标注重合度调整所述矿石标注模型；
其中，所述多个标注者用户端对同一张样本图片的人工标注结果包括多个标注者用户端对同一张样本图片的多个标注者标签投票结果和多个标注者框选区域结果；所述第二标注结果包括矿石类别和矿石区域标框；其中，预先为同一样本图片设置多个类别的标签以获取标注者标签投票结果；根据所述多个标注者权值和多个标注者用户端对样本图片的人工标注结果，得到样本图片的第二标注结果包括：
根据多个标注者标签投票结果和标注者权值得到每个类别的标签得分；
将得分最高的标签所对应的类别作为样本图片的矿石类别；
根据多个标注者框选区域结果得到重叠区域；
根据所述重叠区域得到矿石区域标框。
2.根据权利要求1所述的方法，其特征在于，预先存储每个标注者的专业度等级，根据每个标注者的专业度等级得到每个标注者权值；所述方法还包括：
根据多个标注者用户端对同一张样本图片的人工标注结果和第二标注结果得到多个标注者的标注者拟合命中率；
根据多个标注者的标注者拟合命中率得到每个标注者的专业度等级。
3.根据权利要求2所述的方法，其特征在于，根据多个标注者的标注者拟合命中率得到每个标注者的专业度等级包括：
根据多个标注者拟合命中率得到每个标注者的拟合命中率均值和拟合偏差值；
当标注者的拟合命中率均值高于预设阈值时，根据所述拟合偏差值调整相应标注者的专业度等级。
4.根据权利要求3所述的方法，其特征在于，还包括：
当标注者的拟合命中率均值低于预设阈值时，向相应的标注者用户端发送警告信息。
5.根据权利要求1所述的方法，其特征在于，所述矿石标注模型为深度学习模型。
6.一种基于标注者专业度管理的矿石图片标注装置，其特征在于，包括：
第一标注结果模块，用于采用预先构建的矿石标注模型对样本图片中的目标矿石进行标注，得到第一标注结果；
获取模块，用于获取多个标注者用户端发送的多个标注者权值和多个标注者用户端对同一张样本图片对目标矿石的人工标注结果；
第二标注结果模块，用于根据所述多个标注者权值和多个标注者用户端对样本图片对目标矿石的人工标注结果，得到样本图片的第二标注结果，在样本图片上展示所述第二标注结果；
人机标注重合度模块，用于根据所述第一标注结果和所述第二标注结果得到人机标注重合度；
调整模块，用于根据所述人机标注重合度调整所述矿石标注模型；
其中，所述多个标注者用户端对同一张样本图片的人工标注结果包括多个标注者用户端对同一张样本图片的多个标注者标签投票结果和多个标注者框选区域结果；所述第二标注结果包括矿石类别和矿石区域标框；其中，预先为同一样本图片设置多个类别的标签以获取标注者标签投票结果；根据所述多个标注者权值和多个标注者用户端对样本图片的人工标注结果，得到样本图片的第二标注结果包括：
根据多个标注者标签投票结果和标注者权值得到每个类别的标签得分；
将得分最高的标签所对应的类别作为样本图片的矿石类别；
根据多个标注者框选区域结果得到重叠区域；
根据所述重叠区域得到矿石区域标框。
7.一种基于标注者专业度管理的矿石图片标注系统，其特征在于，包括标注者用户端和如权利要求6所述的矿石图片标注装置；
所述标注者用户端，用于接收矿石图片标注装置发送的样本图片，对样本图片进行标注得到人工标注结果，并向矿石图片标注装置发送所述人工标注结果和标注者权值；
所述矿石图片标注装置，用接收多个标注者用户端发送的多个人工标注结果和多个标注者权值，根据所述多个人工标注结果和多个标注者权值，得到样本图片的第二标注结果并加以展示；以及调整矿石标注模型。
8.一种基于标注者专业度管理的矿石分选系统，其特征在于，包括识别模块和分选模块；
所述识别模块，用于获取当前矿石的实时矿石图片，并采用权利要求6所述的矿石图片标注装置得到的目标矿石的矿石标注模型识别矿石实时图片中的目标矿石，得到实时识别结果；
所述分选模块，用于根据所述实时识别结果控制分选执行机构从当前矿石中分选出目标矿石。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010179216.4A CN111414950B (zh) | 2020-03-13 | 2020-03-13 | 基于标注者专业度管理的矿石图片标注方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010179216.4A CN111414950B (zh) | 2020-03-13 | 2020-03-13 | 基于标注者专业度管理的矿石图片标注方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111414950A CN111414950A (zh) | 2020-07-14 |
| CN111414950B true CN111414950B (zh) | 2023-08-18 |
Family
ID=71494233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010179216.4A Active CN111414950B (zh) | 2020-03-13 | 2020-03-13 | 基于标注者专业度管理的矿石图片标注方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414950B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446914B (zh) * | 2020-12-04 | 2023-08-15 | 中国矿业大学(北京) | 一种放顶煤过程中的煤矸石质量计算方法及系统 |
| CN112990169B (zh) * | 2021-05-20 | 2021-08-24 | 天津美腾科技股份有限公司 | 煤岩界面的识别方法、割煤轨迹的确定方法及装置 |
| CN113469291B (zh) * | 2021-09-01 | 2021-11-30 | 平安科技（深圳）有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729378A (zh) * | 2017-07-13 | 2018-02-23 | 华中科技大学 | 一种数据标注方法 |
| CN109035187A (zh) * | 2018-07-10 | 2018-12-18 | 杭州依图医疗技术有限公司 | 一种医学图像的标注方法及装置 |
| CN109446369A (zh) * | 2018-09-28 | 2019-03-08 | 武汉中海庭数据技术有限公司 | 图像半自动标注的交互方法及系统 |
| CN110704633A (zh) * | 2019-09-04 | 2020-01-17 | 平安科技（深圳）有限公司 | 命名实体识别方法、装置、计算机设备及存储介质 |
-
2020
- 2020-03-13 CN CN202010179216.4A patent/CN111414950B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729378A (zh) * | 2017-07-13 | 2018-02-23 | 华中科技大学 | 一种数据标注方法 |
| CN109035187A (zh) * | 2018-07-10 | 2018-12-18 | 杭州依图医疗技术有限公司 | 一种医学图像的标注方法及装置 |
| CN109446369A (zh) * | 2018-09-28 | 2019-03-08 | 武汉中海庭数据技术有限公司 | 图像半自动标注的交互方法及系统 |
| CN110704633A (zh) * | 2019-09-04 | 2020-01-17 | 平安科技（深圳）有限公司 | 命名实体识别方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111414950A (zh) | 2020-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111414950B (zh) | 基于标注者专业度管理的矿石图片标注方法和系统 | |
| CN106951848B (zh) | 图片识别的方法及系统 | |
| CN109389275B (zh) | 一种图像标注方法和装置 | |
| CN111340126B (zh) | 物品识别方法、装置、计算机设备和存储介质 | |
| EP3506185A1 (en) | Method for training model and information recommendation system | |
| CN108985214A (zh) | 图像数据的标注方法和装置 | |
| CN107909340A (zh) | 简历筛选方法、电子装置及可读存储介质 | |
| CN106650780A (zh) | 数据处理方法及装置、分类器训练方法及系统 | |
| CN108830147A (zh) | 一种基于图像识别的货架商品价格识别方法、装置和系统 | |
| CN114419736A (zh) | 一种实验评分方法、系统、设备及可读存储介质 | |
| CN107122786B (zh) | 一种众包学习方法及装置 | |
| CN109542289B (zh) | Mes的操作方法、装置、设备及存储介质 | |
| CN111652141B (zh) | 基于题号和文本行的题目分割方法、装置、设备和介质 | |
| CN110969327B (zh) | 工单的派送方法、装置、系统及数据的处理方法 | |
| CN109471981B (zh) | 评论信息排序方法、装置、服务器及存储介质 | |
| CN111966600B (zh) | 网页测试方法、装置、计算机设备及计算机可读存储介质 | |
| CN110852204A (zh) | 一种智能远程书法数字化学习评价信息处理系统及方法 | |
| CN112445897A (zh) | 文本类数据大规模分类标注方法、系统、装置及存储介质 | |
| CN107784482A (zh) | 招聘方法、电子装置及可读存储介质 | |
| CN114398560A (zh) | 基于web平台的营销界面设置方法、装置、设备及介质 | |
| CN110532394A (zh) | 订单备注文本的处理方法及系统 | |
| CN114049540A (zh) | 基于人工智能的标注图像检测方法、装置、设备及介质 | |
| CN117911039A (zh) | 售后服务系统的控制方法、设备及存储介质 | |
| CN117727017A (zh) | 一种鼠标行为特征验证码的验证方法 | |
| CN113255836A (zh) | 一种作业数据处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231116 Address after: 300467 Binhai Tianjin Binhai Zhongxin Ecological City West of Zhongcheng Avenue, South of Zhongbin Avenue Ecological Construction Apartment Building 8, Room 137, Floor 1 Patentee after: TIANJIN ZHONGXIN ZHIGUAN INFORMATION TECHNOLOGY CO.,LTD. Patentee after: Tianjin Meiteng Technology Co.,Ltd. Address before: Room 137, 1 / F, building 8, ecological construction apartment, south of Zhongbin Avenue, Zhongxin ecological city, Binhai New Area, Tianjin 300450 Patentee before: Tianjin Meiteng Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |