CN108932724A - 一种基于多人协同图像标注的系统自动审核方法 - Google Patents

一种基于多人协同图像标注的系统自动审核方法 Download PDF

Info

Publication number
CN108932724A
CN108932724A CN201810550862.XA CN201810550862A CN108932724A CN 108932724 A CN108932724 A CN 108932724A CN 201810550862 A CN201810550862 A CN 201810550862A CN 108932724 A CN108932724 A CN 108932724A
Authority
CN
China
Prior art keywords
pixel
mark
weight
bod
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810550862.XA
Other languages
English (en)
Other versions
CN108932724B (zh
Inventor
冯杰
郑雅羽
寇喜超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dukang Technology Co ltd
Original Assignee
Hangzhou Xiaotu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiaotu Technology Co Ltd filed Critical Hangzhou Xiaotu Technology Co Ltd
Priority to CN201810550862.XA priority Critical patent/CN108932724B/zh
Publication of CN108932724A publication Critical patent/CN108932724A/zh
Application granted granted Critical
Publication of CN108932724B publication Critical patent/CN108932724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多人协同图像标注的系统自动审核方法，能够对整体图像标注质量进行自动审核，免除专业人士进行特殊标注的麻烦，极大减少了审核工作量。本发明方法免除了专业人员审核步骤，对于开发人员来说自动审核提高了工作效率减少了工作量；另外本发明对于数据质量的衡量也更加严格，表现在此算法对全部标注数据进行评估，并且增加了多人共同标注大大减少标注错误从而提高了标注质量。

Description

一种基于多人协同图像标注的系统自动审核方法
技术领域
本发明属于数据标注技术领域，具体涉及一种基于多人协同图像标注的系统自动审核方法。
背景技术
机器学习研究的是计算机如何模拟和实现人的学习行为，是人工智能的核心，拥有广泛的应用和不可估量的前景。而机器学习中应用最多，目前发展较为成熟的就是监督学习，但监督学习存在一个致命缺陷，它需要大量的人工标注数据以使学习效果更好，然而在海量数据中进行有用数据的标注需要巨大的工作量，由开发和研究人员标注成本极高且不现实(人员相对较少)，因此出现了大量的专业标注公司和众包平台以提供相应服务。但是由此又产生了一个严重问题，由于缺乏相应的专业背景知识以及工作能力参差不齐，数据标注质量得不到保证，有时会产生大量的无用数据造成人力物力的浪费，所以对标注数据的审核必不可少，有时甚至存在多级的审核机制以保证数据有效性，使得成本急剧增加。因此数据标注问题也成为了一个热门研究方向，研究人员寻求如何在质量和成本之间做出平衡，但至今没有一个较好的完整解决方案，需要大量的成本和人力投入。
申请号为201680001749.5的专利中提及的自动化审核方法是利用数据挖掘技术对历史数据库和众包标注结果进行相似度对比、聚类分析、有效性检验等，此方法不仅获取历史数据库较为困难，且自动化审核步骤叙述笼统，没有对某一类标注问题进行针对性描述，缺乏详细的执行步骤，不具有可执行意义，效果很难测试。另外数据挖掘技术对人工标注数据进行审核还存在很大的技术问题，远远达不到审核的目的和要求，目前基于机器学习和数据分析等技术只是用于辅助标注技术，如进行标注前的预分类从而进行针对性的标注数据分发或提供标注参考等，从而提高标注质量，但是避免不了人工标注及后续审核。
申请号为201710630738.X的专利中针对图像分类领域提及了一种利用机器学习技术对图片进行预分类限定标注范围，接着重复进行多人标注逐步获取最终结果(一张图片对应一个标签)，其对于图像分类的简单标注任务加入机器学习的预分类，能够方便且简单的进行多人标注审核提高质量，但是针对物体检测区域分割类标注任务却复杂得多，目前为止没有人提出相应的详细解决方案。申请号为201710889767.8的专利中同样利用机器学习对图片进行预处理，但不同的是产生包含标识信息的识别结果，并随图片一起在标注界面显示，从而供标注员进行选择性标注(未选择，则手工标注)，此举旨在降低标注成本，对于标注质量的审核和提高没有提出较好的解决方法。
针对物体检测与对象区域分割类型的图像标注类任务，目前审核的一种解决方法是在给标注人员分发标注任务时添加已标注的标准样本数据从而对标注人员进行评估，衡量其标注质量，但已标注的标准数据无法轻易获取，需要专业人员进行特殊标注，这就无疑增加了审核成本；而且，由于只是对少部分数据进行特殊标注从而只能以部分标注质量来评估整体质量。
发明内容
鉴于上述，本发明提供了一种基于多人协同图像标注的系统自动审核方法，其针对物体检测与对象区域分割类型的图像标注类任务，能够对整体图像标注质量进行自动审核，免去人工进行特殊标注的麻烦。
一种基于多人协同图像标注的系统自动审核方法，包括如下步骤：
(1)由多人协同对同一张图像中的不同物体进行区域标注，并为标注得到的每个物体区域打上类别标签；
(2)根据标签对图像中所有物体区域进行分类；
(3)统计每一类别的物体区域个数，若存在某一类别的物体区域数量大于协同标注人数n，则对该类别的物体区域进行二次分类，即根据IoU(Intersection-over-Union，交并比)将其中属于同一物体的物体区域单独归为一类，使得图像中一个物体即对应一个类别；
(4)对于任一类别，在图像中确定该类别所有物体区域的并集，根据物体区域的边框从该并集中遍历出由边框围成的所有子区域，并为各子区域及其各像素点赋予权重；
(5)对于该类别中的任一物体区域i，通过计算物体区域i内像素点权重的累加总和wi以及该类别所有物体区域并集内像素点权重的累加总和wtotal，从而得到物体区域i的评价指标Ai和Bi；
(6)设置一比例因子prop作为审核标准，进而根据比例因子prop以及评价指标Ai和Bi对于多人协同对该类别物体的整体标注行为质量进行审核评估。
进一步地，所述步骤(1)中选由3人协同对同一张图像中的不同物体进行区域标注。多个人对同一张图像进行标注可以大大减少错误概率，提高标注质量，并以此来减少审核量，相对于专业人士标注和审核减少了成本，考虑到成本和质量优选取为3人协同。
进一步地，所述步骤(3)中二次分类完成后，若存在某一类别的物体区域数量小于等于协同标注人数n的一半，则丢弃该类别所有物体区域。由于图像中可能存在标注人员不确定的物体，这时有人会标，有人则不会，对于这种情况我们采取投票机制，对完全分类好的标注进行检查，对少数人标注的物体区域进行抛弃处理，同时这对于一些少数人错标、漏标的情况也能够排除，从而提高对标注质量的要求。
进一步地，所述步骤(4)中为各子区域赋予权重的标准为：若某一子区域被标注的次数为c，当协同标注人数n为偶数时，则该子区域的权重warea(c)＝ec-n/2；当协同标注人数n为奇数时，则该子区域的权重warea(c)＝ec-(n+1)/2。
进一步地，所述步骤(4)中为子区域中的各像素点赋予权重，具体标准为：若子区域中的某一像素点被标注的次数为c，当c＝n时，则该像素点的权重wpixel(c)等于其所在子区域的权重warea(c)；当1≤c＜n时，则该像素点权重wpixel(c)如下：
其中：Ppixel,c表示该像素点在图像中的位置，Bodc,c+1表示该像素点所在子区域的边界线且该边界线两侧子区域被标注的次数分别为c和c+1，Bodc,c-1表示该像素点所在子区域的边界线且该边界线两侧子区域被标注的次数分别为c和c-1，min_D(Ppixel,c,Bodc,c+1)为该像素点位置Ppixel,c与边界线Bodc,c+1的最小距离，max_D(Bodc,c-1,Bodc,c+1)为边界线Bodc,c-1与边界线Bodc,c+1的最大距离。
进一步地，所述步骤(5)中的评价指标Ai＝wi/wtotal，评价指标Bi＝wi/(mi×wmax)，mi为物体区域i内的像素点个数，wmax为该类别所有物体区域并集内像素点权重的最大值。
进一步地，所述步骤(6)中根据以下公式设置比例因子prop：
Prop＝max(λn,Pbase)
其中：λ为给定的比例系数且0.9＜λ＜1，Pbase为设定的最低标准系数。
进一步地，所述步骤(6)中对该类别物体的整体标注行为质量进行审核评估的合格标准如下：
其中：α和β均为权重系数且α+β＝1，Ω为该类别物体区域的集合，当图片中所有类别物体均符合上式则该图片标注审核通过。
本发明提供了图像区域标注自动审核的一种解决方案，免除了专业人员审核步骤，对于开发人员来说自动审核提高了工作效率减少了工作量；另外本发明对于数据质量的衡量也更加严格，表现在此算法对全部标注数据进行评估，并且增加了多人共同标注大大减少标注错误从而提高了标注质量。
附图说明
图1为本发明审核方法的流程示意图。
图2为本发明方法中二次分类的流程示意图。
图3为标注示例图像(以三人同时标注为例)。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明(为了简洁，图3中以矩形标注为例，但本发明不局限于矩形，根据标注需要可以是任意形状的区域标注，如道路等其他非规则边界标注)。
如图1所示，本发明基于多人协同图像标注的系统自动审核算法，包括如下步骤：
(1)多人协同对同一张图像物体区域进行标注，并为图像中的每个物体区域打上类别标签。
如图3中有三个人对这张图片进行了标注，每个物体在标注正确的情况下应该有三个标注框，但是可能存在错标漏标等使其少于三个，如帆船的标注只有一个标注框。多人对图像进行标注给自动审核提供了依据，使得标注的任意性和随机性大大降低，从而提高了标注质量，减少审核工作量。
(2)根据不同类别标签对每一张图像的标注区域分类。
如图3中的标注可以依据标签分为四类：人、球、海狮、船。每一类标注次数对应为3、3、6、1，其中前两个只有同一标注区域，第三个海狮是含有两个物体的标签相同区域。
本步骤的目的在于获取相同类别物体区域的集合，经过对类别标签分类后，极大的简化了后续对同一物体标注的筛选与分类。
(3)统计每个分类中的区域个数，如果存在某个类别物体区域数量大于人数，根据IoU(交并比)将图像同一个物体区域归为一类。
如对图3中海狮分类中由六个标注框大于标注人数三个人说明存在相同标签的不同物体即有两个海狮，就需要进一步进行分类。
再分类操作的过程如图2所示：随机选取一个区域作为标准并作为一个新类别，依次计算其他区域与此区域的交并比，大于50％则和此区域归为一类，否则视为未归类，然后在未归类中选取一个作为标准对未归类的区域重复上述操作，直到全部归类完成。
对于图3而言，海狮有六个标注区域，可以把左边海狮的其中一个标注区域作为标准，依次与其余五个进行交并比计算，大于50％认为是对同一物体的标注，这样就会使另外两个针对同物体的标注和标准归为一类，接着对剩余三个进行归类，这样就会得到两个海狮分类，从而总的分类个数由原来的四个增加到五个。
至此，完成对标注的预处理工作，使得本步骤之后的分类结果为每一类仅含有对同一物体区域的标注，为后续分析标注人员对某一特定物体的标注质量提供了基础和前提。
(4)对每个分类的区域个数进行统计如果小于等于标注人数的一半，则丢掉此分类。
如图3中，经过步骤(3)之后有五个分类，但是船的分类中只有一个标注框，说明有一多半的人没有标注此区域，这时认为此区域无效，对船这个分类进行丢弃，从而剩下人、海狮1、海狮2、球四个分类。
本步骤采用投票机制决定每个分类的去留，由于存在错标漏标情况，对标注次数过少的区域进行舍弃，一般大于一半的人标注则认为此区域为有效物体区域。
(5)对每一类计算不同人标注区域的并集，并对该并集中不同像素点赋予不同的权重。
首先获取同类别标注区域并集，然后统计并集内子区域重复标注次数，最后依据标注次数对区域赋予不同权重。
对权重进行初次分配的公式为：
其中：warea,c是重复标注次数为c的区域权重，n是对同一张图像协同标注的人数，考虑到成本和质量通常建议取3，c是某一区域被标注的次数，e为自然常数。
然后依照上式对权重进一步细化的过程如下：
1.遍历计算当前像素点Ppixel,c到边界线Bodc,c+1每个像素点的距离，比较获取最小值min_D(Ppixel,c,Bodc,c+1)。
2.在边界线Bodc,c-1上随机选取一个起始像素点，计算其与Bodc,c+1边界线上所有像素点的距离，接着顺时针或逆时针遍历获取Bodc,c-1每一个像素点的上述距离，然后取所有距离的最大值max_D(Bodc,c-1,Bodc,c+1)。
3.令：
4.从而得到像素点的权重为：
其中：wpixel,c表示重复标注次数为c次的某个像素点的权重，Ppixel,c是被标注c次的当前像素点位置，Bodc,c+1表示当前像素点所在子区域的边界线且该边界线两侧子区域被标注的次数分别为c和c+1，Bodc,c-1表示该像素点所在子区域的边界线且该边界线两侧子区域被标注的次数分别为c和c-1，min_D(Ppixel,c,Bodc,c+1)为该像素点位置Ppixel,c与边界线Bodc,c+1的最小距离，max_D(Bodc,c-1,Bodc,c+1)为边界线Bodc,c-1与边界线Bodc,c+1的最大距离(该距离指的是像素点索引距离，最小值为1)。
对图3而言，三个标注重合的区域、两个标注重合的区域、单人标注的区域权重初次分配为ec-numPer/2＝e3-(3+1)/2＝e，ec-numPer/2＝e2-(3+1)/2＝1，ec-numPer/2＝e1-(3+1)/2＝1/e；然后三个标注框重合区域中的所有像素赋予e，被标注两次的像素点的权重则依照如下公式进行计算：
同样重复一次的代入公式：
(6)对于第i人，分别计算其标记区域像素点加权和与并集区域像素点加权和的比值Ai，其标记区域像素点的加权和与其标记区域像素个数的wmax(权重最大值)倍的比值Bi。
Ai和Bi计算公式为：
其中：pixel是某个像素，areai是第i个人的标注区域，Uarea是整个并集区域，从而pixel∈areai表示属于第i个人标注的所有像素点，pixel∈Uarea是整个并集所有像素点，wpixel是某个像素点的权重，npixeli是第i个人标注区域中总的像素个数。
以图3中篮球的标注区域为例，其中一标注框j对应的标注员的上述值写为：
其中：pixeli,j表示标注框j所包含的被标注i次的像素，npixel3,j是标注框j被标注三次的像素个数，pixeli表示篮球的三个标注框并集中被标注i次的像素，npixelj是标注框j包含的总像素个数。
分别计算所有标注框的上述两个值，这两个值很好的从两个维度对某一个人的标注进行度量，A代表某人标注结果在全体标注区域上的度量，B代表某人标注的有效程度。
(7)根据协同标注人数设置比例因子作为审核标准(阈值)，并利用Ai和Bi值的加权和对标注质量进行评估。
审核标准是一个预设值，在审核中可根据效果动态调整以达到要求。它的设置在一定范围内应随着标注人数的增加而减小，具体可以用设置为：
prop＝max(λn,base_prop)
其中：λ为一个小于1的数，一般应大于0.9，可根据审核档次自行调整，本实例中选取0.95，n是标注人数，base_prop是一个最低标准，即当人数达到一定程度时，审核标准不再减小，本实例中推荐设置为0.8。
审核的公式为：
其中：α+β＝1，本实例中分别设置为0.5并可根据实际情况在此值附近进行微调以适合不同场景，Ω为对应类别物体区域的集合，prop是预设的审核标准，一个小于1的百分数。
当上式成立时则针对此物体区域的标注审核通过，当图片中所有类别物体均符合上式则该图片标注审核通过。最后选取α·Ai+β·Bi值最大的标注框作为该物体区域的标注结果，对于每一个人可依据其α·Ai+β·Bi值进行评价。
实际操作中，标注人数在实践中可以是不同的团队如把同一标注任务分发给不同众包平台，此时多个众包平台即是步骤中所描述的多个人。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种基于多人协同图像标注的系统自动审核方法，包括如下步骤：
(1)由多人协同对同一张图像中的不同物体进行区域标注，并为标注得到的每个物体区域打上类别标签；
(2)根据标签对图像中所有物体区域进行分类；
(3)统计每一类别的物体区域个数，若存在某一类别的物体区域数量大于协同标注人数n，则对该类别的物体区域进行二次分类，即根据交并比将其中属于同一物体的物体区域单独归为一类，使得图像中一个物体即对应一个类别；
(4)对于任一类别，在图像中确定该类别所有物体区域的并集，根据物体区域的边框从该并集中遍历出由边框围成的所有子区域，并为各子区域及其各像素点赋予权重；
(5)对于该类别中的任一物体区域i，通过计算物体区域i内像素点权重的累加总和wi以及该类别所有物体区域并集内像素点权重的累加总和wtotal，从而得到物体区域i的评价指标Ai和Bi；
(6)设置一比例因子prop作为审核标准，进而根据比例因子prop以及评价指标Ai和Bi对于多人协同对该类别物体的整体标注行为质量进行审核评估。
2.根据权利要求1所述的系统自动审核方法，其特征在于：所述步骤(1)中选由3人协同对同一张图像中的不同物体进行区域标注。
3.根据权利要求1所述的系统自动审核方法，其特征在于：所述步骤(3)中二次分类完成后，若存在某一类别的物体区域数量小于等于协同标注人数n的一半，则丢弃该类别所有物体区域。
4.根据权利要求1所述的系统自动审核方法，其特征在于：所述步骤(4)中为各子区域赋予权重的标准为：若某一子区域被标注的次数为c，当协同标注人数n为偶数时，则该子区域的权重warea(c)＝ec-n/2；当协同标注人数n为奇数时，则该子区域的权重warea(c)＝ec -(n+1)/2。
5.根据权利要求4所述的系统自动审核方法，其特征在于：所述步骤(4)中为子区域中的各像素点赋予权重，具体标准为：若子区域中的某一像素点被标注的次数为c，当c＝n时，则该像素点的权重wpixel(c)等于其所在子区域的权重warea(c)；当1≤c＜n时，则该像素点权重wpixel(c)如下：
其中：Ppixel,c表示该像素点在图像中的位置，Bodc,c+1表示该像素点所在子区域的边界线且该边界线两侧子区域被标注的次数分别为c和c+1，Bodc,c-1表示该像素点所在子区域的边界线且该边界线两侧子区域被标注的次数分别为c和c-1，min_D(Ppixel,c,Bodc,c+1)为该像素点位置Ppixel,c与边界线Bodc,c+1的最小距离，max_D(Bodc,c-1,Bodc,c+1)为边界线Bodc,c-1与边界线Bodc,c+1的最大距离。
6.根据权利要求1所述的系统自动审核方法，其特征在于：所述步骤(5)中的评价指标Ai＝wi/wtotal，评价指标Bi＝wi/(mi×wmax)，mi为物体区域i内的像素点个数，wmax为该类别所有物体区域并集内像素点权重的最大值。
7.根据权利要求1所述的系统自动审核方法，其特征在于：所述步骤(6)中根据以下公式设置比例因子prop：
Prop＝max(λn,Pbase)
其中：λ为给定的比例系数且0.9＜λ＜1，Pbase为设定的最低标准系数。
8.根据权利要求1所述的系统自动审核方法，其特征在于：所述步骤(6)中对该类别物体的整体标注行为质量进行审核评估的合格标准如下：
其中：α和β均为权重系数且α+β＝1，Ω为该类别物体区域的集合。
CN201810550862.XA 2018-05-31 2018-05-31 一种基于多人协同图像标注的系统自动审核方法 Active CN108932724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810550862.XA CN108932724B (zh) 2018-05-31 2018-05-31 一种基于多人协同图像标注的系统自动审核方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810550862.XA CN108932724B (zh) 2018-05-31 2018-05-31 一种基于多人协同图像标注的系统自动审核方法

Publications (2)

Publication Number Publication Date
CN108932724A true CN108932724A (zh) 2018-12-04
CN108932724B CN108932724B (zh) 2020-06-19

Family

ID=64449638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810550862.XA Active CN108932724B (zh) 2018-05-31 2018-05-31 一种基于多人协同图像标注的系统自动审核方法

Country Status (1)

Country Link
CN (1) CN108932724B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263853A (zh) * 2019-06-20 2019-09-20 杭州睿琪软件有限公司 利用错误样本检查人工客户端状态的方法及装置
CN110287843A (zh) * 2019-06-18 2019-09-27 清华大学深圳研究生院 一种文物指纹区域选定方法
CN110991486A (zh) * 2019-11-07 2020-04-10 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111553894A (zh) * 2020-04-24 2020-08-18 上海杏脉信息科技有限公司 一种医学图像分割模型训练方法、介质及电子设备
CN111580947A (zh) * 2020-04-29 2020-08-25 中国科学院空天信息创新研究院 一种基于人工智能的在线协同化遥感图像标注系统
CN111932536A (zh) * 2020-09-29 2020-11-13 平安国际智慧城市科技股份有限公司 病灶标注的验证方法、装置、计算机设备及存储介质
CN114219501A (zh) * 2022-02-22 2022-03-22 杭州衡泰技术股份有限公司 样本标注资源分配方法、装置及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609401A (zh) * 2011-12-26 2012-07-25 北京大学 一种网页批注方法
CN105678771A (zh) * 2016-01-06 2016-06-15 无线生活（杭州）信息科技有限公司 一种图像质量分的确定方法及装置
CN108021669A (zh) * 2017-12-05 2018-05-11 广东欧珀移动通信有限公司 图像分类方法和装置、电子设备、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609401A (zh) * 2011-12-26 2012-07-25 北京大学 一种网页批注方法
CN105678771A (zh) * 2016-01-06 2016-06-15 无线生活（杭州）信息科技有限公司 一种图像质量分的确定方法及装置
CN108021669A (zh) * 2017-12-05 2018-05-11 广东欧珀移动通信有限公司 图像分类方法和装置、电子设备、计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱麟等: "图像数据的结构化协同标注与检索", 《计算机工程》 *
李聪等: "无人机球面全景图像标注系统研究", 《软件导刊》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287843A (zh) * 2019-06-18 2019-09-27 清华大学深圳研究生院 一种文物指纹区域选定方法
CN110263853A (zh) * 2019-06-20 2019-09-20 杭州睿琪软件有限公司 利用错误样本检查人工客户端状态的方法及装置
CN110263853B (zh) * 2019-06-20 2023-05-23 杭州睿琪软件有限公司 利用错误样本检查人工客户端状态的方法及装置
CN110991486A (zh) * 2019-11-07 2020-04-10 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN110991486B (zh) * 2019-11-07 2023-12-29 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111553894A (zh) * 2020-04-24 2020-08-18 上海杏脉信息科技有限公司 一种医学图像分割模型训练方法、介质及电子设备
CN111580947A (zh) * 2020-04-29 2020-08-25 中国科学院空天信息创新研究院 一种基于人工智能的在线协同化遥感图像标注系统
CN111932536A (zh) * 2020-09-29 2020-11-13 平安国际智慧城市科技股份有限公司 病灶标注的验证方法、装置、计算机设备及存储介质
CN114219501A (zh) * 2022-02-22 2022-03-22 杭州衡泰技术股份有限公司 样本标注资源分配方法、装置及应用

Also Published As

Publication number Publication date
CN108932724B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN108932724A (zh) 一种基于多人协同图像标注的系统自动审核方法
US20210217117A1 (en) Automatic urban land identification system integrating business big data with building form
Mas Mapping land use/cover in a tropical coastal area using satellite sensor data, GIS and artificial neural networks
Lahdelma et al. Ordinal criteria in stochastic multicriteria acceptability analysis (SMAA)
CN103577475B (zh) 一种图片自动化分类方法、图片处理方法及其装置
CN106056118A (zh) 一种用于细胞的识别计数方法
CN108898047A (zh) 基于分块遮挡感知的行人检测方法及系统
CN109002834A (zh) 基于多模态表征的细粒度图像分类方法
CN108346144A (zh) 基于计算机视觉的桥梁裂缝自动监测与识别方法
CN107133955A (zh) 一种多层次结合的协同显著性检测方法
CN109948684A (zh) 点云数据标注质量的质检方法、装置及其相关设备
Liu et al. Fabric defects detection based on SSD
CN112070079B (zh) 基于特征图重赋权的x光违禁品包裹检测方法及装置
CN109214308A (zh) 一种基于焦点损失函数的交通异常图片识别方法
CN107507170A (zh) 一种基于多尺度图像信息融合的机场跑道裂缝检测方法
CN108363951A (zh) 遥感影像地类识别对应深度学习样本库的自动获取方法
CN108520277A (zh) 基于计算机视觉的钢筋混凝土结构地震损伤自动识别与智能定位方法
CN110334709A (zh) 基于端到端多任务深度学习的车牌检测方法
CN104217213A (zh) 一种基于对称性理论的医学图像多阶段分类方法
CN109948683A (zh) 点云数据的难易度划分方法、装置及其相关设备
CN111414878B (zh) 一种关于地块的社会属性分析、图像处理方法及装置
Wang et al. Feature extraction and segmentation of pavement distress using an improved hybrid task cascade network
Corves et al. Mapping the reliability of satellite-derived landcover maps—an example from The Central Brazilian Amazon Basin
CN109766919A (zh) 级联目标检测系统中的渐变式分类损失计算方法及系统
CN107657262B (zh) 一种计算机自动分类精度评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240531

Address after: 310000, 2nd Floor, Building 1, Tiaoxi Village, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: HANGZHOU DUKANG TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 311100, Room 1302, Building 5, Shengaoming Building, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU XIAOTU TECHNOLOGY CO.,LTD.

Country or region before: China

TR01 Transfer of patent right