CN116246273B - 图像标注一致性评价方法、装置、电子设备及存储介质 - Google Patents

图像标注一致性评价方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116246273B
CN116246273B CN202310214320.6A CN202310214320A CN116246273B CN 116246273 B CN116246273 B CN 116246273B CN 202310214320 A CN202310214320 A CN 202310214320A CN 116246273 B CN116246273 B CN 116246273B
Authority
CN
China
Prior art keywords
image
value
annotation
difference value
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310214320.6A
Other languages
English (en)
Other versions
CN116246273A (zh
Inventor
赵哲
肖圣端
张权
王刚
吕炎州
英高海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yihong Intelligent Equipment Co Ltd
Original Assignee
Guangzhou Yihong Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yihong Intelligent Equipment Co Ltd filed Critical Guangzhou Yihong Intelligent Equipment Co Ltd
Priority to CN202310214320.6A priority Critical patent/CN116246273B/zh
Publication of CN116246273A publication Critical patent/CN116246273A/zh
Application granted granted Critical
Publication of CN116246273B publication Critical patent/CN116246273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像标注一致性评价方法、装置、电子设备及存储介质。本发明所述的标注一致性评价方法包括：获取多个图像集，每个图像集中包括有多个标注图像，每个标注图像中包括标注框；针对每一个标注图像，对比标注框内外两侧像素点的灰度值，获得第一灰度差值，根据第一灰度差值得到标注图像的评分；针对每一个图像集，根据该图像集中每一个标注图像的评分，得到图像集的评分均值；计算多个图像集的评分均值之间的差距值；根据所述差距值，得到不同所述图像集之间的图像标注一致性评价结果。本发明所述的标注一致性评价方法，自动计算评价指标，获取多人数据标注结果一致性的信息，可以及时指导改善数据标注的质量，从而提升了模型精度。

Description

图像标注一致性评价方法、装置、电子设备及存储介质
技术领域
本发明涉及深度学习技术领域，特别是涉及一种图像标注一致性评价方法、装置、电子设备及存储介质。
背景技术
深度学习算法是近些年出现的技术，目前已是计算机视觉图像处理技术的主要研究领域。深度学习中的语义分割算法，由于其精度高，稳定性强，可像素级定位目标位置和确定其所属类别，解决了很多传统算法长期无法解决的技术难题，因而在工业质检、辅助医疗、自动驾驶等行业有着广泛应用。语义分割算法属于监督学习，意即要获得语义分割模型，需先人工标注大量的图像数据，通常使用多边形框沿着目标的外边界标注一圈，然后使用这些标注数据训练语义分割模型。大量的图像数据标注工作，通常采取化整为零的方式，由多个人完成，每个人负责一部分图像的标注工作，最后再合并多个人的标注结果。
同一批图像的标注工作由多个人负责，而人与人之间的标注松紧尺度，对规则的认知等难免有差异，造成同一批图像的标注可能缺乏一致性，所以，需要评价不同人的标注结果的一致性。以往的做法是把多个人的标注结果汇总到一个经验丰富的标注人员处，由他负责检查所有标注结果，但是，当数据量大，或者时间紧迫之时，一个人就难以按时完成检查工作，即便完成了，也可能落入走马观花，难以保证标注检查的质量。还有一种做法是干脆不检查数据标注结果的一致性，直接用来训练模型，但风险是缺乏标注一致性的训练数据，可能会导致模型精度下降，并最终影响项目落地。
发明内容
基于此，本发明的目的在于，提供一种图像标注一致性评价方法、装置、电子设备及存储介质，自动计算评价指标，获取多人数据标注结果一致性的信息，可以及时指导改善数据标注的质量，从而提升了模型精度。
第一方面，本发明提供一种图像标注一致性评价方法，包括以下步骤：
获取多个图像集，每个所述图像集中包括有多个标注图像，每个所述标注图像中包括标注框；
针对每一个所述标注图像，对比所述标注框内外两侧像素点的灰度值，获得第一灰度差值，根据所述第一灰度差值得到所述标注图像的评分，包括：随机选取所述标注框边界上的x个第一随机点，并计算每一个第一随机点在所述标注框边界上的法线；在每一条所述法线上，分别在所述标注框的内侧和外侧部分，等距离选择y个第二随机点和y个第三随机点；获取每一个第二随机点和第三个的像素灰度值，并计算y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值；计算所述y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值的第一差值；根据所述第一差值，得到每一个第一随机点的评分；根据x个第一随机点的评分，得到所述标注图像的评分；
针对每一个图像集，根据该图像集中每一个所述标注图像的评分，得到所述图像集的评分均值；
计算多个所述图像集的评分均值之间的差距值；
根据所述差距值，得到不同所述图像集之间的图像标注一致性评价结果。
进一步地，x为20至30之间的正整数。
进一步地，y为5至10之间的正整数。
进一步地，所述差距值为所有图像集的评分均值中，最大值与最小值的差距比例。
进一步地，当所述差距值小于等于第一阈值，所述图像标注一致性评价结果为通过；
当所述差距值大于第一阈值，所述图像标注一致性评价结果为不通过。
进一步地，所述第一阈值为10％。
第二方面，本发明还提供一种图像标注一致性评价装置，包括：
图像获取模块，用于获取多个图像集，每个所述图像集中包括有多个标注图像，每个所述标注图像中包括标注框；
标注图像评分模块，用于针对每一个所述标注图像，对比所述标注框内外两侧像素点的灰度值，获得第一灰度差值，根据所述第一灰度差值得到所述标注图像的评分，包括：随机选取所述标注框边界上的x个第一随机点，并计算每一个第一随机点在所述标注框边界上的法线；在每一条所述法线上，分别在所述标注框的内侧和外侧部分，等距离选择y个第二随机点和y个第三随机点；获取每一个第二随机点和第三个的像素灰度值，并计算y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值；计算所述y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值的第一差值；根据所述第一差值，得到每一个第一随机点的评分；根据x个第一随机点的评分，得到所述标注图像的评分；
评分均值计算模块，用于针对每一个图像集，根据该图像集中每一个所述标注图像的评分，得到所述图像集的评分均值；
差距值计算模块，用于计算多个所述图像集的评分均值之间的差距值；
评价结果确定模块，用于根据所述差距值，得到不同所述图像集之间的图像标注一致性评价结果。
第三方面，本发明还提供一种电子设备，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种图像标注一致性评价方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种图像标注一致性评价方法的步骤。
本发明提供的一种图像标注一致性评价方法、装置、电子设备及存储介质，根据标注框内外侧像素点的灰度值差值评价该标注框的标注得分，进一步得到每位标注员的标注得分，以多位标注员的标注得分差距值评价该图像集的标注一致性，量化了标注一致性的评价标准，解决了人工检查语义分割多人标注一致性的耗时较长的问题；降低了人工检查语义分割多人标注一致性的经济成本；自动计算评价指标，获取多人数据标注结果一致性的信息，可以及时指导改善数据标注的质量，从而提升了模型精度。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明提供的一种图像标注一致性评价方法的步骤示意图；
图2为一个实施例中用于进行语义分割标注的原图实例；
图3为一个实施例中在标注图像中选取1个第一随机点并在该点法线外侧选取5个第三随机点的实例图；
图4为本发明提供的一种图像标注一致性评价装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
针对背景技术中的问题，本申请实施例提供一种图像标注一致性评价方法，如图1所示，该方法包括以下步骤：
S01：获取多个图像集，每个所述图像集中包括有多个标注图像，每个所述标注图像中包括标注框。
在一个具体的应用场景中，例如工业产品表面缺陷的语义分割模型训练，首先需要收集多张带有表面缺陷的产品图像原图，分配给多位标注员，由标注员将原图中的表面缺陷进行标注。一般来说，标注方式为使用多边形框沿表面缺陷的外边界标注一圈，得到如图2所示的语义分割标注结果图像。
在该例子中，每位标注员所完成的标注图像，构成一个图像集。标注框为多边形框线。
S02：针对每一个所述标注图像，对比所述标注框内外两侧像素点的灰度值，获得第一灰度差值，根据所述第一灰度差值得到所述标注图像的评分。
如图2和图3所示，对于以缺陷标注为目的所得到的标注框，框内和框外存在较为明显的视觉差异，例如颜色不同、灰度值不同等，这也是后续能够使用深度学习方法训练语义分割模型进行缺陷识别的基础。因此，对于人工标注的标注框，可以通过评价一个标注框内外的灰度值差异，来评价该标注质量。
在具体的实施例中，可以通过在标注框内外侧各随机选取1个像素点，并对比内外侧像素点的灰度值差值。当算力足够时，也可以提取标注框内侧和外侧所有像素点的灰度值取平均值，再比对灰度值平均值的差值。
在一个优选的实施例中，本申请采用以下子步骤：
S021：随机选取所述标注框边界上的x个第一随机点，并计算每一个第一随机点在所述标注框边界上的法线。其中，x为正整数。
法线，指始终垂直于某平面的虚线。曲线的法线是垂直于曲线上一点的切线的直线，曲面上某一点的法线指的是经过这一点并且与该点切平面垂直的直线。在一个具体的实施例中，某一个第一随机点的法线如图3所示。
优选的，x为20至30之间的正整数。在本发明提供的一个具体的实施例中，x＝30。
S022：在每一条所述法线上，分别在所述标注框的内侧和外侧部分，等距离选择y个第二随机点和y个第三随机点。
优选的，y为5至10之间的正整数。在本发明提供的一个具体的实施例中，y＝5。
如图3所示，图中展示了在法线外侧随机选取5个第三随机点。同理，在法线内侧选取5个第二随机点。
S023：获取每一个第二随机点和第三个的像素灰度值，并计算y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值。
在一个具体的实施例中，一个第一随机点的法线上内侧5个第二随机点的灰度值分别为：25、24、30、28、26，均值为26.6；外侧5个第三随机点的灰度值分别为20、19、23、22、20，均值为20.8。
S024：计算所述y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值的第一差值。
如上实施例，第一差值＝26.6-20.8＝5.8。
S025：根据所述第一差值，得到每一个第一随机点的评分。
在一个具体的实施例中，可直接采用第一差值作为第一随机点的评分。在其他的实施例中，第一随机点的评分也可以为第一差值的平方、开平方、倍数、指数等数值，可根据实际的应用需求，进行数学换算，根据所述第一差值，得到每一个第一随机点的评分。
S026：根据x个第一随机点的评分，得到所述图像标注结果的评分。
在一个具体的实施例中，所述图像标注结果的评分，为30个第一随机点的评分的均值。在其他的实施例中，可根据实际的应用需求，进行数学换算，得到所述图像标注结果的评分。
S03：针对每一个图像集，根据该图像集中每一个所述标注图像的评分，得到所述图像集的评分均值。
S04：计算多个所述图像集的评分均值之间的差距值。
对于差距值的计算，可根据实际应用需求，采用多种数学计算方式，计算多个图像集的评分均值之间的差距和波动情况。常用的数据如方差、标准差等，得到多个样本偏离均值的程度，以及样本内部彼此波动的程度。
在一个具体的实施例中，所述差距值为所有图像集的评分均值中，最大值与最小值的差距比例。类似的，差距值也可以为所有评分员的评分均值中，最大值与最小值的差值、最大值与平均值的差距比例、最大值与平均值的差值等。
S05：根据所述差距值，得到不同所述图像集之间的图像标注一致性评价结果。
当所述差距值小于等于第一阈值，所述图像标注一致性评价结果为通过；
当所述差距值大于第一阈值，所述图像标注一致性评价结果为不通过。
如上所述，所述差距值为所有图像集的评分均值中，最大值与最小值的差距比例。优选的，所述第一阈值为10％。
如果差距值小于等于10％，则认为该多个图像集的标注一致性较好，后续基于该多个图像集进行训练得到的语义分割模型精度较高。
如果差距大值于10％，则认为该多个图像集的标注一致性较差，后续基于该多个图像集进行训练得到的语义分割模型将存在精度不足的风险。以便于根据实际生产计划，进行重新标注或其他改进措施。
在其他的例子中，差距值也可以被定义为，与均值差距大于某数值的图像集个数。例如，100个图像集中，评分均值的平均值为7.5分，其中评分均值大于9.0的图像集个数为11个，评分均值小于6.0的图像集个数为5个，则该100个图像集的差距值为16。若该差距值第一阈值被设定为10，则该该100个图像集的的标注一致性较差。
本申请实施例还提供一种图像标注一致性评价装置，如图4所示，该标注一致性评价装置400包括：
图像获取模块401，用于获取多个图像集，每个所述图像集中包括有多个标注图像，每个所述标注图像中包括标注框；
标注图像评分模块402，用于针对每一个所述标注图像，对比所述标注框内外两侧像素点的灰度值，获得第一灰度差值，根据所述第一灰度差值得到所述标注图像的评分；
评分均值计算模块403，用于针对每一个图像集，根据该图像集中每一个所述标注图像的评分，得到所述图像集的评分均值；
差距值计算模块404，用于计算多个所述图像集的评分均值之间的差距值；
评价结果确定模块405，用于根据所述差距值，得到不同所述图像集之间的图像标注一致性评价结果。
优选的，标注图像评分模块包括：
第一随机点选取单元，用于随机选取所述标注框边界上的x个第一随机点，并计算每一个第一随机点在所述标注框边界上的法线；
第二随机点和第三随机点选择单元，用于在每一条所述法线上，分别在所述标注框的内侧和外侧部分，等距离选择y个第二随机点和y个第三随机点；
灰度值均值计算单元，用于获取每一个第二随机点和第三个的像素灰度值，并计算y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值；
第一差值计算单元，用于计算所述y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值的第一差值；
第一随机点评分计算单元，用于根据所述第一差值，得到每一个第一随机点的评分；
图像标注结果评分单元，用于根据x个第一随机点的评分，得到所述图像标注结果的评分。
优选的，x为20至30之间的正整数。
优选的，y为5至10之间的正整数。
优选的，所述差距值为所有图像集的评分均值中，最大值与最小值的差距比例。
优选的，当所述差距值小于等于第一阈值，所述图像标注一致性评价结果为通过；
当所述差距值大于第一阈值，所述图像标注一致性评价结果为不通过。
优选的，所述第一阈值为10％。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种电子设备，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种图像标注一致性评价方法的步骤。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供一种计算机可读存储介质，
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种图像标注一致性评价方法的步骤。
计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(R A M)、只读存储器(RO M)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本发明提供的一种图像标注一致性评价方法、装置、电子设备及存储介质，根据标注框内外侧像素点的灰度值差值评价该标注框的标注得分，进一步得到每位标注员的标注得分，以多位标注员的标注得分差距值评价该图像集的标注一致性，量化了标注一致性的评价标准，解决了人工检查语义分割多人标注一致性的耗时较长的问题；降低了人工检查语义分割多人标注一致性的经济成本；自动计算评价指标，获取多人数据标注结果一致性的信息，可以及时指导改善数据标注的质量，从而提升了模型精度。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种图像标注一致性评价方法，其特征在于，包括以下步骤：
获取多个图像集，每个所述图像集中包括有多个标注图像，每个所述标注图像中包括标注框；
针对每一个所述标注图像，对比所述标注框内外两侧像素点的灰度值，获得第一灰度差值，根据所述第一灰度差值得到所述标注图像的评分，包括：随机选取所述标注框边界上的x个第一随机点，并计算每一个第一随机点在所述标注框边界上的法线；在每一条所述法线上，分别在所述标注框的内侧和外侧部分，等距离选择y个第二随机点和y个第三随机点；获取每一个第二随机点和第三个的像素灰度值，并计算y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值；计算所述y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值的第一差值；根据所述第一差值，得到每一个第一随机点的评分；根据x个第一随机点的评分，得到所述标注图像的评分；
针对每一个图像集，根据该图像集中每一个所述标注图像的评分，得到所述图像集的评分均值；
计算多个所述图像集的评分均值之间的差距值；
根据所述差距值，得到不同所述图像集之间的图像标注一致性评价结果。
2.根据权利要求1所述的一种图像标注一致性评价方法，其特征在于：
x为20至30之间的正整数。
3.根据权利要求1所述的一种图像标注一致性评价方法，其特征在于：
y为5至10之间的正整数。
4.根据权利要求1所述的一种图像标注一致性评价方法，其特征在于：
所述差距值为所有图像集的评分均值中，最大值与最小值的差距比例。
5.根据权利要求1所述的一种图像标注一致性评价方法，其特征在于：
当所述差距值小于等于第一阈值，所述图像标注一致性评价结果为通过；
当所述差距值大于第一阈值，所述图像标注一致性评价结果为不通过。
6.根据权利要求5所述的一种图像标注一致性评价方法，其特征在于：
所述第一阈值为10％。
7.一种图像标注一致性评价装置，其特征在于，包括：
图像获取模块，用于获取多个图像集，每个所述图像集中包括有多个标注图像，每个所述标注图像中包括标注框；
标注图像评分模块，用于针对每一个所述标注图像，对比所述标注框内外两侧像素点的灰度值，获得第一灰度差值，根据所述第一灰度差值得到所述标注图像的评分，包括：随机选取所述标注框边界上的x个第一随机点，并计算每一个第一随机点在所述标注框边界上的法线；在每一条所述法线上，分别在所述标注框的内侧和外侧部分，等距离选择y个第二随机点和y个第三随机点；获取每一个第二随机点和第三个的像素灰度值，并计算y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值；计算所述y个第二随机点的像素灰度值均值和y个第三随机点的像素灰度值均值的第一差值；根据所述第一差值，得到每一个第一随机点的评分；根据x个第一随机点的评分，得到所述标注图像的评分；
评分均值计算模块，用于针对每一个图像集，根据该图像集中每一个所述标注图像的评分，得到所述图像集的评分均值；
差距值计算模块，用于计算多个所述图像集的评分均值之间的差距值；
评价结果确定模块，用于根据所述差距值，得到不同所述图像集之间的图像标注一致性评价结果。
8.一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一所述的一种图像标注一致性评价方法的步骤。
9.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一所述的一种图像标注一致性评价方法的步骤。
CN202310214320.6A 2023-03-07 2023-03-07 图像标注一致性评价方法、装置、电子设备及存储介质 Active CN116246273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310214320.6A CN116246273B (zh) 2023-03-07 2023-03-07 图像标注一致性评价方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310214320.6A CN116246273B (zh) 2023-03-07 2023-03-07 图像标注一致性评价方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116246273A CN116246273A (zh) 2023-06-09
CN116246273B true CN116246273B (zh) 2024-03-22

Family

ID=86627595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310214320.6A Active CN116246273B (zh) 2023-03-07 2023-03-07 图像标注一致性评价方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116246273B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019057067A1 (zh) * 2017-09-20 2019-03-28 众安信息技术服务有限公司 图像质量评估方法及装置
CN109948684A (zh) * 2019-03-12 2019-06-28 百度在线网络技术（北京）有限公司 点云数据标注质量的质检方法、装置及其相关设备
CN114510989A (zh) * 2021-12-23 2022-05-17 中国科学院软件研究所 图像数据集的规范性评估方法、装置及设备
CN115239945A (zh) * 2022-06-15 2022-10-25 中国医学科学院北京协和医院 图像标注可靠性预测方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019057067A1 (zh) * 2017-09-20 2019-03-28 众安信息技术服务有限公司 图像质量评估方法及装置
CN109948684A (zh) * 2019-03-12 2019-06-28 百度在线网络技术（北京）有限公司 点云数据标注质量的质检方法、装置及其相关设备
CN114510989A (zh) * 2021-12-23 2022-05-17 中国科学院软件研究所 图像数据集的规范性评估方法、装置及设备
CN115239945A (zh) * 2022-06-15 2022-10-25 中国医学科学院北京协和医院 图像标注可靠性预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116246273A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN109871895B (zh) 电路板的缺陷检测方法和装置
CN114140679A (zh) 一种缺陷融合方法、装置、识别系统及存储介质
CN110286124A (zh) 基于机器视觉的耐火砖测量系统
CN111079763B (zh) 训练样本生成、模型训练、字符识别方法及其装置
CN111695486A (zh) 一种基于点云的高精度方向标志牌目标提取方法
CN111402209A (zh) 一种基于U-Net的高速铁路钢轨损伤检测方法
CN110473211B (zh) 一种弹簧片的数量的检测方法及设备
CN105844602A (zh) 一种基于体元的机载lidar点云三维滤波方法
WO2020211823A1 (zh) 模型训练方法、装置及缺陷检测方法、装置
CN109003266A (zh) 一种基于模糊聚类统计图像质量主观评价结果的方法
CN110309768A (zh) 车检工位的工作人员检测方法及设备
CN110991437B (zh) 字符识别方法及其装置、字符识别模型的训练方法及其装置
CN116246273B (zh) 图像标注一致性评价方法、装置、电子设备及存储介质
KR20210122429A (ko) 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템
CN110687120A (zh) 法兰外观质量检测系统
CN114419140A (zh) 一种轨道激光测量装置光斑中心的定位算法
CN116539619B (zh) 产品缺陷检测方法、系统、装置及存储介质
CN109241306A (zh) 一种适用于图像缺陷标注的数据存储方法
CN112037182A (zh) 基于时序图像的机车走行部故障检测方法、装置及存储介质
CN116756372A (zh) 一种烟支缺陷检测方法及装置
CN115984215A (zh) 一种基于双生网络的纤维束缺陷检测方法
CN116206111B (zh) 一种缺陷识别方法、装置、电子设备及存储介质
CN112613500A (zh) 一种基于深度学习的校园动态阅卷系统
CN110674669B (zh) 一种复杂背景下的特定圆识别方法
CN117132896B (zh) 一种建筑物开裂的检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Zhong Guo

Address after: Room 101-301, Building 3, No. 9, Huijiang South 2nd Road, Dashi Street, Panyu District, Guangzhou City, Guangdong Province, 5114300

Applicant after: Guangzhou Yihong Intelligent Equipment Co.,Ltd.

Address before: Room 101-301, Building 3, No. 9, Huijiang South 2nd Road, Dashi Street, Panyu District, Guangzhou City, Guangdong Province, 5114300

Applicant before: GUANGZHOU EHOLLY INTELLIGENT EQUIPMENT Co.,Ltd.

Country or region before: Zhong Guo