CN111353555A - 一种标注检测方法、装置及计算机可读存储介质 - Google Patents

一种标注检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111353555A
CN111353555A CN202010447633.2A CN202010447633A CN111353555A CN 111353555 A CN111353555 A CN 111353555A CN 202010447633 A CN202010447633 A CN 202010447633A CN 111353555 A CN111353555 A CN 111353555A
Authority
CN
China
Prior art keywords
information
initial
sub
labeling
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010447633.2A
Other languages
English (en)
Inventor
李德东
李志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010447633.2A priority Critical patent/CN111353555A/zh
Publication of CN111353555A publication Critical patent/CN111353555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种标注检测方法、装置及计算机可读存储介质；该方法包括：获取目标检测模型、图像样本和图像样本所对应的初始标注信息；目标检测模型所能检测出的物体类别，与初始标注信息中的物体类别相同；利用目标检测模型对图像样本进行预测，得到预测标注信息；其中，预测标注信息表征用目标检测模型对图像样本进行标注所得到的信息；将初始标注信息与预测标注信息进行比对，得到标注差异结果。通过本发明实施例，能够提供标注检测的效率。

Description

一种标注检测方法、装置及计算机可读存储介质
技术领域
本发明涉及人工智能技术，尤其涉及一种基于人工智能的标注检测方法、装置及计算机可读存储介质。
背景技术
目标检测是人工智能技术中的一个重要分支，能够利用训练好的模型将图像中的各类物体识别并框选出来，例如，将图像中的人、动物等识别并框选出来。目标检测是使用标注样本来训练模型的，标注样本中具有已经被框选出的物体，以及该物体的类别标签。
相关技术中，通常是采用人工标注来得到标注样本，但是当物体类别较多时，人工标注很容易会出现标注错误，例如，漏标注和误标注。此时，为了保证标注样本的质量，需要找到标注样本中的标注错误，以便于对这些标注错误进行修正。然而，在寻找标注样本中的标注错误时，通常人工是逐个对标注样本进行复核，需要占用大量的时间，使得标注检测的效率较低。
发明内容
本发明实施例提供一种标注检测方法、装置及计算机可读存储介质，能够提高标注检测的效率。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种标注检测方法，包括：
获取目标检测模型、图像样本和所述图像样本所对应的初始标注信息；所述目标检测模型所能检测出的物体类别，与所述初始标注信息中的物体类别相同；
利用所述目标检测模型对所述图像样本进行预测，得到预测标注信息；其中，所述预测标注信息表征用所述目标检测模型对所述图像样本进行标注所得到的信息；
将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果；
所述初始标注信息包括至少一个初始子标注信息，所述预测标注信息包括至少一个预测子标注信息；所述将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果，包括：
将所述至少一个初始子标注信息中的每个初始子标注信息，分别与所述至少一个预测子标注信息进行匹配，得到匹配结果；其中，所述匹配结果表征是否存在与初始子标注信息匹配的预测子标注信息，所述匹配结果与所述每个初始子标注信息相对应；
对所述至少一个初始子标注信息中，所述匹配结果表征存在匹配的预测子标注信息的初始子标注信息进行提取，得到匹配初始子标注信息；
根据所述匹配结果，从所述至少一个预测子标注信息中，提取出与所述匹配初始子标注信息相匹配的预测子标注信息，作为匹配预测子标注信息；
利用所述至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，和所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息，整合出所述标注差异结果；
其中，所述初始子标注信息包括初始类别信息、初始位置信息和初始辅助信息，所述预测子标注信息包括预测类别信息、预测位置信息和预测辅助信息。
本发明实施例提供一种标注检测装置，包括：
获取模块，用于获取目标检测模型、图像样本和所述图像样本所对应的初始标注信息；所述目标检测模型所能检测出的物体类别，与所述初始标注信息中的物体类别相同；
预测模块，用于利用所述目标检测模型对所述图像样本进行预测，得到预测标注信息；其中，所述预测标注信息表征用所述目标检测模型对所述图像样本进行标注所得到的信息；
匹配模块，用于将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果；
所述初始标注信息包括至少一个初始子标注信息，所述预测标注信息包括至少一个预测子标注信息；所述匹配模块2553，具体用于将所述至少一个初始子标注信息中的每个初始子标注信息，分别与所述至少一个预测子标注信息进行匹配，得到匹配结果；其中，所述匹配结果表征是否存在与初始子标注信息匹配的预测子标注信息，所述匹配结果与所述每个初始子标注信息相对应；对所述至少一个初始子标注信息中，所述匹配结果表征存在匹配的预测子标注信息的初始子标注信息进行提取，得到匹配初始子标注信息；根据所述匹配结果，从所述至少一个预测子标注信息中，提取出与所述匹配初始子标注信息相匹配的预测子标注信息，作为匹配预测子标注信息；利用所述至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，和所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息，整合出所述标注差异结果；
其中，所述初始子标注信息包括初始类别信息、初始位置信息和初始辅助信息，所述预测子标注信息包括预测类别信息、预测位置信息和预测辅助信息。
本发明实施例提供一种计算机可读存储介质，存储有可执行标注检测指令，用于引起处理器执行时，实现本发明实施例提供的标注检测方法。
本发明实施例具有以下有益效果：
本发明实施例中，标注检测设备能够获取目标检测模型、图像样本和图像样本所对应的初始标注信息，并利用目标检测模型对图像样本进行预测，得到预测标注信息，然后将初始标注信息与预测标注信息进行比对，得到标注差异结果。如此，标注检测设备可以对大部分标注样本进行自动检测，只筛选出的少量需要再次核查检测的标注差异结果，大大减少了需要复核的标注样本的数量，提高了标注检测的效率。
附图说明
图1是本发明实施例提供的标注检测系统100的一个可选的架构示意图；
图2是本发明实施例提供的标注检测设备200的结构示意图；
图3是本发明实施例提供的标注检测方法的一个可选的流程示意图一；
图4是本发明实施例提供的图像样本的初始标注信息的示意图；
图5是本发明实施例提供的图像样本的预测标注信息的示意图；
图6是本发明实施例提供的标注差异结果的示意图；
图7是本发明实施例提供的修正后的初始标注信息的示意图；
图8是本发明实施例提供的标注检测方法的一个可选的流程示意图二；
图9是本发明实施例提供的初始子标注信息的数据示意图；
图10是本发明实施例提供的标注检测方法的一个可选的流程示意图二；
图11是本发明实施例提供的位置匹配结果的计算过程示意图；
图12是本发明实施例提供的标注检测方法的一个可选的流程示意图三；
图13是本发明实施例提供的标注检测方法的一个可选的流程示意图四；
图14是本发明实施例提供的XML格式的标注检测过程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1）人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方法做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2）计算机视觉技术（Computer Vision，CV）是一门研究如何使机器“看”的科学，更进一步说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，是电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、目标检测、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3）机器学习（Machine Learning，ML）是一门多领域交叉学科，设计概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
4）深度学习（Deep Learning，DL）是机器学习中的一种基于对数据进行表征学习的算法。观测值，例如一幅图像，是可以使用多种方式来表示，如每个像素强度值的向量，或是一系列边、特定形状的区域等。深度学习具有采用非监督式或半监督式的特征学习和分层特征提取来代替手工提取特征的特定，更容易从实例中学习任务，例如，人脸识别或面部表情识别。
5）目标检测（Object Detection），可以认为是一个多任务深度学习问题，其主要想实现以下目标：区分前景物体和背景，将前景物体框选出来，并为前景物体分配适当的类别标签；回归一组系数使得最大化检测框和目标框之间的交并比或其他指标；移除对同一目标的重复的边界框。
6）边界框（Bounding Boxes），通常是人工标注或机器检测出的一组框坐标，作为分类和框回归的基准。判断目标检测模型的性能的一个重要指标，就是计算检测出的边界框和人工标注的边界框的交并比。
7）交并比（Intersect over Uinon，IoU），是目标检测模型检测出的边界框和人工标注的边界框的交叠率，即检测框和标注框的交叠率。IoU的特性是主要判断边界框的重合程度，而对边界框的尺度不敏感。
8）监督式学习（Supervised Learning），又称有监督学习，是机器学习的一种方法，它可以由训练数据中学到或建立一个函数，并依此函数推测新的实例。训练数据是由输入数据和期望输出，即标签所组成的。函数的输出可以是一个连续的值，此时，监督式学习即为回归分析；函数的输出也可以是一个分类标签，此时，监督式学习即为分类任务。
9）无监督学习（Unsupervised Learning）同样是机器学习的一种方法，它是用没有事先标注过的输入数据学习，以实现自动对数据的输入数据进行分类或分群。
随着人工智能技术的研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着人工技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
目标检测是人工智能技术中的一个重要分支。目标检测的目标是能够利用训练好的模型将图像的前景和背景进行区分，然后将前景中的各类物体识别并框选出来，例如，将图像中的人、动物等识别并框选出来。通常情况下，目标检测是使用标注样本来训练模型的，在标注样本中，具有已经被框选出的物体，以及该物体的类别标签。
在相关技术中，通常是采用人工标注的方式来得到标注样本。但是人工标注所得到的标注样本的质量有赖于标注人员的工作状态，例如，当物体的类别较多时，例如千量级的物体类别，人工标注很容易因为各种原因出现标注错误，例如，标注人员对遗忘了某些物体类别，从而导致漏标注，或者是标注人员已经疲劳，将物体类别标注错误，从而导致误标注。然而，标注样本的质量能够直接影响所训练出模型的性能，为了保证标注样本的质量，从而保证训练好的模型的性能，需要找到标注样本中的标注错误，以便于对这些标注错误进行修正。然而，若是利用人工来寻找标注样本中的标注错误，需要逐个对标注样本进行复核，此时，会占用大量的时间，使得标注检测的效率较低。
本发明实施例提供一种标注检测方法、装置及计算机可读存储介质，能够提高标注检测的效率。下面说明本发明实施例提供的标注检测设备的示例性应用，本发明实施例提供的标注检测设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，也可以实施为服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例在此不作限定。
下面，将说明标注检测设备的示例性应用。参见图1，图1是本发明实施例提供的标注检测系统100的一个可选的架构示意图，为实现支撑一个标注检测应用，终端400通过网络300连接标注检测设备200，网络300可以是广域网或者局域网，又或者是二者的组合。其中，终端400可以看作是标注检测设备200的前端。
在进行标注检测时，标注检测设备200会先获取目标检测模型、图像样本和图像样本所对应的初始标注信息，其中，目标检测模型所能检测出的物体的类别，与初始标注信息中的物体类别相同。接着，标注检测设备200利用目标检测模型对图像样本进行预测，得到预测标注信息，其中，预测标注信息表征目标检测模型对图像样本进行标注所得到的信息。之后，标注检测设备200将初始标注信息与预测标注信息进行比对，得到标注差异结果，以便于标注差异结果通过终端400，也即标注检测设备200的前端呈现给标注人员，使得标注人员针对这些标注差异结果进行下一步的处理，其中，标注差异结果表征了初始标注信息和预测标注信息之间的差异。
参见图2，图2是本发明实施例提供的标注检测设备200的结构示意图，图2所示的标注检测设备200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。标注检测设备200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个（有线或无线）网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证（Wi-Fi）、和通用串行总线（USB，Universal Serial Bus）等；
显示模块253，用于经由一个或多个与用户接口230相关联的输出装置231（例如，显示屏、扬声器等）使得能够呈现信息（例如，用于操作外围设备和显示内容和信息的用户接口）；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的标注检测装置可以采用软件方式实现，图2示出了存储在存储器250中的标注检测装置255，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块2551、预测模块2552、匹配模块2553、修正模块2554和模型训练模块2555，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的标注检测装置可以采用硬件方式实现，作为示例，本发明实施例提供的标注检测装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的标注检测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。
示例性的，本发明实施例提供一种标注检测设备，包括：
存储器，用于存储可执行标注检测指令；
处理器，用于执行所述存储器中存储的可执行标注检测指令时，实现本发明实施例提供的标注检测方法。
下面，将结合本发明实施例提供的标注检测设备的示例性应用和实施，说明本发明实施例提供的标注检测方法。
参见图3，图3是本发明实施例提供的标注检测方法的一个可选的流程示意图一，将结合图3示出的步骤进行说明。
S101、获取目标检测模型、图像样本和图像样本所对应的初始标注信息；目标检测模型所能检测出的物体类别，与初始标注信息中的物体类别相同。
本发明实施例是在寻找并修正初始标注的标注样本中的标注错误的场景下实现的，例如，找到初始标注信息中的漏标注和误标注，以便于漏标注和误标注进行修正。此时，标注检测设备会先获取能够自动对图像样本进行目标检测的目标检测模型，获取图像样本，以及获取图像样本所对应的初始标注信息，以便于后续对图像样本所对应的初始标注信息进行检测。
需要说明的是，本发明实施例中，为了能够严格对初始标注信息进行检测，目标检测模型所能预测出的物体类别，应当与初始标注信息中所拥有的物体类别相同，这样，可以避免由于目标检测模型所预测出的物体类别与初始标注信息中的物体类别不一致，给后续对初始标注信息的核验带来额外的工作量。
示例性的，当初始标注信息中具有猫、狗、汽车三种类别时，目标检测模型所能检测出的物体类别，也应当是猫、狗、汽车。若是目标检测模型所能检测出的物体类别，除了猫、狗、汽车之外，还具有苹果这一类别，那么，苹果这一类别与初始标注信息中的所有类别均不一致，在后续就需要对所检测出的属于苹果这一类别的检测框再次进行核验。
可以理解的是，标注检测设备所获取到的目标检测模型，可以是已经训练好的模型，此时，目标检测模型可以是用具有与初始标注信息所相同的标注信息的训练图像样本所训练出的模型，本发明实施例在此不作限定。不难理解，若是利用未经过训练的初始检测模型来直接预测图像样本，所得到的预测标注信息的准确度是非常低的，可能会使得标注差异结果的数量增多，这样一来，会影响标注检测的效率。而利用训练好的模型来对图像样本进行预测，能够保证预测标注信息的准确度，从而减少标注差异结果的数量，进而保证标注检测的效率。
在本发明实施例中，初始标注信息是对图像样本中的所有由人工或是机器所标注的信息的统称，也就是说，初始标注信息中具有至少一个初始子标注信息。例如，在图像样本中具有5个标注出的前景物体，这5个前景物体都具有与其各自对应的初始子标注信息，因而，初始标注信息中具有5个初始子标注信息。进一步的，初始子标注信息中，既有初始标注的类别信息，即初始类别信息，还有所标注出的区域的位置信息，即初始位置信息，初始类别信息能够表明前景物体的类别，初始位置信息能够表明前景物体所在的区域的位置信息。
可以理解的是，本发明实施例中，目标检测模型可以是机器学习模型，例如支持向量机（Support Vector Machine，SVM），也可以是有监督的深度学习模型，例如卷积神经网络（Convolutional Neural Network，CNN），还可以是无监督的深度学习模型，本发明实施例在此不作具体限定。
S102、利用目标检测模型对图像样本进行预测，得到预测标注信息；其中，预测标注信息表征用目标检测模型对图像样本进行标注所得到的信息。
标注检测设备将图像样本输入进所获取到的目标检测模型之中，以对图像样本进行目标检测，目标检测模型所输出的结果，即为预测标注信息。换句话说，预测标注信息是标注检测设备通过目标检测模型自动对图像样本进行标注，所得到的标注信息。
需要说明的是，与初始标注信息类似，预测标注信息中也是对图像样本中通过目标检测模型所标注出的信息的统称，进一步的，预测标注信息也是包括至少一个预测子标注信息，预测子标注信息中具有预测类别信息和预测位置信息，分别用于表征通过目标检测模型所标注出的前景物体的类别信息，和通过目标检测模型所标注出的前景物体所在区域的位置信息。
可以理解的是，标注检测设备在利用目标检测模型对图像样本进行预测时，是先在图像样本中生成初始检测框，然后对初始检测框进行拉伸、缩放等一系列变换，得到多个检测框，之后，再对每个检测框所框选出的图像内容进行检测，得到每个检测框所框选出的图像内容所属的类别，以及图像内容属于该类别的置信度。当然，由于所生成的检测框数量较多，因此，标注检测设备可以通过设置置信度阈值，将不可信的检测框剔除，只保留置信度较高的检测框，此时，所保留下的检测框的坐标信息，就是目标检测模型所预测出的前景物体所在区域的位置信息，即预测位置信息。
S103、将初始标注信息与预测标注信息进行比对，得到标注差异结果。
标注检测设备将所得到的初始标注信息与预测标注信息进行比较，可以明确在初始标注信息之中，有哪些初始子标注信息是具有对应的预测子标注信息的，此时，具有对应的预测子标注信息的初始子标注信息，可以不再需要复核，而剩余的初始子标注信息，则是需要进行复核的。同理的，在预测标注信息之中，也可能会存在一些不具有相对应的初始子标注信息的预测子标注信息，这部分预测子标注信息可能是初始标注时被漏标注或是误标注的物体，也可能是目标检测模型错检出来的物体，因此，这部分预测子标注信息也是需要进行复核的。换句话说，需要进行复核的预测子标注信息，和需要进行复核的初始子标注信息，是初始标注信息与预测标注信息中的差异部分，标注检测设备可以将需要进行复核的初始子标注信息，和需要进行复核的预测子标注信息整合在一起，得到标注差异结果。由此可见，标注差异结果表征了初始标注信息和预测标注信息之间的差异。
可以理解的是，标注检测设备在得到标注差异结果之后，还可以将标注差异结果呈现在标注检测设备的显示界面，或者是标注检测设备的前端的显示界面上，以使得标注人员能够知晓哪些标注信息是需要复核的。
可以理解的是，本发明实施例中，需要复核的标注信息中，具有需要确认的位置信息和需求确认的类别信息，即由标注人员判断位置信息所确定出的区域是否是框选出了某个类别的前景物体，以及该前景物体的类别是否正确。
需要说明的是，标注检测设备可以是将需要再次初始确认的预测子标注信息，和需要再次初始确认的初始子标注信息都整合到图像样本中，得到标注差异结果，也即在图像样本中同时显示初始子标注信息的初始位置信息所确定出的区域，和预测子标注信息的预测位置信息所确定出的区域，以使得在复核图像样本时，能够同时对标注差异结果中的预测子标注信息和初始子标注信息进行核验。标注检测设备还可以是针对需要初始确认的预测子标注信息生成图像样本副本，针对需要初始确认的初始子标注信息生成图像样本副本，即在两个图像样本副本中分别显示初始子标注信息的初始位置信息所确定出的区域，和预测子标注信息的预测位置信息所确定出的区域，以使得能够对预测子标注信息和初始子标注信息分开核验。
示例性的，参见图4，为本发明实施例提供的图像样本的初始标注信息的示意图，初始标注信息中标注出了3个前景物体，分别为猫4-1、狗4-2和椅子4-3，其中，明显可见，初始标注信息中缺失了对另外一把椅子的标注。接着，标注检测设备通过目标检测模型对该图像样本进行预测，得到本发明实施例提供的图像样本的预测标注信息的示意图，具体参见图5，预测标注信息标注出了4个前景物体，即将猫4-1、狗4-2、椅子4-3和椅子4-4（图4中的另外一把椅子）全部标注出来了。这时，标注检测设备将图4所示出的初始标注信息，和图5所示出的预测标注信息对比，会得到一个没有匹配的初始子标注信息的预测子标注信息，即椅子4-4的标注信息。这时，标注检测设备会将椅子4-4的标注信息作为标注差异结果，就得到了本发明实施例提供的标注差异结果的示意图，如图6所示。相比于对猫4-1、狗4-2、椅子4-3和椅子4-4这四个初始子标注信息逐一进行复核而言，标注检测设备只筛选出了需要符合的1个前景物体，大大减少了需要核查的标注样本的数量。进一步的，后续标注检测设备还可以将标注差异结果呈现在显示界面上，以便标注人员在显示界面上看到标注差异结果时，对椅子4-4的标注信息进行核查，从而发现椅子4-4被漏标注，从而对椅子4-4进行标注，得到本发明实施例提供的修正后的标注信息的示意图，如图7所示，修正后的标注信息中将猫4-1、狗4-2、椅子4-3和椅子4-4全部标注了出来。
本发明实施例中，标注检测设备能够获取目标检测模型、图像样本和图像样本所对应的初始标注信息，并利用目标检测模型对图像样本进行预测，得到预测标注信息，然后将初始标注信息与预测标注信息进行比对，得到标注差异结果。如此，标注检测设备可以对大部分标注样本进行自动检测，只筛选出的少量需要再次核查检测的标注差异结果，大大减少了需要复核的标注样本的数量，提高了标注检测的效率。
参见图8，图8是本发明实施例提供的标注检测方法的一个可选的流程示意图二。在本发明的一些实施例中，初始标注信息包括至少一个初始子标注信息，预测标注信息包括至少一个预测子标注信息；将初始标注信息与预测标注信息进行比对，得到标注差异结果，即S103的具体实现过程，可以包括：S1031-S1034，如下：
S1031、将至少一个初始子标注信息中的每个初始子标注信息，分别与至少一个预测子标注信息进行匹配，得到匹配结果；其中，匹配结果表征是否存在与初始子标注信息匹配的预测子标注信息，匹配结果与每个初始子标注信息相对应。
标注检测设备在将初始标注信息与预测标注信息进行比对时，实际上是先从初始标注信息所包含的至少一个初始子标注信息中，任意选择一个初始子标注信息作为待匹配的初始子标注信息，将待匹配的初始子标注信息逐个与至少一个预测子标注信息中的每个预测子标注信息进行匹配，从而确定是否存在一个预测子标注信息与待匹配的初始子标注信息是匹配的。当存在与待匹配的初始子标注信息匹配的预测子标注信息时，匹配结果就会是存在与待匹配的初始子标注信息匹配的预测子标注信息，反之，匹配结果就是不存在与待匹配的初始子标注信息匹配的预测子标注信息，这样，就可以针对待匹配的初始子标注信息确定出与其对应的匹配结果。接着，标注检测设备会重新选择一个初始子标注信息，作为待匹配的初始子标注信息，如此循环往复，每个初始子标注信息都能够作为待匹配的初始子标注信息，以进行上述过程，从而完成将每个初始子标注信息和至少一个预测子标注信息匹配的过程，得到与每个初始子标注信息一一对应的匹配结果，也即拥有初始子标注信息的数量个匹配结果。
可以理解的是，匹配结果实质上是待匹配的初始子标注信息，与每个预测子标注信息的匹配情况的集合，也就是说，匹配结果中有一个或多个子匹配结果，每个子匹配结果与每个预测子标注信息相对应，说明了每个预测子标注信息与待匹配的初始子标注信息是不是匹配。换句话说，匹配结果中子匹配结果的数量，与预测子标注信息的数量是相同的。
S1032、对至少一个初始子标注信息中，匹配结果表征存在匹配的预测子标注信息的初始子标注信息进行提取，得到匹配初始子标注信息。
标注检测设备在得到每个初始子标注信息所对应的匹配结果之后，就可以逐个读取每个初始子标注信息所对应的匹配结果，从而知晓有哪些初始子标注信息是存在与其匹配的预测子标注信息的，有哪些初始子标注信息是不存在与其匹配的预测子标注信息的。接着，标注检测设备将存在与其匹配的预测子标注信息的初始子标注信息提取出来，并将这些初始子标注信息记为匹配初始子标注信息。如此，标注检测设备就根据匹配结果，将至少一个初始子标注信息分成了两类，一类为匹配初始子标注信息，一类为除匹配初始子标注信息之外的初始子标注信息。进一步的，由于匹配初始子标注信息不属于初始标注信息与预测标注信息的差异部分，因此，匹配初始子标注信息是不需要复核的，反之，除匹配初始子标注信息之外的初始子标注信息，是属于初始标注信息与预测标注信息的差异部分，因此，这部分初始子标注信息就是需要复核的。
S1033、根据匹配结果，从至少一个预测子标注信息中，提取出与匹配初始子标注信息相匹配的预测子标注信息，作为匹配预测子标注信息。
标注检测设备还要继续对匹配结果进行解析读取，从匹配结果中得知与匹配初始子标注信息相匹配的预测子标注信息是哪些，然后，将与匹配初始子标注信息相匹配的预测子标注信息提取出来，即为匹配预测子标注信息。也就是说，标注检测设备根据匹配结果，将至少一个预测子标注信息也分成了两类，一类是具有匹配的初始子标注信息的匹配预测子标注信息，一类是除匹配预测子标注信息之外的其他预测子标注信息。进一步的，与匹配初始子标注信息类似，匹配预测子标注信息也不属于初始标注信息与预测标注信息的差异部分，是不需要复核的，而除匹配预测子标注信息之外的预测子标注信息，由于缺少与其匹配的初始预测子标注信息，这部分预测子标注信息属于初始标注信息与预测标注信息的差异部分，需要复核。
S1034、利用至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，和至少一个预测子标注信息中，除匹配预测子标注信息之外的预测子标注信息，整合出标注差异结果。
此时，标注检测设备已经明确了需要复核的初始子标注信息，是除匹配初始子标注信息之外的初始子标注信息，同时明确了需要复核的预测子标注信息，是除匹配预测子标注信息之外的预测子标注信息，也即，标注检测设备已经查找到了初始标注信息与预测标注信息的差异部分，这时，标注检测设备就会利用初始标注信息所包括的至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，以及预测标注信息所包括的至少一个预测子标注信息中，除匹配预测子标注信息之外的预测子标注信息，组成标注差异结果。
本发明实施例中，标注修正设备能够将至少一个初始子标注信息中的每个初始子标注信息，分别与至少一个预测子标注信息进行匹配，得到与每个初始子标注信息对应的匹配结果，然后对至少一个初始子标注信息中，匹配结果表征存在匹配的预测子标注信息的初始子标注信息进行提取，得到匹配初始子标注信息，并依据匹配结果，从至少一个预测子标注信息中，提取出与初始子标注信息相匹配的预测子标注信息，作为匹配预测子标注信息，最后，利用至少一个初始子标注信息中除匹配初始子标注信息之外的初始子标注信息，和至少一个预测子标注信息中除匹配预测子标注信息之外的预测子标注信息，整合出标注差异结果。如此，标注修正设备能够将匹配初始子标注信息和匹配预测初始子标注信息排除在需要复核的标注信息之外，减少了需要复核的标注样本的数量，从而提高了标注检测的效率。
在本发明的一些实施例中，将至少一个初始子标注信息中的每个初始子标注信息，分别与至少一个预测子标注信息进行匹配，得到匹配结果，即S1031的具体实现过程，可以包括：S1031a-S1031b，如下：
S1031a、将每个初始子标注信息，分别和每个预测子标注信息进行匹配，得到子匹配结果，当至少一个预测子标注信息均匹配完成时，得到至少一个子匹配结果；其中，至少一个预测子标注信息与至少一个子匹配结果一一对应，子匹配结果表征初始子标注信息与预测子标注信息是否匹配。
标注检测设备将每个初始子标注信息都看作是待匹配的初始子标注信息，将待匹配的初始子标注信息和每个预测子标注信息进行匹配，即判断待匹配的初始子标注信息的初始类别信息，是否与每个预测子标注信息的预测类别信息相同，判断待匹配的初始子标注信息的初始位置信息所确定出的区域，与每个预测子标注信息的预测位置信息所确定出的区域，是不是重合的，如此，标注检测设备就能够判断出待匹配的初始子标注信息与每个预测子标注信息的匹配情况，即判断初始子标注信息和预测子标注信息的是否匹配，得到与每个预测子标注信息对应的子匹配结果。当所有的预测子标注信息均匹配完成时，就可得到至少一个子匹配结果，并且，至少一个子匹配结果和至少一个预测子标注信息是一一对应的。
可以理解的是，初始类别信息可以是前景物体的类别的名称，也可以是和前景物体的类别的名称所对应的编号等，本发明实施例在此不作限定。初始位置信息可以是前景物体所在的区域的坐标，例如，该区域左上角的坐标和右下角的坐标；初始位置信息还可以是前景物体所在的区域的中心位置的坐标，以及该区域的高度和宽度，本发明实施例在此不作限定。进一步的，预测类别信息和初始类别信息的数据形式可以是相同的，也可以是不同的，预测位置信息和初始位置信息的数据形式可以是相同的，也可以是不同的，本发明实施例在此不作具体限定。
进一步的，在初始子标注信息中，除了初始类别信息和初始位置信息之外，还可以有其他的辅助性信息，例如，图像样本的通道数，图像样本的尺寸等，本发明实施例在此不作具体限制。类似的，预测子标注信息中，除了预测类别信息和预测位置信息之外，也可以有其他的辅助性信息。
示例性的，本发明实施例提供了初始子标注信息的数据示意图，参见图9，某个图像样本的初始子标注信息中，具有该图像样本所在的文件夹名称9-1：JPEGImages，该图像样本的样本名9-2：201411282011493.png，该图像样本的路径9-3：/JPEGImages/201411282011493.png，进一步的，文件夹名称9-1、样本名9-2和路径9-3组成了该图像样本的存储信息9-a。在该图像样本的初始子标注信息中，还具有该图像样本的宽度9-4:554，高度9-5:323，以及该图像样本的通道数9-6:3，进一步的，宽度9-4、高度9-5和通道数9-6组成了该图像样本的基础信息9-b。在该图像样本的标注信息9-c中，有该图像样本中的一个前景物体的类别名称9-7：猫，以及该前景物体所在的区域的四个坐标，分别为左上角x轴坐标9-8:15，左上角y轴坐标9-9:13，右下角x轴坐标9-10:67，以及右下角y轴坐标9-11:57，进一步的，类别名称9-7为初始类别信息，左上角x轴坐标9-8、左上角y轴坐标9-9、右下角x轴坐标9-10和右下角y轴坐标9-11共同组成了初始位置信息9-c1。可以理解的是，预测子标注信息的形式，可以是与图9所示的初始子标注信息相同的。
S1031b、对至少一个子匹配结果进行整合，得到与每个初始子标注信息对应的匹配结果。
标注检测设备在得到与至少一个预测子标注信息相对应的至少一个子匹配结果之后，就已经明确了待匹配的初始子标注信息与每个预测子标注信息的匹配情况。接着，标注检测设备将这些子匹配结果整合起来，就得到了与待匹配的初始子标注信息对应的匹配结果。由于每个初始子标注信息都可以作为待匹配的初始子标注信息，这样，标注检测设备就能够得到每个初始子标注信息所对应的匹配结果。
可以理解的是，在本发明的一些实施例中，标注检测设备可以是将子匹配结果按照顺序进行排列，然后将排列的结果进行打包，得到匹配结果，也可以是对子匹配结果编码，例如，将匹配编码为1，将不匹配编码为0，然后将每个子匹配结果的编码按照顺序排列，组成向量，用该向量作为匹配结果。
本发明实施例中，标注检测设备将每个初始子标注信息分别和每个预测子标注信息进行匹配，当至少一个预测子标注信息均匹配完成时，得到与至少一个预测子标注信息一一对应的至少一个子匹配结果，然后对至少一个子匹配结果进行整合，得到与每个初始子标注信息对应的匹配结果。如此，标注检测设备能够得到每个初始子标注信息分别与至少一个预测子标注信息的匹配情况，从而得到匹配结果，以便于后续利用匹配结果得到匹配初始子标注信息和匹配预测子标注信息。
参见图10，图10是本发明实施例提供的标注检测方法的一个可选的流程示意图二。在本发明的一些实施例中，每个初始子标注信息均包含初始类别信息和初始位置信息，每个预测子标注信息均包含预测类别信息和预测位置信息；将每个初始子标注信息，分别和每个预测子标注信息进行匹配，得到与子匹配结果，即S1031a的具体实现过程，可以包括：S201-S203，如下：
S201、将初始类别信息，分别和每个预测子标注信息的预测类别信息进行匹配，得到每个预测子标注信息对应的类别匹配结果；类别匹配信息结果表征初始类别信息与预测类别信息是否相同。
由于在初始子标注信息中，标明了前景物体的初始类别信息，和前景物体的初始位置信息，在预测子标注信息中，也注明了前景物体的预测类别信息，和前景物体的预测位置信息。因此，标注检测设备在将每个初始子标注信息分别和每个预测子标注信息进行匹配时，具体是先将待匹配的初始子标注信息的初始类别信息，和每个预测子标注信息的预测类别信息进行匹配，以明确初始子标注信息所标注的前景物体的类别，和预测子标注信息所标注的前景物体的类别是否相同，也即比较初始类别信息和预测类别信息是否相同。当初始类别信息和预测类别信息相同时，则可以得到表征初始类别信息和预测类别信息相同的类别匹配结果，当初始类别信息和预测类别信息不同时，就可以得到表征初始类别信息和预测类别信息不相同的类别匹配结果。
S202、将初始位置信息，分别和每个预测子标注信息的预测位置信息进行匹配，得到每个预测子标注信息对应的位置匹配结果；位置匹配结果表征初始位置信息所确定的初始标注区域和预测位置信息所确定的预测标注区域的重合程度。
标注检测设备除了比较初始类别信息和预测类别信息是否相同，还需要利用初始位置信息确定出初始标注区域，利用预测位置信息确定出预测标注区域，然后判断待匹配的初始子标注信息的初始标注区域，和每个预测子标注信息的预测标注区域是否重合，以及初始标注区域和预测标注区域重合的程度，从而得到初始位置信息与预测位置信息的位置匹配结果。
进一步的，在本发明的一些实施例中，可以利用交并比来计算初始标注区域和预测标注区域的重合程度，还可以利用其他计算方式，例如，初始位置信息和预测位置信息的坐标差值，来计算初始标注区域和预测标注区域的重合程度，本发明实施例在此不作限定。
需要说明的是，先对初始类别信息和预测类别信息进行匹配，还是先对初始位置信息和预测位置信息进行匹配，并不会影响最终的子匹配结果，因此，在本发明的一些实施例中，也可以先执行对初始位置信息和预测位置信息进行匹配的过程，后执行对初始类别信息和预测类别信息的匹配过程，即先执行S202，后执行S201。当然，在本发明的另一些实施例中，S201和S202也可以同时执行。具体实行S201和S202的方式可以根据实际情况自行设置，本发明实施例在此不作限定。
S203、对类别匹配结果和位置匹配结果进行整合，得到子匹配结果，当至少一个预测子标注信息均整合完成时，得到至少一个子匹配结果；至少一个子匹配结果与至少一个预测子标注信息一一对应。
标注检测设备在得到某个预测子标注结果所对应的类别匹配结果和位置匹配结果之后，就可以将类别匹配结果和位置匹配结果整合在一起，得到该预测子标注信息所对应的子匹配结果。进一步的，标注检测设备来利用位置匹配结果和类别匹配结果得到子匹配结果时，还要用位置匹配结果与预设好的重合度阈值进行比较，只有当位置匹配结果超过预设好的重合度阈值的，并且类别匹配结果为初始类别信息和预测类别信息相同时，才能得到初始子标注信息和预测子标注信息是匹配的子匹配结果，否则，会得到初始子标注信息和预测子标注信息不匹配的子匹配结果。如此，在完成了对所有的预测子标注信息所对应的类别匹配结果和位置匹配结果的整合之后，就能够得到与每个预测子标注信息相对应的子匹配结果，即得到与至少一个预测子标注信息一一对应的至少一个子匹配结果。
可以理解的是，本发明实施例中，重合度阈值是可以根据实际需求进行设置的，例如，可以将重合度阈值设置为0.5，即初始标注区域和预测标注区域的重合程度超过0.5时，位置匹配结果是初始位置信息和预测位置信息匹配。还可以将重合度阈值设置为0.6，或者是其他值，本发明实施例在此不作限定。
本发明实施例中，标注检测设备能够先将初始类别信息，分别和每个预测子标注信息的预测类别信息进行匹配，得到类别匹配结果，将初始位置信息，分别和每个预测子标注信息的预测位置信息进行匹配，得到位置匹配结果，再对类别匹配结果和位置匹配结果进行整合，得到每个预测子标注信息所对应的子匹配结果。如此，标注检测设备就能够明确每个初始子标注信息，分别与至少一个预测子标注信息的匹配情况，以便于后续得到匹配结果。
在本发明的一些实施例中，将初始位置信息，分别和每个预测子标注信息的预测位置信息进行匹配，得到每个预测子标注信息的位置匹配结果，即S202的具体实现过程，可以包括：S2021-S2022，如下：
S2021、利用初始位置信息确定出初始标注区域。
S2022、利用每个预测子标注信息的预测位置信息，确定出每个预测子标注信息的预测标注区域。
标注检测设备先用从至少一个初始子标注信息中，所选择出来的待匹配的初始子标注信息的初始位置信息，确定出待匹配的初始子标注信息所对应的初始标注区域，然后用每个预测子标注信息的预测位置信息，确定出每个预测子标注信息的预测标注区域。
S2023、对初始标注区域和每个预测标注区域进行交并比计算，得到与每个预测子标注信息对应的位置匹配结果。
接着，标注检测设备将初始标注区域，和每个预测标注区域都进行交并比计算，就可以得到一个位置匹配结果，在针对待匹配的初始子标注信息的初始标注区域，经过与预测标注区域的数目次交并比计算之后，就可以得到至少一个位置匹配结果，且这些位置匹配结果，都有与其相对应的预测子标注信息。这样，标注检测设备就能够明确每个初始子标注信息的初始位置信息，和至少一个预测子标注信息的预测位置信息是否匹配了，以便于后续利用位置匹配结果，来生成子匹配结果。
本发明实施例中，标注检测设备利用初始位置信息确定出初始标注区域，利用每个预测子标注信息的预测位置信息，确定出每个预测子标注信息的预测标注区域，然后对初始标注区域和每个预测标注区域进行交并比计算，得到与每个预测子标注信息对应的位置匹配结果。如此，标注检测设备就能够分辨出初始位置信息和预测位置信息的匹配情况。
在本发明的一些实施例中，对初始标注区域和每个预测标注区域进行交并比计算，得到与每个预测子标注信息对应的位置匹配结果，即S2023的具体实现过程，可以包括：S2023a-S2023c，如下：
S2023a、对初始标注区域和每个预测标注区域求交集，得到每个预测标注区域所对应的交集结果。
S2023b、对初始标注区域和每个预测标注区域求并集，得到每个预测标注区域所对应的并集结果。
标注检测设备先将待匹配的初始子标注信息的初始标注区域，分别和每个预测标注区域的重合的区域提取出来，并计算该重合区域的面积，将计算得到的面积作为交集结果。接着，标注检测设备将待匹配的初始子标注信息的初始标注区域，分别和每个预测标注区域融合在一起，并计算融合区域的面积，将融合区域的面积作为并集结果。这样，标注检测设备可以计算出初始标注区域，和每个预测标注区域的交集结果和并集结果。
需要说明的是，S2023a和S2023b是两个并行的实现过程，在本发明的一些实施例中，可以先执行S2023b，再执行S2023a，还可以同时执行S2023a和S2023b，本发明实施例在此不作限定。
S2023c、利用交集结果和并集结果，构造出每个预测子标注信息的位置匹配结果。
标注检测设备在得到交集结果和并集结果之后，就可以将交集结果作为分子，将并集结果作为分母，也即将交集结果和并集结果相比，将所得到的比值作为位置匹配结果。
示例性的，本发明实施例提供了位置匹配结果的计算过程示意图，参见图11，当初始标注区域为11-A，预测标注区域为11-B时，标注检测设备对11-A和11-B求交集11-1，就可以得到交集结果11-C。同时，标注检测设备对11-A和11-B求并集11-2，就可以得到并集结果11-D。接着对交集结果11-C与并集结果11-D求比值11-3所得到结果，就是位置匹配结果11-E。
本发明实施例中，标注检测设备能够对初始标注区域和每个预测标注区域求交集，以及对初始标注区域和每个预测标注区域求并集，分别得到交集结果和并集结果，然后用交集结果和并集结果计算出位置匹配结果。如此，标注检测设备就能够根据初始标注区域和每个预测标注区域的交集和并集，来计算出初始标注区域和预测标注区域的重合程度，从而判断出初始位置信息和预测位置信息是不是匹配。
在本发明的一些实施例中，对类别匹配结果和位置匹配结果进行整合，得到子匹配结果，即S203的具体实现过程，可以包括：S2031-S2032，如下：
S2031、当类别匹配结果表征初始类别信息与预测类别信息相同，且位置匹配结果超过预设的重合度阈值时，生成初始子标注信息与预测子标注信息匹配的子匹配结果。
S2032、当类别匹配结果表征初始类别信息与预测类别信息相同，位置匹配结果小于或等于预设的重合度阈值时，生成初始子标注信息与预测子标注信息不匹配的子匹配结果。
S2033、当类别匹配结果表征初始类别信息与预测类别信息不同，位置匹配结果超过预设的重合度阈值时，生成初始子标注信息与预测子标注信息不匹配的子匹配结果。
S2034、当类别匹配结果表征初始类别信息与预测类别信息不同，位置匹配结果小于或等于预设的重合度阈值时，生成初始子标注信息与预测子标注信息不匹配的子匹配结果。
标注检测设备根据类别匹配结果中，初始类别信息和预测类别信息是否相同，以及将位置匹配结果与预设的重合度阈值相比较，就可以判断出初始子标注信息和预测子标注信息是不是匹配的，从而得到子匹配结果。只有当初始类别信息和预测类别信息匹配，且位置匹配结果超过预设好的重合度阈值时，才能得到是初始子标注信息和预测子标注信息匹配的子匹配结果。
本发明实施例中，标注检测设备能够根据类别匹配结果中初始类别信息和预测类别信息的是否相同，以及位置匹配信息和预设好的重合度阈值的大小关系，来确定出子匹配结果。
在本发明的一些实施例中，利用至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，和至少一个预测子标注信息中，除匹配预测子标注信息之外的预测子标注信息，整合出标注差异结果，即S1034的具体实现过程，可以包括：S1034a-S1034c，如下：
S1034a、对至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息进行整合，得到初始误标集合。
S1034b、对至少一个预测子标注信息中，除匹配预测子标注信息之外的预测子标注信息进行整合，得到预测误标集合。
标注检测设备在整合标注差异结果时，可以是先将所有的初始子标注信息中，除匹配初始子标注信息之外的其余初始子标注信息提取出来并整合，得到需要复核的初始标注集合，即得到初始误标集合。同理的，标注检测设备还可以利用与得到初始误标集合相类似的方法，得到预测误标集合。这样，可以将初始标注中需要复核的标注样本，以及预测标注中需要复核的标注样本分开存储，以便于后续不同的标注人员分别对这两个样本集合进行核查。
S1034c、将初始误标集合和预测误标集合进行整合，得到标注差异结果。
标注修正设备在得到初始误标集合和预测误标集合之后，就可以将这两个误标集合进行打包，并将最终的打包结果作为标注差异结果。
本发明实施例中，标注修正设备能够将至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息进行整合，得到初始误标集合，同时将至少一个预测子标注信息中，除匹配预测子标注信息之外的预测子标注信息，整合为预测误标集合，然后将初始误标集合和预测误标集合整合，得到标注差异结果。如此，标注修正设备能够将初始标注中需要复核标注样本，和预测标注中需要复核的标注样本分开存储，以便于后续单独对这两种标注样本进行操作。
基于图3，参见图12，图12是本发明实施例提供的标注检测方法的一个可选的流程示意图三。在本发明的一些实施例中，在将初始标注信息与预测标注信息进行比对，得到标注差异结果之后，即S103之后，该方法还可以包括：S104-S105，如下：
S104、接收针对标注差异结果的修正信息。
S105、基于修正信息对初始标注信息进行修正，得到修正后的标注信息；修正信息表征了针对标注差异结果的核查结果。
标注检测设备在得到标注差异结果之后，还可以接收针对标注差异结果的初始核查结果，即接收修正信息，然后对该修正信息进行解析，从中获取到哪些初始子标注信息是需要修正的，即哪些初始子标注信息是误标注的，或者是有哪些区域中的图像内容缺少相应的初始子标注信息，即哪些图像内容是漏标注的。同时，修正信息中还具有与需要修正初始子标注信息相对应的正确标注信息，以及缺少相应的初始子标注信息的图像区域所对应的正确标注信息。之后，标注检测设备会利用修正信息中的正确标注信息，来替换需要修改的初始子标注信息，或是将正确标注信息添加进行初始标注信息之中，以完成对初始标注信息的修正，得到修正后的初始标注信息。
可以理解的是，由于标注检测设备在生成标注差异结果时，已经将初始标注信息和预测标注信息中所相同的部分排除了，只是利用初始标注信息和预测标注信息中存在差异的部分得到标注差异结果。换句话说，标注检测设备已经对相当一部分的初始标注子信息完成了自动核查确认，仅剩下了少量的存在差异的初始子标注信息和预测子标注信息，只需要对这些初始子标注信息和预测子标注信息进行核查修正即可，大大减少了需要初始复核并修正的标注样本的数量。
需要说明的是，在本发明实施例中，修正信息可以是由标注人员发出的，即标注人员针对标注差异结果进行修正；还可以是由其他设备发出的，即机器来自动针对标注差异结果进行修正，本发明实施例在此不作限定。
本发明实施例中，标注检测设备在得到标注差异结果之后，还可以接收针对标注差异结果的修正信息，从而将初始标注样本中的错误标注修正过来，得到质量较高的修正后的标注信息。
在本发明的一些实施例中，初始标注信息包括至少一个初始子标注信息；基于修正信息对初始标注信息进行修正，得到修正后的标注信息，即S105的具体实现过程，可以包括：S1051-S1053，如下：
S1051、从至少一个初始子标注信息中，查找出与修正信息相对应的待修正子标注信息。
标注检测设备在进行标注修正时，先是对修正信息进行解析，从而得知在初始子标注信息中，有哪些初始子标注信息是需要修正的，并将需要修正的初始子标注信息记为待修正子标注信息，以便于后续对待修正子标注信息进行修正。
S1052、利用修正信息修正待修正子标注信息，得到修正后的子标注信息。
标注检测设备将修正信息中的正确标注信息解析出来，然后用正确标注信息的前景物体的类别标签，来替换待修正子标注信息的前景物体的类别标签，用正确标注信息中的前景物体区域的位置信息，来替换待修正子标注信息中的前景物体区域的位置信息，换句话说，标注检测设备是用正确标注信息中的类别信息，来替换待修正子标注信息中原有的初始类别信息，是用正确标注信息中的位置信息，来替换待修正子标注信息中原有的初始位置信息，从而得到修正后的子标注信息。
S1043、利用修正后的初始子标注信息，和至少一个初始子标注信息中除待修正子标注信息之外的初始子标注信息，组成修正后的标注信息。
标注检测设备在得到修正后的子标注信息之后，就可以用修正后的子标注信息，将待修正子标注信息替换掉，也即，用修正后的子标注信息，和除待修正子标注信息之外的其他初始子标注信息，组成修正后的标注信息。至此，标注检测设备就完成了对初始标注信息的修正过程，使得修正后的标注信息的准确度大幅提升。
本发明实施例中，标注检测设备能够从至少一个初始子标注信息中，查找出与修正信息相对应的待修正子标注信息，然后用修正信息对待修正子标注信息进行修正，得到修正后的子标注信息，进而用修正后的子标注信息替换待修正子标注信息，得到修正后的标注信息。如此，标注修正设备就能够对初始标注信息进行修正，从而得到准确度较高的修正后的标注信息。
在本发明的一些实施例中，利用目标检测模型对图像样本进行预测，得到预测标注信息，即S102的具体实现过程，可以包括：S1021-S1022，如下：
S1021、利用目标检测模型对图像样本进行预测，得到初始预测信息和初始预测信息的置信度。
标注检测设备先要将图像样本输入进目标检测模型中进行运算，这时，目标检测模型会输出其所预测到的前景物体的位置信息和类别信息，即得到初始预测信息，以及前景物体的位置信息和类别信息的可信程度，即得到初始预测信息的置信度，以便于后续根据置信度来筛选出预测标注信息。
S1022、对置信度大于或等于预设的置信度阈值的初始预测信息进行筛选，得到预测标注信息。
标注检测设备在得到初始预测信息，和初始预测信息的置信度之后，就会将初始预测信息的置信度与预设好的置信度阈值进行比较，将置信度大于或者是等于置信度阈值的初始预测信息筛选出来，作为预测标注信息。可以理解的是，由于在实际过程中，初始标注信息中的漏标注可能是比较多的，因此，可以将置信度阈值设置在较低的水平，以使得漏标注的物体能够尽可能的都被目标检测模型检测出来。例如，可以将置信度阈值设置为0.6，也可以将置信度阈值设置为0.5，本发明实施例在此不作限定。
本发明实施例中，标注检测设备能够利用目标检测模型对图像样本进行检测，得到初始预测信息和初始预测信息的置信度，然后将置信度大于或等于置信度阈值的初始预测信息筛选出来，作为预测标注信息。如此，标注检测设备就可以得到预测标注信息，以便于后续用预测标注信息生成标注差异结果。
基于图3，参见图13，图13是本发明实施例提供的标注检测方法的一个可选的流程示意图四。在本发明的一些实施例中，在获取目标检测模型、图像样本和图像样本所对应的初始标注信息之前，即S101之前，该方法还可以包括：S106-S107，如下：
S106、获取训练图像样本和初始检测模型。
S107、利用训练图像样本，对初始检测模型持续进行参数调整，直至达到训练停止条件，得到目标检测模型。
在用目标检测模型对图像样本进行预测之前，标注检测设备可以利用所获取到的训练图像样本中的图片作为初始检测模型的输入，将训练图像样本的标注信息作为标签，来对所获取到的初始检测模型进行有监督训练，持续调整初始检测模型中的参数，直到满足训练停止条件时，得到目标检测模型。可以理解的是，为了使得目标检测模型所能检测出的物体类别，与初始标注信息的物体类别相同，训练图像样本中的物体类别应当是与初始标注信息的物体类别相同的。
本发明实施例中，标注检测设备还可以利用训练图像样本来对初始检测模型进行训练，以便于后续利用训练好的目标检测模型来对图像样本进行预测，从而提高预测标注信息的准确度。
在本发明的一些实施例中，在基于修正信息对初始标注信息进行修正，得到修正后的标注信息，即S105之后，该方法还可以包括：S108，如下：
S108、利用修正后的标注信息和图像样本，对目标检测模型进行参数调整，直至达到训练停止条件，得到优化后的目标检测模型。
由于标注检测设备所得到的修正后的标注信息，相比于原先的初始标注信息而言，准确度已经得到了提升了，因而，利用修正后的标注信息来对目标检测模型进行优化，能够提升目标检测模型的性能。此时，标注检测设备会将图像样本作为输入，将修正后的标注信息作为监督标签，来训练目标检测模型，以调整目标检测模型中的参数，直至达到训练停止条件时，得到优化后的目标检测模型。优化后的目标检测模型可以直接用来对未标注过的新图像样本进行目标检测，也可以用来对修正后的标注信息继续进行修正。
本发明实施例中，标注检测设备还能够利用修正后的标注信息和图像样本，继续训练目标检测模型，得到优化后的目标检测模型，以进一步提升目标检测模型的性能。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
本发明实施例是在以XML格式来标注样本数据的场景下实现的。参见图14，图14是本发明实施例提供的XML格式的标注检测过程示意图。首先，标注检测设备先要输入人工标注好的训练样本14-1。接着，标注检测设备利用人工标注好的训练样本，训练目标检测模型14-2。当标注检测设备完成对目标检测模型的训练，得到训练后的模型之后，标注检测设备会输入人工标注好的待检测的标注样本XML_truth，标注检测设备会降低检测阈值（置信度阈值），用训练后的模型预测XML_truth并生成XML_model文件（预测标注信息）14-3。接着，标注检测设备根据XML_model文件中的预测结果和XML_truth文件中的人工标注的差异，产生XML_diff文件（标注差异结果）14-4，具体的，标注检测设备可是利用预测结果的预测矩形框（预测子标注信息）记为A，将人工标注的标注矩形框（人工子标注信息）记为B，对A和B进行IoU（交并比）计算，即计算
Figure 276501DEST_PATH_IMAGE001
。当预测矩形框和标注矩形框的IoU大于某个阈值（重合度阈值），例如0.5，并且标注名相同，则认为标注矩形框与预测矩形框一致，此时，对于标注矩形框和预测矩形框不作任何处理。当对于不一致的标注，将标注矩形框存入文件XML_FN（人工误标集合），将预测矩形框存入XML_FP（预测误标集合），然后用XML_FN和XML_FP组成XML_diff。之后，标注检测设备打开XML_diff人工进行确认14-5，具体的，是分别接收标注人员针对XML_FN和XML_FP的正确性信息。接着，标注检测设备将人工确认后的XML_FN与XML_FP合并至XML_truth，产生新的XML_truth_1（修正后的人工标注信息）14-6。最后，标注检测设备可以选择是否用XML_truth_1继续训练训练后的模型14-7，若是的话，则更新样本14-8，并继续执行14-1，这样，可以重复步骤14-1至14-6，从而逐步提升样本标注的准确性。
通过上述方式，标注检测设备从XML_model和XML_truth中得到XML_diff，在人工再次确认时，只需要确认XML_diff中的标注样本，相比于逐个确认XML_truth中的标注样本，能够减少需要人工符合的标注样本的数量，从而提高对XML格式的标注检测的效率。
下面继续说明本发明实施例提供的标注检测装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的标注检测装置255中的软件模块可以包括：
获取模块2551，用于获取目标检测模型、图像样本和所述图像样本所对应的初始标注信息；所述目标检测模型所能检测出的物体类别，与所述初始标注信息中的物体类别相同；
预测模块2552，用于利用所述目标检测模型对所述图像样本进行预测，得到预测标注信息；其中，所述预测标注信息表征用所述目标检测模型对所述图像样本进行标注所得到的信息；
匹配模块2553，用于将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果。
在本发明的一些实施例中，所述初始标注信息包括至少一个初始子标注信息，所述预测标注信息包括至少一个预测子标注信息；所述匹配模块2553，具体用于将所述至少一个初始子标注信息中的每个初始子标注信息，分别与所述至少一个预测子标注信息进行匹配，得到匹配结果；其中，所述匹配结果表征是否存在与初始子标注信息匹配的预测子标注信息，所述匹配结果与所述每个初始子标注信息相对应；对所述至少一个初始子标注信息中，所述匹配结果表征存在匹配的预测子标注信息的初始子标注信息进行提取，得到匹配初始子标注信息；根据所述匹配结果，从所述至少一个预测子标注信息中，提取出与所述匹配初始子标注信息相匹配的预测子标注信息，作为匹配预测子标注信息；利用所述至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，和所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息，整合出所述标注差异结果。
在本发明的一些实施例中，所述匹配模块2553，具体用于将所述每个初始子标注信息，分别和每个预测子标注信息进行匹配，得到子匹配结果，当所述至少一个预测子标注信息均匹配完成时，得到至少一个子匹配结果；其中，所述至少一个预测子标注信息与所述至少一个子匹配结果一一对应，所述子匹配结果表征初始子标注信息与预测子标注信息是否匹配；对所述至少一个子匹配结果进行整合，得到与所述每个初始子标注信息对应的所述匹配结果。
在本发明的一些实施例中，所述每个初始子标注信息均包含初始类别信息和初始位置信息，每个预测子标注信息均包含预测类别信息和预测位置信息；所述匹配模块2553，具体用于将所述初始类别信息，分别和所述每个预测子标注信息的预测类别信息进行匹配，得到所述每个预测子标注信息对应的类别匹配结果；所述类别匹配结果表征所述初始类别信息与预测类别信息是否相同；将所述初始位置信息，分别和所述每个预测子标注信息的预测位置信息进行匹配，得到所述每个预测子标注信息对应的位置匹配结果；所述位置匹配结果表征所述初始位置信息所确定的初始标注区域和所述预测位置信息所确定的预测标注区域的重合程度；对所述类别匹配结果和所述位置匹配结果进行整合，得到所述子匹配结果，当至少一个预测子标注信息均整合完成时，得到所述至少一个子匹配结果；所述至少一个子匹配结果与所述至少一个预测子标注信息一一对应。
在本发明的一些实施例中，所述匹配模块2553，具体用于利用所述初始位置信息确定出初始标注区域；利用所述每个预测子标注信息的预测位置信息，确定出所述每个预测子标注信息的预测标注区域；对所述初始标注区域和每个预测标注区域进行交并比计算，得到与所述每个预测子标注信息对应的位置匹配结果。
在本发明的一些实施例中，所述匹配模块2553，具体用于对所述初始标注区域和所述每个预测标注区域求交集，得到所述每个预测标注区域所对应的交集结果；对所述初始标注区域和所述每个预测标注区域求并集，得到所述每个预测标注区域所对应的并集结果；利用所述交集结果和所述并集结果，构造出每个预测子标注信息的位置匹配结果。
在本发明的一些实施例中，所述匹配模块2553，具体用于当所述类别匹配结果表征初始类别信息与预测类别信息相同，且所述位置匹配结果超过预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息匹配的子匹配结果；当所述类别匹配结果表征初始类别信息与预测类别信息相同，所述位置匹配结果小于或等于所述预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息不匹配的子匹配结果；当所述类别匹配结果表征初始类别信息与预测类别信息不同，所述位置匹配结果超过所述预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息不匹配的子匹配结果；当所述类别匹配结果表征初始类别信息与预测类别信息不同，且所述位置匹配结果小于或等于所述预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息不匹配的子匹配结果。
在本发明的一些实施例中，所述匹配模块2553，具体用于对所述至少一个初始子标注信息中，除所述匹配初始子标注信息之外的初始子标注信息进行整合，得到初始误标集合；对所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息进行整合，得到预测误标集合；将所述初始误标集合和所述预测误标集合进行整合，得到所述标注差异结果。
在本发明的一些实施例中，所述标注检测装置255，还包括：修正模块2554；
所述修正模块2554，用于接收针对所述标注差异结果的修正信息；基于所述修正信息对所述初始标注信息进行修正，得到修正后的标注信息；所述修正信息表征了针对所述标注差异结果的核查结果
在本发明的一些实施例中，所述初始标注信息包括至少一个初始子标注信息；所述修正模块2554，具体用于从所述至少一个初始子标注信息中，查找出与所述修正信息相对应的待修正子标注信息；利用所述修正信息修正所述待修正子标注信息，得到修正后的子标注信息；利用所述修正后的子标注信息，和所述至少一个初始子标注信息中除所述待修正子标注信息之外的初始子标注信息，组成所述修正后的标注信息。
在本发明的一些实施例中，所述预测模块2552，具体用于利用所述目标检测模型对所述图像样本进行预测，得到初始预测信息和所述初始预测信息的置信度；对所述置信度大于或等于预设的置信度阈值的所述初始预测信息进行筛选，得到所述预测标注信息。
在本发明的一些实施例中，所述标注修正装置255还包括：模型训练模块2555；
所述模型训练模块2555，用于获取训练图像样本和初始检测模型；利用所述训练图像样本，对所述初始检测模型持续进行参数调整，直至达到训练停止条件，得到所述目标检测模型。
在本发明的一些实施例中，所述模型训练模块2555，还用于利用所述修正后的标注信息和所述图像样本，对所述目标检测模型进行参数调整，直至达到训练停止条件，得到优化后的目标检测模型。
本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行标注检测指令，当可执行标注检测指令被处理器执行时，将引起处理器执行本发明实施例提供的标注检测方法，例如，如图3、图8、图10、图12、图13和图14示出的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行标注检测指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行标注检测指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，HyperText Markup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行标注检测指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (14)

1.一种检测方法，其特征在于，包括：
获取目标检测模型、图像样本和所述图像样本所对应的初始标注信息；所述目标检测模型所能检测出的物体类别，与所述初始标注信息中的物体类别相同；
利用所述目标检测模型对所述图像样本进行预测，得到预测标注信息；其中，所述预测标注信息表征用所述目标检测模型对所述图像样本进行标注所得到的信息；
将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果；
所述初始标注信息包括至少一个初始子标注信息，所述预测标注信息包括至少一个预测子标注信息；所述将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果，包括：
将所述至少一个初始子标注信息中的每个初始子标注信息，分别与所述至少一个预测子标注信息进行匹配，得到匹配结果；其中，所述匹配结果表征是否存在与初始子标注信息匹配的预测子标注信息，所述匹配结果与所述每个初始子标注信息相对应；
对所述至少一个初始子标注信息中，所述匹配结果表征存在匹配的预测子标注信息的初始子标注信息进行提取，得到匹配初始子标注信息；
根据所述匹配结果，从所述至少一个预测子标注信息中，提取出与所述匹配初始子标注信息相匹配的预测子标注信息，作为匹配预测子标注信息；
利用所述至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，和所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息，整合出所述标注差异结果；
其中，所述初始子标注信息包括初始类别信息、初始位置信息和初始辅助信息，所述预测子标注信息包括预测类别信息、预测位置信息和预测辅助信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述至少一个初始子标注信息中的每个初始子标注信息，分别与所述至少一个预测子标注信息进行匹配，得到匹配结果，包括：
将所述每个初始子标注信息，分别和每个预测子标注信息进行匹配，得到子匹配结果，当所述至少一个预测子标注信息均匹配完成时，得到至少一个子匹配结果；其中，所述至少一个预测子标注信息与所述至少一个子匹配结果一一对应，所述子匹配结果表征初始子标注信息与预测子标注信息是否匹配；
对所述至少一个子匹配结果进行整合，得到与所述每个初始子标注信息对应的所述匹配结果。
3.根据权利要求2所述的方法，其特征在于，所述每个初始子标注信息均包含初始类别信息和初始位置信息，每个预测子标注信息均包含预测类别信息和预测位置信息；所述将所述每个初始子标注信息，分别和每个预测子标注信息进行匹配，得到子匹配结果，当所述至少一个预测子标注信息均匹配完成时，得到至少一个子匹配结果，包括：
将所述初始类别信息，分别和所述每个预测子标注信息的预测类别信息进行匹配，得到所述每个预测子标注信息对应的类别匹配结果；所述类别匹配结果表征所述初始类别信息与预测类别信息是否相同；
将所述初始位置信息，分别和所述每个预测子标注信息的预测位置信息进行匹配，得到所述每个预测子标注信息对应的位置匹配结果；所述位置匹配结果表征所述初始位置信息所确定的初始标注区域和所述预测位置信息所确定的预测标注区域的重合程度；
对所述类别匹配结果和所述位置匹配结果进行整合，得到所述子匹配结果，当至少一个预测子标注信息均整合完成时，得到所述至少一个子匹配结果；所述至少一个子匹配结果与所述至少一个预测子标注信息一一对应。
4.根据权利要求3所述的方法，其特征在于，所述将所述初始位置信息，分别和所述每个预测子标注信息的预测位置信息进行匹配，得到所述每个预测子标注信息对应的位置匹配结果，包括：
利用所述初始位置信息确定出初始标注区域；
利用所述每个预测子标注信息的预测位置信息，确定出所述每个预测子标注信息的预测标注区域；
对所述初始标注区域和每个预测标注区域进行交并比计算，得到与所述每个预测子标注信息对应的位置匹配结果。
5.根据权利要求4所述的方法，其特征在于，所述对所述初始标注区域和每个预测标注区域进行交并比计算，得到与所述每个预测子标注信息对应的位置匹配结果，包括：
对所述初始标注区域和所述每个预测标注区域求交集，得到所述每个预测标注区域所对应的交集结果；
对所述初始标注区域和所述每个预测标注区域求并集，得到所述每个预测标注区域所对应的并集结果；
利用所述交集结果和所述并集结果，构造出所述每个预测子标注信息对应的位置匹配结果。
6.根据权利要求3至5任一项所述的方法，其特征在于，所述对所述类别匹配结果和所述位置匹配结果进行整合，得到子匹配结果，包括：
当所述类别匹配结果表征初始类别信息与预测类别信息相同，且所述位置匹配结果超过预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息匹配的子匹配结果；
当所述类别匹配结果表征初始类别信息与预测类别信息相同，所述位置匹配结果小于或等于所述预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息不匹配的子匹配结果；
当所述类别匹配结果表征初始类别信息与预测类别信息不同，所述位置匹配结果超过所述预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息不匹配的子匹配结果；
当所述类别匹配结果表征初始类别信息与预测类别信息不同，且所述位置匹配结果小于或等于所述预设的重合度阈值时，生成所述初始子标注信息与所述预测子标注信息不匹配的子匹配结果。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述利用所述至少一个初始子标注信息中，除所述匹配初始子标注信息之外的初始子标注信息，和所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息，整合出所述标注差异结果，包括：
对所述至少一个初始子标注信息中，除所述匹配初始子标注信息之外的初始子标注信息进行整合，得到初始误标集合；
对所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息进行整合，得到预测误标集合；
将所述初始误标集合和所述预测误标集合进行整合，得到所述标注差异结果。
8.根据权利要求1至5任一项所述的方法，其特征在于，在所述将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果之后，包括：
接收针对所述标注差异结果的修正信息；
基于所述修正信息对所述初始标注信息进行修正，得到修正后的标注信息；所述修正信息表征了针对所述标注差异结果的核查结果。
9.根据权利要求8所述的方法，其特征在于，所述初始标注信息包括至少一个初始子标注信息；所述基于所述修正信息对所述初始标注信息进行修正，得到修正后的标注信息，包括：
从所述至少一个初始子标注信息中，查找出与所述修正信息相对应的待修正子标注信息；
利用所述修正信息修正所述待修正子标注信息，得到修正后的子标注信息；
利用所述修正后的子标注信息，和所述至少一个初始子标注信息中除所述待修正子标注信息之外的初始子标注信息，组成所述修正后的标注信息。
10.根据权利要求1至5，或9任一项所述的方法，其特征在于，所述利用所述目标检测模型对所述图像样本进行预测，得到预测标注信息，包括：
利用所述目标检测模型对所述图像样本进行预测，得到初始预测信息和所述初始预测信息的置信度；
对所述置信度大于或等于预设的置信度阈值的所述初始预测信息进行筛选，得到所述预测标注信息。
11.根据权利要求1至5，或9任一项所述的方法，其特征在于，在所述获取目标检测模型、图像样本和所述图像样本所对应的初始标注信息之前，所述方法还包括：
获取训练图像样本和初始检测模型；
利用所述训练图像样本，对所述初始检测模型持续进行参数调整，直至达到训练停止条件，得到所述目标检测模型。
12.根据权利要求8所述的方法，其特征在于，在所述基于所述修正信息对所述初始标注信息进行修正，得到修正后的标注信息之后，所述方法还包括：
利用所述修正后的标注信息和所述图像样本，对所述目标检测模型进行参数调整，直至达到训练停止条件，得到优化后的目标检测模型。
13.一种标注检测装置，其特征在于，包括：
获取模块，用于获取目标检测模型、图像样本和所述图像样本所对应的初始标注信息；所述目标检测模型所能检测出的物体类别，与所述初始标注信息中的物体类别相同；
预测模块，用于利用所述目标检测模型对所述图像样本进行预测，得到预测标注信息；其中，所述预测标注信息表征用所述目标检测模型对所述图像样本进行标注所得到的信息；
匹配模块，用于将所述初始标注信息与所述预测标注信息进行比对，得到标注差异结果；
所述初始标注信息包括至少一个初始子标注信息，所述预测标注信息包括至少一个预测子标注信息；所述匹配模块2553，具体用于将所述至少一个初始子标注信息中的每个初始子标注信息，分别与所述至少一个预测子标注信息进行匹配，得到匹配结果；其中，所述匹配结果表征是否存在与初始子标注信息匹配的预测子标注信息，所述匹配结果与所述每个初始子标注信息相对应；对所述至少一个初始子标注信息中，所述匹配结果表征存在匹配的预测子标注信息的初始子标注信息进行提取，得到匹配初始子标注信息；根据所述匹配结果，从所述至少一个预测子标注信息中，提取出与所述匹配初始子标注信息相匹配的预测子标注信息，作为匹配预测子标注信息；利用所述至少一个初始子标注信息中，除匹配初始子标注信息之外的初始子标注信息，和所述至少一个预测子标注信息中，除所述匹配预测子标注信息之外的预测子标注信息，整合出所述标注差异结果；
其中，所述初始子标注信息包括初始类别信息、初始位置信息和初始辅助信息，所述预测子标注信息包括预测类别信息、预测位置信息和预测辅助信息。
14.一种计算机可读存储介质，其特征在于，存储有可执行标注检测指令，用于引起处理器执行时，实现权利要求1至12任一项所述的方法。
CN202010447633.2A 2020-05-25 2020-05-25 一种标注检测方法、装置及计算机可读存储介质 Pending CN111353555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010447633.2A CN111353555A (zh) 2020-05-25 2020-05-25 一种标注检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010447633.2A CN111353555A (zh) 2020-05-25 2020-05-25 一种标注检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111353555A true CN111353555A (zh) 2020-06-30

Family

ID=71193461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010447633.2A Pending CN111353555A (zh) 2020-05-25 2020-05-25 一种标注检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111353555A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814759A (zh) * 2020-08-24 2020-10-23 腾讯科技（深圳）有限公司 人脸质量标签值的获取方法、装置、服务器及存储介质
CN112084876A (zh) * 2020-08-13 2020-12-15 宜通世纪科技股份有限公司 一种目标对象追踪方法、系统、装置及介质
CN112150448A (zh) * 2020-09-28 2020-12-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN112308046A (zh) * 2020-12-02 2021-02-02 龙马智芯（珠海横琴）科技有限公司 图像的文本区域定位方法、装置、服务器及可读存储介质
CN112418362A (zh) * 2021-01-25 2021-02-26 浙江啄云智能科技有限公司 一种目标检测训练样本筛选方法
CN112529335A (zh) * 2020-12-25 2021-03-19 广州文远知行科技有限公司 一种模型检测方法、装置、设备和存储介质
CN112884054A (zh) * 2021-03-03 2021-06-01 歌尔股份有限公司 一种目标标注方法和一种目标标注装置
CN113095444A (zh) * 2021-06-07 2021-07-09 北京智芯微电子科技有限公司 图像标注方法、装置及存储介质
CN113095194A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 图像分类方法、装置、存储介质及电子设备
CN113469158A (zh) * 2021-09-06 2021-10-01 智广海联(天津)大数据技术有限公司 基于卷积神经网络的非法危化品运输车辆识别方法及系统
CN113781665A (zh) * 2020-07-28 2021-12-10 北京沃东天骏信息技术有限公司 一种标注信息的审核方法和装置
CN115294505A (zh) * 2022-10-09 2022-11-04 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备
WO2023024442A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 检测方法、训练方法、装置、设备、存储介质和程序产品
CN116977905A (zh) * 2023-09-22 2023-10-31 杭州爱芯元智科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112084876B (zh) * 2020-08-13 2024-05-03 宜通世纪科技股份有限公司 一种目标对象追踪方法、系统、装置及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307958A1 (en) * 2013-04-16 2014-10-16 The Penn State Research Foundation Instance-weighted mixture modeling to enhance training collections for image annotation
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN108985293A (zh) * 2018-06-22 2018-12-11 深源恒际科技有限公司 一种基于深度学习的图像自动化标注方法及系统
CN109344864A (zh) * 2018-08-24 2019-02-15 北京陌上花科技有限公司 用于密集物体的图像处理方法及装置
CN110009090A (zh) * 2019-04-02 2019-07-12 北京市商汤科技开发有限公司 神经网络训练与图像处理方法及装置
CN110796185A (zh) * 2019-10-17 2020-02-14 北京爱数智慧科技有限公司 一种图像标注结果的检测方法和装置
CN111078908A (zh) * 2019-11-28 2020-04-28 北京云聚智慧科技有限公司 一种数据标注的检测方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307958A1 (en) * 2013-04-16 2014-10-16 The Penn State Research Foundation Instance-weighted mixture modeling to enhance training collections for image annotation
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN108985293A (zh) * 2018-06-22 2018-12-11 深源恒际科技有限公司 一种基于深度学习的图像自动化标注方法及系统
CN109344864A (zh) * 2018-08-24 2019-02-15 北京陌上花科技有限公司 用于密集物体的图像处理方法及装置
CN110009090A (zh) * 2019-04-02 2019-07-12 北京市商汤科技开发有限公司 神经网络训练与图像处理方法及装置
CN110796185A (zh) * 2019-10-17 2020-02-14 北京爱数智慧科技有限公司 一种图像标注结果的检测方法和装置
CN111078908A (zh) * 2019-11-28 2020-04-28 北京云聚智慧科技有限公司 一种数据标注的检测方法和装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781665A (zh) * 2020-07-28 2021-12-10 北京沃东天骏信息技术有限公司 一种标注信息的审核方法和装置
CN112084876B (zh) * 2020-08-13 2024-05-03 宜通世纪科技股份有限公司 一种目标对象追踪方法、系统、装置及介质
CN112084876A (zh) * 2020-08-13 2020-12-15 宜通世纪科技股份有限公司 一种目标对象追踪方法、系统、装置及介质
CN111814759B (zh) * 2020-08-24 2020-12-18 腾讯科技（深圳）有限公司 人脸质量标签值的获取方法、装置、服务器及存储介质
CN111814759A (zh) * 2020-08-24 2020-10-23 腾讯科技（深圳）有限公司 人脸质量标签值的获取方法、装置、服务器及存储介质
CN112150448A (zh) * 2020-09-28 2020-12-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN112150448B (zh) * 2020-09-28 2023-09-26 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN112308046A (zh) * 2020-12-02 2021-02-02 龙马智芯（珠海横琴）科技有限公司 图像的文本区域定位方法、装置、服务器及可读存储介质
CN112529335A (zh) * 2020-12-25 2021-03-19 广州文远知行科技有限公司 一种模型检测方法、装置、设备和存储介质
CN112529335B (zh) * 2020-12-25 2021-12-31 广州文远知行科技有限公司 一种模型检测方法、装置、设备和存储介质
CN112418362B (zh) * 2021-01-25 2021-04-30 浙江啄云智能科技有限公司 一种目标检测训练样本筛选方法
CN112418362A (zh) * 2021-01-25 2021-02-26 浙江啄云智能科技有限公司 一种目标检测训练样本筛选方法
CN112884054A (zh) * 2021-03-03 2021-06-01 歌尔股份有限公司 一种目标标注方法和一种目标标注装置
CN112884054B (zh) * 2021-03-03 2022-12-09 歌尔股份有限公司 一种目标标注方法和一种目标标注装置
CN113095194A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 图像分类方法、装置、存储介质及电子设备
CN113095444B (zh) * 2021-06-07 2021-09-17 北京智芯微电子科技有限公司 图像标注方法、装置及存储介质
CN113095444A (zh) * 2021-06-07 2021-07-09 北京智芯微电子科技有限公司 图像标注方法、装置及存储介质
WO2023024442A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 检测方法、训练方法、装置、设备、存储介质和程序产品
CN113469158A (zh) * 2021-09-06 2021-10-01 智广海联(天津)大数据技术有限公司 基于卷积神经网络的非法危化品运输车辆识别方法及系统
CN115294505A (zh) * 2022-10-09 2022-11-04 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备
CN116977905A (zh) * 2023-09-22 2023-10-31 杭州爱芯元智科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN116977905B (zh) * 2023-09-22 2024-01-30 杭州爱芯元智科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111353555A (zh) 一种标注检测方法、装置及计算机可读存储介质
Chen et al. Scanrefer: 3d object localization in rgb-d scans using natural language
CN111046980B (zh) 一种图像检测方法、装置、设备及计算机可读存储介质
CN111291819A (zh) 图像识别方法、装置、电子设备及存储介质
CN111241989A (zh) 图像识别方法及装置、电子设备
CN110781919A (zh) 分类模型训练方法、分类方法、装置及设备
CN113762052A (zh) 视频封面提取方法、装置、设备及计算机可读存储介质
CN110929806B (zh) 基于人工智能的图片处理方法、装置及电子设备
CN111259112A (zh) 医疗事实的验证方法和装置
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN113822847A (zh) 基于人工智能的图像评分方法、装置、设备及存储介质
US20200202068A1 (en) Computing apparatus and information input method of the computing apparatus
CN115145568A (zh) 基于图像识别的代码生成方法以及相关设备
CN114818707A (zh) 一种基于知识图谱的自动驾驶决策方法和系统
CN114519397A (zh) 基于对比学习的实体链接模型的训练方法、装置、设备
CN117036834B (zh) 基于人工智能的数据分类方法、装置及电子设备
CN113822128A (zh) 交通要素识别方法、装置、设备及计算机可读存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
Yao Design and simulation of integrated education information teaching system based on fuzzy logic
CN112364912A (zh) 信息分类方法、装置、设备及存储介质
CN117523275A (zh) 基于人工智能的属性识别方法及属性识别模型训练方法
CN111898528A (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN113434722B (zh) 图像分类方法、装置、设备及计算机可读存储介质
CN115880702A (zh) 数据处理方法、装置、设备、程序产品及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024842

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20200630

RJ01 Rejection of invention patent application after publication