CN112990366B - 目标标注方法及装置 - Google Patents

Abstract

本发明提供了一种目标标注方法及装置，涉及计算机技术领域。包括获取待标注图像；以及基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注；并且当多个待标注目标中除第一目标以外，还包括第二目标时，生成针对第二目标的待标注提示信息，针对第二目标的待标注提示信息用于指示对第二目标采用第二标注规则进行标注。以此可以极大程度地提高标注效率，节省人力资源。

Description

目标标注方法及装置

技术领域

本发明涉及计算机技术领域，尤其是涉及一种目标标注方法及装置。

背景技术

目前针对目标的标注主要采用人工的标注方式，例如，AOI(Automatic OpticInspection)技术，即自动光学检测，指采用光学成像技术获取目标图像，并应用数字图像处理算法获取图像目标的尺寸、位置等信息，从而执行产品检验、装配和分类等任务。AOI检测的目标通常是分布规则、排列有序的，现有标注工具只能人工对这些规则目标进行标注，需要耗费大量人力、标注周期较长且易出现误标、漏标等问题，需要对标记好的目标进行严格筛查，才能送入网络训练模型。

发明内容

本发明的目的在于提供一种目标标注方法及装置，以缓解了现有技术中存在的标注效率低的技术问题。

第一方面，本发明提供一种目标标注方法，包括：

获取待标注图像，待标注图像中包括多个待标注目标；

基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注；

当多个待标注目标中除第一目标以外，还包括第二目标时，生成针对第二目标的待标注提示信息，针对第二目标的待标注提示信息用于指示对第二目标采用第二标注规则进行标注；

其中，第一标注规则的标注效率高于第二标注规则；且第一标注规则的覆盖率低于第二标注规则。

在可选的实施方式中，待标注目标为自动光学检测中的规则目标。

在可选的实施方式中，基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注，包括：

获取至少一个待标注目标模板以及目标匹配阈值；

基于待标注目标模板、目标匹配阈值在待标注图像中进行匹配，确定第一目标的标注信息，标注信息包括位置和大小。

在可选的实施方式中，基于待标注目标模板、目标匹配阈值在待标注图像中进行匹配，确定第一目标的标注信息，包括：

基于待标注图像和待标注目标模板，计算归一化相关系数；

基于目标匹配阈值对归一化相关系数进行二值化处理；

基于二值化的归一化相关系数确定最佳匹配点；

基于最佳匹配点的坐标确定第一目标的位置和大小。

在可选的实施方式中，基于待标注图像和待标注目标模板，计算归一化相关系数，包括：

基于如下公式计算归一化相关系数：

其中，待标注图像的大小为m1×n1，待标注目标模板为m2×n2，R(i,j) 为相关系数矩阵，i和j为子图左上角点在被搜索图上坐标，T是像素的光谱测度，i’和j’为像素索引，Sij为待标注目标模板覆盖被搜索的待标注图像的区域子图。

在可选的实施方式中，基于目标匹配阈值对归一化相关系数进行二值化处理，包括：

基于如下公式进行二值化处理：

其中，Th为目标匹配阈值。

在可选的实施方式中，当第一目标被标注完成时，均认为多个待标注目标中除第一目标以外，还包括第二目标。

第二方面，本发明提供一种目标标注装置，包括：

获取模块，用于获取待标注图像，待标注图像中包括多个待标注目标；

第一标注模块，用于基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注；

第二标注模块，用于当多个待标注目标中除第一目标以外，还包括第二目标时，生成针对第二目标的待标注提示信息，针对第二目标的待标注提示信息用于指示对第二目标采用第二标注规则进行标注；

其中，第一标注规则的标注效率高于第二标注规则；且第一标注规则的覆盖率低于第二标注规则。

在可选的实施方式中，待标注目标为自动光学检测中的规则目标。

在可选的实施方式中，第一标注模块具体用于：

获取至少一个待标注目标模板以及目标匹配阈值；

基于待标注目标模板、目标匹配阈值在待标注图像中进行匹配，确定第一目标的标注信息，标注信息包括位置和大小。

在可选的实施方式中，第一标注模块具体用于：

基于待标注图像和待标注目标模板，计算归一化相关系数；

基于目标匹配阈值对归一化相关系数进行二值化处理；

基于二值化的归一化相关系数确定最佳匹配点；

基于最佳匹配点的坐标确定第一目标的位置和大小。

在可选的实施方式中，第一标注模块具体用于：

基于如下公式计算归一化相关系数：

其中，待标注图像的大小为m1×n1，待标注目标模板为m2×n2，R(i,j) 为相关系数矩阵，i和j为子图左上角点在被搜索图上坐标，T是像素的光谱测度，i’和j’为像素索引，Sij为待标注目标模板覆盖被搜索的待标注图像的区域子图。

在可选的实施方式中，第一标注模块具体用于：

基于如下公式进行二值化处理：

其中，Th为目标匹配阈值。

在可选的实施方式中，当第一目标被标注完成时，均认为多个待标注目标中除第一目标以外，还包括第二目标。

第三方面，本发明提供一种电子设备，包括：处理装置以及存储装置；

存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如前述实施方式任一项的方法，以用于相机标定和/或目标标注。

第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述前述实施方式任一项的方法的步骤。

本发明提供的一种目标标注方法及装置。通过获取待标注图像；以及基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注；并且当多个待标注目标中除第一目标以外，还包括第二目标时，生成针对第二目标的待标注提示信息，针对第二目标的待标注提示信息用于指示对第二目标采用第二标注规则进行标注。以此可以极大程度地提高标注效率，节省人力资源。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是一种用于实现本发明实施例的目标标注方法的示例电子设备图；

图2是根据本发明实施例的一种目标标注方法的流程图；

图3是根据本发明实施例的一种目标标注装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

首先，参照图1来描述用于实现本发明实施例的目标标注方法的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106以及输出装置108，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。

处理设备102可以是中央处理单元(CPU)、图形处理单元（GPU）或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备100中的其它组件以执行期望的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

示例性地，用于实现根据本发明实施例的目标标注方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

根据本发明实施例，提供了一种目标标注方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种目标标注方法的流程图，如图2所示，该方法包括如下步骤：

S210，获取待标注图像，待标注图像中包括多个待标注目标；

该标注目标为自动光学检测中的规则目标。

S220，基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注；

其中，该第一标注规则可以包括多种实现方式。作为一个示例，获取至少一个待标注目标模板以及目标匹配阈值；基于待标注目标模板、目标匹配阈值在待标注图像中进行匹配，确定第一目标的标注信息，标注信息包括位置和大小。

作为另一个示例，可以预先训练标注模型，该训练好的标注模型作为第一标注规则，基于该训练好的标注模型进行标注。

S230，当多个待标注目标中除第一目标以外，还包括第二目标时，生成针对第二目标的待标注提示信息，针对第二目标的待标注提示信息用于指示对第二目标采用第二标注规则进行标注；

其中，第一标注规则的标注效率高于第二标注规则；且第一标注规则的覆盖率低于第二标注规则。

另外，当第一目标被标注完成时，均认为多个待标注目标中除第一目标以外，还包括第二目标。也可以是预先设定阈值，当第一目标的数量小于第一阈值时，确定多个待标注目标中除第一目标以外，还包括第二目标。

在一些实施例中，上述基于待标注目标模板、目标匹配阈值在待标注图像中进行匹配，确定第一目标的标注信息的步骤，具体可以通过如下步骤实现：

步骤1），基于待标注图像和待标注目标模板，计算归一化相关系数；

步骤2），基于目标匹配阈值对归一化相关系数进行二值化处理；

步骤3），基于二值化的归一化相关系数确定最佳匹配点；

步骤4），基于最佳匹配点的坐标确定第一目标的位置和大小。

在一些实施例中，上述步骤1）可以通过如下步骤实现：

基于如下公式（一）计算归一化相关系数：

公式（一）

其中，待标注图像的大小为m1×n1，待标注目标模板为m2×n2，R(i,j) 为相关系数矩阵，i和j为子图左上角点在被搜索图上坐标，T是像素的光谱测度，i’和j’为像素索引，Sij为待标注目标模板覆盖被搜索的待标注图像的区域子图。

在一些实施例中，上述步骤2），具体可以通过如下步骤实现：

基于如下公式（二）进行二值化处理：

公式（二）

其中，Th为目标匹配阈值。

本发明实施例通过获取待标注图像；以及基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注；并且当多个待标注目标中除第一目标以外，还包括第二目标时，生成针对第二目标的待标注提示信息，针对第二目标的待标注提示信息用于指示对第二目标采用第二标注规则进行标注。以此可以极大程度地提高标注效率，节省人力资源。

下面结合一个具体示例进行详细的介绍：

加载待标注图像，假定为8位灰度图I = {Ii| i=1, 2, …, N}，其中，i为像素索引，Ii是像素i的光谱测度，N为待标注像素总数，图像大小为m1×n1。框选图像模板T = {Tj| j=1, 2, …, M}，Tj是像素j的光谱测度，M为模板图像像素总数，图像大小为m2×n2。依据原图像和模板图像，计算归一化相关系数，假定模板覆盖被搜索图区域子图为Sij，用上述公式（一）衡量相关性。

对归一化相关系数矩阵进行二值处理，给定初始阈值Th=0.9，若匹配系数大于给定阈值，则置为1，否则，置为0，具体可以通过上述公式（二）来实现。

对相关系数矩阵中值为1的像素位置按照纵、横坐标进行排序，排序后遍历坐标，若相邻两点纵坐标差异小于给定阈值Th1(所有模板尺度最小值)，

其中，公式（三）中，yk和yk-1分别为相邻两点纵坐标，满足上式则认为这两点处于同一行，进行赋值操作，

而后再次按照纵、横坐标进行排序，此过程保证排序后相邻位置映射到图像上也处于相邻像素。取最终排序后，相邻坐标点横纵坐标差值均小于Th1的均值点作为该局部区域最佳匹配点，删除其余匹配点。

其中，xopt和yopt分别表示最佳匹配点的横、纵坐标,＃A表示满足条件的坐标点个数。进一步删除重复匹配点，对余下的坐标点位，按照横、纵坐标进行排序，遍历坐标，若相邻两点横坐标差异小于阈值Th1，

其中xk和xk-1分别为相邻两点纵坐标，满足上式则认为这两点处于同一列，进行赋值操作，

按照横、纵坐标进行排序，并依据式(五)计算最佳匹配点坐标。依据最佳匹配点坐标和模板尺寸，实现自动标注。

不同图像中待标注目标会有差异，若二值化阈值选取过于严格，则会遗漏标注目标，若过于松弛，则会出现大量重复标注和误标注现象。因此，根据图像中目标的标注质量适当调节阈值，使得绝大部分目标被标注的同时，防止误标。

针对异常数据，仍需要手动标注，调整图像尺度，根据目标位置框选区域并输入框选区域的名称。若后期需要修改，选中已标注框选区域，对其进行缩放、拉伸或平移操作用于修改框选区域位置和尺度，编辑框选区域类别名称用以修改标注类别，若不想保留框选区域，则进行删除操作。若图像中存在很多需要标注的重复目标，为保证尺度的一致性，可以复制选框并移动到合适位置，保证训练的模型回归效果更佳。

图3为本发明实施例提供的一种目标标注装置结构示意图。如图3所示，该装置可以包括：

获取模块301，用于获取待标注图像，待标注图像中包括多个待标注目标；

第一标注模块302，用于基于预先确定的第一标注规则，对多个待标注目标中的第一目标进行标注；

第二标注模块303，用于当多个待标注目标中除第一目标以外，还包括第二目标时，生成针对第二目标的待标注提示信息，针对第二目标的待标注提示信息用于指示对第二目标采用第二标注规则进行标注；

其中，第一标注规则的标注效率高于第二标注规则；且第一标注规则的覆盖率低于第二标注规则。

在一些实施例中，待标注目标为自动光学检测中的规则目标。

在一些实施例中，第一标注模块301具体用于：

获取至少一个待标注目标模板以及目标匹配阈值；

基于待标注目标模板、目标匹配阈值在待标注图像中进行匹配，确定第一目标的标注信息，标注信息包括位置和大小。

在一些实施例中，第一标注模块301具体用于：

基于待标注图像和待标注目标模板，计算归一化相关系数；

基于目标匹配阈值对归一化相关系数进行二值化处理；

基于二值化的归一化相关系数确定最佳匹配点；

基于最佳匹配点的坐标确定第一目标的位置和大小。

在一些实施例中，第一标注模块301具体用于：

基于如下公式计算归一化相关系数：

其中，待标注图像的大小为m1×n1，待标注目标模板为m2×n2，R(i,j) 为相关系数矩阵，i和j为子图左上角点在被搜索图上坐标，T是像素的光谱测度，i’和j’为像素索引，Sij为待标注目标模板覆盖被搜索的待标注图像的区域子图。

在一些实施例中，第一标注模块301具体用于：

基于如下公式进行二值化处理：

其中，Th为目标匹配阈值。

在一些实施例中，当第一目标被标注完成时，均认为多个待标注目标中除第一目标以外，还包括第二目标。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

进一步的，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的人脸识别方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种目标标注方法，其特征在于，包括：

获取待标注图像，所述待标注图像中包括多个待标注目标；

获取至少一个待标注目标模板以及目标匹配阈值；基于所述待标注图像和所述待标注目标模板，计算归一化相关系数；

基于所述目标匹配阈值对所述归一化相关系数进行二值化处理；

基于二值化的归一化相关系数确定最佳匹配点；

基于所述最佳匹配点的坐标确定第一目标的标注信息，所述标注信息包括位置和大小；

当所述多个待标注目标中除所述第一目标以外，还包括第二目标时，生成针对所述第二目标的待标注提示信息，所述针对所述第二目标的待标注提示信息用于指示对所述第二目标采用第二标注规则进行标注；

其中，基于所述最佳匹配点的坐标确定第一目标的标注信息的标注效率高于所述第二标注规则；且基于所述最佳匹配点的坐标确定第一目标的标注信息的覆盖率低于所述第二标注规则。

2.根据权利要求1所述的方法，其特征在于，所述待标注目标为自动光学检测中的规则目标。

3.根据权利要求1所述的方法，其特征在于，所述基于所述待标注图像和所述待标注目标模板，计算归一化相关系数，包括：

基于如下公式计算归一化相关系数：

其中，待标注图像的大小为m₁×n₁，待标注目标模板为m₂×n₂，R(i,j) 为相关系数矩阵，i和j为子图左上角点在被搜索图上坐标，i’和j’为像素索引，T是像素的光谱测度，s_ij为待标注目标模板覆盖被搜索的待标注图像的区域子图。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标匹配阈值对所述归一化相关系数进行二值化处理，包括：

基于如下公式进行二值化处理：

其中，Th为所述目标匹配阈值。

5.根据权利要求1所述的方法，其特征在于，当所述第一目标被标注完成时，均认为多个待标注目标中除所述第一目标以外，还包括第二目标。

6.一种目标标注装置，其特征在于，包括：

获取模块，用于获取待标注图像，所述待标注图像中包括多个待标注目标；

第一标注模块，用于获取至少一个待标注目标模板以及目标匹配阈值；基于所述待标注图像和所述待标注目标模板，计算归一化相关系数；基于所述目标匹配阈值对所述归一化相关系数进行二值化处理；基于二值化的归一化相关系数确定最佳匹配点；基于所述最佳匹配点的坐标确定第一目标的标注信息，所述标注信息包括位置和大小；

第二标注模块，用于当所述多个待标注目标中除所述第一目标以外，还包括第二目标时，生成针对所述第二目标的待标注提示信息，所述针对所述第二目标的待标注提示信息用于指示对所述第二目标采用第二标注规则进行标注；

其中，基于所述最佳匹配点的坐标确定第一目标的标注信息的标注效率高于所述第二标注规则；且基于所述最佳匹配点的坐标确定第一目标的标注信息的覆盖率低于所述第二标注规则。

7.一种电子设备，其特征在于，包括：处理设备以及存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至5任一项所述的方法，以用于相机标定和/或目标标注。

8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法的步骤。

Images