CN112036441A - 机器学习物体检测结果的反馈标注方法和装置、存储介质 - Google Patents

Abstract

本申请公开一种机器学习物体检测结果的反馈标注方法和装置，用以解决相关技术中缺乏对机器学习的物体检测结果进行反馈的问题。标注装置显示机器学习物体检测的当前帧结果图像数据，该图像数据中包括至少一个第一标注框和至少一个第二标注框，第一标注框是人工标注的标注框，第二标注框是机器学习执行物体检测标注的标注框；接收输入的标注框对比参数；其中，标注框对比参数包括具有相同标识的第一标注框与第二标注框是否重合、和第一标注框与第二标注框的重合比例；关联保存当前帧结果图像数据和接收到的标注框对比参数。

Description

机器学习物体检测结果的反馈标注方法和装置、存储介质

技术领域

本申请涉及数据标注领域，特别涉及一种机器学习物体检测结果的反馈标注方法和装置、存储介质。

背景技术

在相关技术中，通常会使用人工标注的图像数据作为训练数据提供给机器学习模块，机器学习模块以设定的参数对图像数据进行物体检测学习，在确定机器学习模块训练完成后，得到可执行物体检测的机器学习模块。训练完成的机器学习模块对输入的图像数据执行物体检测，输出结果图像数据。

机器学习模块输出的物体检测结果是否准确，通常由开发人员来识别和判断。在开发人员认为物体检测结果准确时，机器学习模块的训练工作可以完成。在开发人员认为物体检测结果不准确时，需要进一步训练机器学习模块。但是，每个开发人员对于是否准确的判断标准并不一样，并且每个开发人员的判断仅仅存在于开发人员的主观判断中，对于进一步训练机器学习模块没有客观可见的实质参考。可见，在相关技术中，对于机器学习输出的物体检测结果的正确性缺乏一种反馈机制。

发明内容

有鉴于此，本申请提供了一种机器学习物体检测结果的反馈标注方法和装置，用以解决相关技术中缺乏对机器学习的物体检测结果进行反馈的问题。

根据本申请实施例的一个方面，提供了一种机器学习物体检测结果的反馈标注方法，包括：标注装置显示机器学习物体检测的当前帧结果图像数据，该图像数据中包括至少一个第一标注框和至少一个第二标注框，第一标注框是人工标注的标注框，第二标注框是机器学习执行物体检测标注的标注框；接收输入的标注框对比参数；其中，标注框对比参数包括具有相同标识的第一标注框与第二标注框是否重合、和第一标注框与第二标注框的重合比例；关联保存当前帧结果图像数据和接收到的标注框对比参数。

根据本申请实施例的另一个方面，提供了一种机器学习物体检测结果的反馈标注装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行如上所述的机器学习物体检测结果的反馈标注方法。

根据本申请实施例的另一个方面，提供了一种非暂态易失性机器可读存储介质，该存储介质中存储至少一条机器可执行指令，机器执行至少一条机器可执行指令以执行如上所述的机器学习物体检测结果的反馈标注方法。

根据本申请实施例提供的技术方案，标注装置显示一帧机器学习输出的物体检测的结果图像数据，该图像数据中具有人工标注的第一标注框和机器学习标注的第二标注框是机器学习执行物体检测标注的标注框。标注装置进一步接收输入的标注框对比参数，对比参数包括第一标注框和第二标注框是否重合、以及第一标注框和第二标注框重合的比例，关联保存该帧结果图像数据和接收到的对比参数。保存的结果可以看作是机器学习模块实现物体检测功能的反馈数据，并且可以作为训练数据提供给机器学习模块，进一步训练机器学习模块。从而，本申请实施例提供的技术方案，能够解决相关技术中缺乏对机器学习的物体检测结果进行反馈的问题。

附图说明

附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。

图1为本申请实施例提供的机器学习物体检测结果的反馈标注装置的结构框图；

图2为本申请实施例提供的机器学习物体检测结果的反馈标注处理的架构示意图；

图3为本申请实施例提供的机器学习物体检测结果的反馈标注方法的处理流程图；

图4为本申请实施例提供的机器学习物体检测结果的反馈标注方法的另一种处理流程图；

图5为图3或图4中步骤303的处理流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在相关技术中，通常使用机器学习模块来对图像数据进行处理，实现物体识别等功能。机器学习模块需要根据真实数据进行学习，经过不断地训练，得到理想的物体识别功能。

真实数据通常是由摄像头获取到的图像数据，并且具有至少一个人工标注的标注框。标注框通常是标注员在物体边缘外侧添加的矩形框。通过标注框在图像数据中的位置坐标，可以得到物体在图像数据中的位置和尺寸大小。在特殊的应用场景中，标注框也可以具有其它形状。

研发人员将真实数据作为输入数据提供给机器学习模块，机器学习模块根据真实数据进行训练学习，输出机器学习结果，该学习结果中包括机器学习模块在真实数据中标注出的物体的标注框。研发人员判断机器学习结果不准确时，重新设置机器学习模块的参数，并使用真实数据重新训练机器学习模块。

在上述过程中，研发人员判断机器学习结果不准确重新训练机器学习模块时，该判断仅仅存在于开发人员的主观判断中，并没有一个客观可见的实质反馈，使得该反馈可以应用于进一步的训练。

本申请实施例针对这一问题，提供了一种机器学习物体检测结果的反馈标注方案。在该方案中，标注装置显示一帧机器学习输出的物体检测的结果图像数据，该图像数据中具有人工标注的第一标注框和机器学习标注的第二标注框是机器学习执行物体检测标注的标注框。标注装置进一步接收输入的标注框对比参数，对比参数包括第一标注框和第二标注框是否重合、以及第一标注框和第二标注框重合的比例，关联保存该帧结果图像数据和接收到的对比参数。保存的结果可以看作是机器学习模块实现物体检测功能的反馈数据，并且可以作为训练数据提供给机器学习模块，进一步训练机器学习模块。从而，本申请实施例提供的技术方案，能够解决相关技术中缺乏对机器学习的物体检测结果进行反馈的问题。

本申请的一些实施例提供了一种机器学习物体检测结果的反馈标注方案。图1示出了本申请实施例提供的标注装置的结构，该装置1包括处理器11和至少一个存储器12。

在一些实施例中，至少一个存储器12可以是多种形态的存储装置，例如暂态或非暂态的存储介质。在存储器12中可以存储至少一条机器可执行指令，至少一条机器可执行指令被处理器11执行后，实现本申请实施例提供的对机器学习物体检测结果的反馈标注的处理(以下简称为反馈标注)。

在一些实施例中，标注装置1可以位于服务器端。在另一些实施例中，标注装置1也可以位于云端服务器中。在另一些实施例中，标注装置1还可以位于客户端中。

如图2所示，本申请实施例提供的机器学习物体检测结果的反馈标注处理可以包括前端处理12和后端处理14。通过前端处理12显示相关的图像数据或其它数据，并接收标注员输入的相关数据或信息，例如，前端处理12可以是通过web页面实现的处理，或者是通过单独的应用界面实现的处理。后端处理14根据前端处理12接收到的相关数据和信息，进行相应的标注处理。在标注处理完成后，标注装置1可以进一步将标注结果提供给客户端、服务器、云端服务器上的其它处理或应用。

下面对标注装置1执行至少一条机器可执行指令实现的反馈标注处理进行说明。

在本申请的一些实施例中，可以对多帧机器学习物体检测的结果图像数据进行反馈标注。这多帧图像数据可以是相关联的数据，例如同一个摄像头获取的多帧图像数据，一个时间段内连续的多帧图像数据，对不同摄像头对同一个场景获取的多帧图像数据，相同的拍摄条件下相同或不同摄像头获取的多帧图像数据，同一个任务中获取的多帧图像数据。这多帧图像数据也可以是不关联的图像数据，例如不同摄像头在不同时间段、不同场景、不同任务、或者不同拍摄条件下获取的多帧图像数据。

标注装置对多帧图像数据中的每一帧图像数据都执行相同的操作。本申请实施例将以对一帧图像数据的处理为例进行说明反馈标注。

图3中示出了本申请实施例提供的机器学习物体检测结果的反馈标注方法的处理流程，也即标注装置执行的反馈标注的处理，包括：

步骤301、标注装置显示机器学习物体检测的当前帧结果图像数据，该图像数据中包括至少一个第一标注框和至少一个第二标注框，第一标注框是人工标注的标注框，第二标注框是机器学习执行物体检测标注的标注框；

步骤303、接收输入的标注框对比参数；其中，标注框对比参数包括具有相同标识的第一标注框与第二标注框是否重合、和第一标注框与第二标注框的重合比例；

步骤305、建立当前帧结果图像数据和接收的标注框对比参数的对应关系；

步骤307、关联保存建立的对应关系、当前帧结果图像数据和接收到的标注框对比参数。

通过图3所示的处理，标注装置能够向标注员显示一帧结果图像数据、并接收标注员输入的标注框对比参数，建立当前帧结果图像数据、标注框对比参数的对应关系，并关联保存建立的对应关系、当前帧结果图像数据以及标注框对比参数；由于标注框对比参数体现了机器学习的标注框与人工标注的标注框的对比情况，该对比情况能够体现机器学习模块学习到的物体检测的能力程度，将记录该对比情况的数据作为机器学习模块进一步训练的输入数据，能够为机器学习模块提供可靠和有效的训练数据基础。

虽然本申请中以标注员为例对标准装置和人类互动的情况进行了说明，本领域的普通技术人员可以理解的是，在本申请实施例中与标注装置互动的还可以是机器学习模块的研发人员、标注装置的开发人员等等的人类。

本申请的另一些实施例还提供了一种机器学习物体检测结果的反馈标注方法的处理流程，如图4所示，该处理流程包括：

步骤301a、标注装置显示机器学习物体检测的当前帧结果图像数据，该图像数据中包括至少一个第一标注框和至少一个第二标注框，第一标注框是人工标注的标注框，第二标注框是机器学习执行物体检测标注的标注框；

步骤301b、根据预存的同场景的图像数据与3D点云数据的对应关系，显示与当前帧结果图像数据对应的3D点云数据；

步骤303、接收输入的标注框对比参数；其中，标注框对比参数包括具有相同标识的第一标注框与第二标注框是否重合、和第一标注框与第二标注框的重合比例；

步骤305、关联保存建立的对应关系、当前帧结果图像数据和接收到的标注框对比参数。

在图3所示处理的基础上，图4所示的处理在显示当前帧结果图像数据的基础上，还进一步显示同一场景的对应的3D点云数据，通过进一步显示对应的3D点云数据，能够为标注员观察和识别物体提供参考，使得标注员能够更加准确地对第一标注框和第二标注框进行对比和判断，提供更加准确的标注框对比参数，为机器学习模块提供更为准确的训练数据。

在步骤301和步骤301a中，标注装置显示当前帧结果图像数据，如上所述，可以是通过人机界面来显示的。同理，在步骤301b中，标注装置显示3D点云数据也可以是通过人机界面来显示的。

在步骤301b中，在标注装置显示3D点云数据时，可以根据指定的显示方向显示3D点云数据。指定的显示方向可以是预设的显示方向，也可以是标注员输入的显示方向。例如，在一些实施例中，在标注装置读取了一帧3D点云数据后，可以根据预设的显示方向来显示该帧3D点云数据。又例如，在一些实施例中，在标注员需要仔细观察该3D点云数据表达的场景或物体时，可以选择并输入所需的显示方向，标注装置接收输入的显示方向，并相应地根据接收到的显示方向来显示3D点云数据，以便于标注员进行观察和识别。

在步骤303中，标注装置接收标注员输入的标注框对比参数，可以通过多种方式接收。

接收方式一、如图5所示，标注装置通过预设的选项接收标注员输入的对比参数。

步骤3031a、标注装置显示标注框对比参数中每个参数包括的选项；选项包括预设下拉菜单、预设按钮，每个下拉菜单或者每个按钮对应预设值；

步骤3033a、接收输入的标注框对比参数包括的每个选项的值。

例如，标注装置可以在人机界面上提供并显示一些下拉菜单，下拉菜单中还可以包括子菜单，菜单或者子菜单中包括至少一个选项，每个选项对应一个预设的值；或者标注装置在人机界面上提供并显示一些按钮或按键，每个按钮或按键对应一个预设的值。标注员通过选择菜单或者子菜单中的选项，或者选择按钮或按键，标注装置根据被选择的选项或者按键、按钮，确定得到对应的标注框对比参数中每个参数的值。

接收方式二、标注装置在人机界面上提供与标注框对比参数中的每个参数对应的输入框，标注员在相应的输入框中输入参数的值，标注装置通过输入框接收得到对应的标注框对比参数中每个参数的值。

通过上述接收方式，标注装置能够接收到标注框对比参数。标注框对比参数包括具有相同标识的第一标注框与第二标注框是否重合、以及第一标注框与第二标注框的重合比例。通过第一标注框和第二标注框是否重合，能够确定机器学习模块执行物体检测是否检测到了正确的物体。通过第一标注框与第二标注框的重合比例，能够确定机器学习模块执行物体检测的准确程度。

在一些实施例中，标注框对比参数还可以包括“无法确定”选项。在比较复杂的环境中，相似物体的数量较多、场景中存在遮蔽、由于天气等原因影响图像质量的情况下，标注员可能无法确定具有相同标识的第一标注框和第二标注框是否是同一个物体，这时标注员可以选择“无法确定”选项。“无法确定”选项也能够体现出机器学习的能力程度。

在上述步骤305中，标注装置关联保存当前帧结果图像数据和接收到的标注框对比参数，在一些实施例中，可以建立当前帧结果图像数据和接收到的标注框对比参数的对应关系，将该对应关系保存为一个单独的文件，在该文件中记录当前帧结果图像数据的标识和接收到的标注框对比参数，并将建立的对应关系、当前帧结果图像数据、标注框对比参数进行关联保存；在一些实施例中，还可以将标注框对比参数作为当前帧图像数据的属性数据，记录在当前帧结果图像数据已有的属性数据文件中，并将当前帧结果图像数据和属性文件进行关联保存。

通过上述处理，本申请实施例提供的方法能够获得机器学习物体检测的结果数据的标注框对比参数，标注框对比参数体现了机器学习的标注框与人工标注的标注框的对比情况，该对比情况能够体现机器学习模块学习到的物体检测的能力程度，将记录该对比情况的数据作为机器学习模块进一步训练的输入数据，能够为机器学习模块提供可靠和有效的训练数据基础。从而，本申请实施例能够解决相关技术中缺乏对机器学习的物体检测结果进行反馈的问题。

本申请中描述的实质内容以及功能性操作的实施方式，能够通过多种系统、数字电子电路、或者计算机软件、固件或者硬件来实现，这些实施方式包括说明书中公开的结构以及等同结构，或者这些结构的结合。说明书中描述的实质内容的实施方式，能够被实施为一个或者多个计算机程序产品，例如，计算机程序指令的一个或多个模块，该计算机程序指令被编码存储在一个有形且非易失性的计算机可读介质中，该计算机程序指令可被数据处理装置执行，或者用于控制数据处理装置的操作。该计算机可读介质可以是一个机器可读存储装置、机器可读存储基板、存储设备、能够影响机器可读传播信号的组合物、或者这些物质的组合。术语“数据处理单元”或者“数据处理装置”包括用于处理数据的所有装置、设备以及机器，示例性地包括可编程处理器、计算机、或者多处理器、多计算机。除硬件之外，这些装置可以包括为所讨论的计算机程序建立一个可执行环境的代码，例如，构成处理器防火墙、协议栈、数据库管理系统、操作系统的代码，或者这些代码的组合。

计算机程序(也被称为程序、软件、软件应用、脚本或者代码)可以通过任何一种编程语言来编写，包括编译或翻译语音；并且可以被以任何形式来部署，包括一个独立的程序或者一个模块、构件、子用例、或者其它适于计算环境的单元。一个计算机程序不必对应于一个文件系统中的一个文件。一个程序能够被存储在一个文件中的一部分，该文件还存储有其他的程序或者数据(例如，存储在一个标记语言文档中的一个或多个脚本)，或者该程序被存储在一个专门针对于所讨论的程序的单独的文件中，或者被存储在一个相互协同的文件中(例如，存储有一个或多个模块、子程序或者代码部分的多个文件)。一个计算机程序可以被部署为被一个或多个计算机执行，这些计算机位于一个地址、或者分布在多个地址，并且通过一个通信网络进行互连。

本说明书描述的处理或者逻辑图可以被一个或者多个可编程处理器执行，以执行一个或多个计算机程序，并根据输入数据进行处理生成输出结果。处理或者逻辑图可以被专用逻辑电路执行，并且多种设备也可以被实现为专用逻辑电路，例如现场可编程门阵列(Field programmable gate array，FPGA)、或者专用集成电路(Application Specificintegrated circuit，ASIC)。

用于执行计算机程序的处理器，示例性地包括通用微处理器和专用微处理器，以及任何种类的数字计算机中的任何一种或者多种处理器。通常，一个处理器会从一个只读存储器和/或一个随机接入存储器中接收指令和数据。一个计算机的基本单元包括一个处理器以及一个或多个存储装置，处理器用于执行指令，存储装置用于存储指令和数据。通常，一个计算机还包括或者操作性地耦合到一个或多个大型存储设备，以接收数据和/或发送数据，该大型存储设备包括磁盘、磁光盘或者光盘。但是，一个计算机不是必须包括这些设备。用于存储指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质以及存储设备，示例性地包括半导体存储设备，例如EPROM、EEPROM以及闪存设备。处理器和存储器可以被专用逻辑电路所替代，或者结合到专用逻辑电路中。

虽然本申请文件包括了多种实施方式，但是这些实施方式不用于解释为本申请的保护范围的限定，只是特征的描述，这些特征可以被实施到特定发明的特定实施例中。本申请中独立的实施例中描述的一些特征也可以被结合实施到一个单独的实施例中。在一个单独的实施例中描述的多个特征也可被分别实施到多个实施例中，或者实施到任何适合的更细一步的结合中。并且，虽然上述在一个特定的组合中描述一些特征，也可以将所要求的一个或者多个组合中去掉一个或多个特征，所要求的组合可以被进一步地组合或者对进一步组合进行变形。

相类似地，虽然在附图中以一定的顺序描述了多种操作，但是不应被理解为必须要以这样的顺序来执行这些操作，以达到理想的结果。并且，实施例中多种系统构件的拆分也不应被理解为在所有的实施例中都需要这样的拆分。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种机器学习物体检测结果的反馈标注方法，其特征在于，包括：

标注装置显示机器学习物体检测的当前帧结果图像数据，该图像数据中包括至少一个第一标注框和至少一个第二标注框，第一标注框是人工标注的标注框，第二标注框是机器学习执行物体检测标注的标注框；

接收输入的标注框对比参数；其中，标注框对比参数包括具有相同标识的第一标注框与第二标注框是否重合、和第一标注框与第二标注框的重合比例；

关联保存当前帧结果图像数据和接收到的标注框对比参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预存的同场景的图像数据与3D点云数据的对应关系，显示与当前帧结果图像数据对应的3D点云数据。

3.根据权利要求2所述的方法，其特征在于，显示与当前帧结果图像数据对应的3D点云数据，包括：

根据预设的显示方向显示3D点云数据；或者

接收输入的显示方向，根据接收到的显示方向显示3D点云数据。

4.根据权利要求1所述的方法，其特征在于，接收输入的标注框对比参数，包括：

显示标注框对比参数中每个参数包括的选项；选项包括预设下拉菜单、预设按钮，每个下拉菜单或者每个按钮对应预设值；

接收通过下拉菜单或者按钮输入的标注框对比参数包括的每个选项的值。

5.根据权利要求1所述的方法，其特征在于，接收输入的标注框对比参数，包括：

显示标注框对比参数中每个参数的输入框；

接收通过输入框输入的标注框对比参数中每个参数的值。

6.根据权利要求1所述的方法，其特征在于，标注框对比参数还包括：不可确定。

7.根据权利要求1所述的方法，其特征在于，关联保存当前帧结果图像数据和接收到的标注框对比参数，包括：

建立当前帧结果图像数据和接收到的标注框对比参数的对应关系；

关联保存建立的对应关系、当前帧结果图像数据、标注框对比参数。

8.根据权利要求1所述的方法，其特征在于，关联保存当前帧结果图像数据和接收到的标注框对比参数，包括：

将标注框对比参数保存在当前帧结果图像数据已有的属性数据文件中；其中，当前帧结果图像数据和属性数据文件是关联保存的。

9.一种机器学习物体检测结果的反馈标注装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行如权利要求1～8中任一项所述的方法。

10.一种非暂态易失性机器可读存储介质，其特征在于，该存储介质中存储至少一条机器可执行指令，机器执行至少一条机器可执行指令以执行权利要求1～10中任一条所述的方法。

Images