CN106650705A - 区域标注方法、装置和电子设备 - Google Patents

Abstract

公开了一种区域标注方法、装置和电子设备。所述方法包括：在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；以及根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。因此，能够自动地标注行驶环境中目标物体的目标区域，提高了区域标注的效率。

Description

区域标注方法、装置和电子设备

技术领域

本申请涉及图像处理领域，且更具体地，涉及一种区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质。

背景技术

物体检测是指利用计算机分析通过成像器件获取的视频图像，以完成目标物体的检测和分类识别等操作。例如，希望诸如车辆之类的交通工具在行驶过程中能够不断检测和识别周围的车辆、行人等物体。这样，可以及时帮助或提醒驾驶人员改变驾驶策略，从而减少交通事故。

目前最常使用的是基于机器学习模型的检测方式。为了保证机器学习模型的准确性，需要预先采用大量的行驶环境的图像信息作为训练样本来对该模型进行离线训练。在行驶环境中往往存在诸如交通工具、行人等各种目标物体，在离线训练之前需要在训练样本中将这些目标区域区分并标注出来。目前，训练样本中目标区域的标注主要依赖于用户手工完成，也就是说，用户需要在大量图像信息中手动地找到各种目标物体个体，并对每个个体的大小、位置等进行标注。由于训练样本库一般需要达到几十万的规模，所以采用这种手动标注方式非常耗时，人力成本非常高，且不具扩展性。

因此，现有的区域标注技术是效率低下的。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其能够自动地在行驶环境中标注目标物体的目标区域。

根据本申请的一个方面，提供了一种区域标注方法，包括：在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；以及根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。

根据本申请的另一方面，提供了一种区域标注装置，包括：图像获取单元，用于在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；位置获取单元，用于获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；以及区域标注单元，用于根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的区域标注方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的区域标注方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的区域标注方法。

与现有技术相比，采用根据本申请实施例的区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质，可以在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；并且根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。因此，与如现有技术中对目标区域进行人工标注的情况相比，可以自动地标注行驶环境中目标物体的目标区域，提高了区域标注的效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的区域标注方法的流程图。

图2图示了根据本申请实施例的行驶环境的示例应用场景的示意图。

图3图示了根据本申请实施例的由成像器件所采集的行驶环境的图像信息的示意图。

图4图示了根据本申请实施例的获取目标位置信息步骤的流程图。

图5图示了根据本申请实施例的第一示例的标注目标区域步骤的流程图。

图6图示了根据本申请实施例的第二示例的标注目标区域步骤的流程图。

图7图示了根据本申请实施例的目标区域标识结果的示意图。

图8图示了根据本申请实施例的区域标注装置的框图。

图9图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，在现有技术中，训练样本中目标区域的标注主要依赖于用户手工完成，因此存在操作复杂且效率低的问题。

具体来说，现有的目标区域标注方法需要用户基于人眼识别来寻找图像信息中的各种目标物体个体，并使用鼠标圈选的方式对每个个体的大小、位置等进行标注。在通常情况下，这种目标物体标注方法是简单且有效的。然而，用于对机器学习模型进行离线训练的样本库往往包括大量的图像信息，如果每一幅图像都需要用户人眼分辨、手动标识，则必定耗时耗力，且由于人工操作可能出现漏标或错标，因此，现有的目标区域标注可能不够准确，从而导致后续的机器学习结果产生错误。

针对该技术问题，本申请的基本构思是提出一种新的区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其可以在标注过程中，通过结合成像器件设置在其上的当前物体的当前位置信息和目标物体的目标位置信息、以及成像器件的参数信息，自动在成像器件所采集的图像信息中将目标物体的目标区域标注出来，无需用户手工操作，从而降低了标注成本、提高了标注速度。

本申请的实施例可以应用于各种场景。例如，本申请的实施例可以用于对交通工具所处的行驶环境中目标物体的目标区域进行标注。例如，该交通工具可以是不同的类型，其可以是车辆、飞行器、航天器、水中运载工具等。下面，将以车辆作为交通工具的示例来继续描述。

需要说明的是，尽管在本文中以交通工具为例对本申请的实施例进行了说明，但是本申请不限于此。本申请的实施例同样可以应用于诸如对可移动机器人、固定监控摄像头等各种在线电子设备所处的行驶环境中目标物体的目标区域进行标注。

示例性方法

图1图示了根据本申请实施例的区域标注方法的流程图。

如图1所示，根据本申请实施例的区域标注方法可以包括：

在步骤S110中，在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息。

为了保证机器学习模型的准确性，需要生成大量的其中标注有目标物体所占据的目标区域的行驶环境的图像信息作为训练样本，用于预先对该模型进行离线训练。

为此，首先，可以通过装备于当前物体的固定位置上的一个或多个成像器件来采集该当前物体所处的行驶环境的图像信息。在该行驶环境中，除了存在当前物体之外，还可能存在一个或多个目标物体。

例如，该成像器件可以是用于捕捉图像信息的图像传感器，其可以是摄像头或摄像头阵列。例如，图像传感器所采集到的图像信息可以是连续图像帧序列(即，视频流)或离散图像帧序列(即，在预定采样时间点采样到的图像数据组)等。例如，该摄像头可以是如单目相机、双目相机、多目相机等，另外，其可以用于捕捉灰度图，也可以捕捉带有颜色信息的彩色图。当然，本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请，本申请对其捕捉图像的方式没有特别限制，只要能够获得输入图像的灰度或颜色信息即可。为了减小后续操作中的计算量，在一个实施例中，可以在进行分析和处理之前，将彩色图进行灰度化处理。

这样，通过该当前物体在行驶环境中不断移动，可以经由成像器件来采集包括目标物体的行驶环境的大量图像信息。下面，为了便于理解，将以车辆在道路路面中行驶作为示例应用场景来对本申请的实施例进行详细描述。

图2图示了根据本申请实施例的行驶环境的示例应用场景的示意图。

如图2所示，该行驶环境是适于车辆行驶的道路路面。在该道路路面上存在作为当前物体的当前车辆V0，其上装备有成像器件(例如，摄像头)。此外，在该道路路面上还存在多个目标车辆(位于该当前车辆V0不同方位处的3个目标车辆V1-V3)。

例如，该当前车辆V0可以是其上装备有摄像头的一数据采集车辆，数据采集车辆在道路路面中移动，以不断采集该道路路面及其上目标车辆的图像信息。在实践中，这样的道路路面通常可以在一个封闭的环境内获得，例如自动驾驶示范园。当然，在满足本申请中公开的各种要求的情况下，该道路路面也可以是向公众开放的实际路面。另外，尽管这里仅仅以车辆作为目标物体的示例进行描述，但是，本申请不限于此。例如，目标物体也可以为以下各项中的至少一个：行人、动物、警示牌、信号灯、和隔离墩等，只要能够获取到与其相关的位置信息等信息即可。

然后，可以获取所述成像器件所采集的当前物体所处的行驶环境的图像信息，以用于后续处理。

图3图示了根据本申请实施例的由成像器件所采集的行驶环境的图像信息的示意图。

如图3所示，可以获取该当前车辆V0上的摄像头采集到的其行驶方向中的道路路面的图像信息。在摄像头采集到的图像中，包括位于该当前车辆V0左前方的目标车辆目标车辆V1、正前方的目标车辆V2、和右前方的目标车辆V3。当前车辆V0并未出现在该幅图像中，这是因为它是本车，不在自身成像器件的视线内。

需要说明的是，尽管这里以摄像头采集当前车辆V0的行驶方向中的图像信息为例进行说明，但是，本申请不限于此。相反地，摄像头也可以通过不同的成像角度和设置来采集其他方向中的图像信息。例如，行驶方向的相反方向中的图像信息、与行驶方向呈一定夹角方向中的图像信息、乃至360度全向的图像信息等。

在步骤S120中，获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步。

在获取成像器件所采集的行驶环境的图像信息之前、之后、或与之同时地，可以另外地获取目标物体的目标位置信息。

图4图示了根据本申请实施例的获取目标位置信息步骤的流程图。

如图4所示，步骤S120可以包括：

在子步骤S121中，确定所述成像器件采集所述图像信息的采集时间。

例如，图像信息中可以包括含有采集时间之类的各种属性信息。通过该属性信息即可确定出所述图像信息的采集时间。

在子步骤S122中，获取所述目标物体在所述采集时间的目标位置信息。

例如，可以直接从所述目标物体接收实时通信信息，所述实时通信信息包括所述目标位置信息。

为此，可以使得在整个行驶环境中的所有车辆都具备如下能力：1、定位能力，例如，每个车辆可以使用全球定位系统(GPS)、惯性测量单元(IMU)等手段来对自身进行实时定位，使其可以在任何时刻都确认自己的位置；2、通信能力，用于向外界传输自己的实时位置信息，例如，该通讯能力可以通过车联网(V2X)技术(具体地，专用短程通信系统DSRC或用于车辆的长期演进LTE-V等)来实现，也可以通过移动通信(例如，4G等)、电子车牌或者任何其它手段来实现。显然，在目标为行人、动物、信号灯等其他物体的情况下，可以通过各种可能的移动终端(诸如，手机、信标发生器等)来使其具备上述能力。

更进一步地，为了提高后续定位的准确性，所述实时通信信息还可以包括以下各项中的至少一个：所述目标物体的标识信息、颜色信息、号牌信息、尺寸信息、型号信息、参考点位置信息、和时间戳信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置。

其中，所述标识信息指示出所述目标物体的身份，用于在行驶环境中存在多个目标物体时进行彼此区分；所述颜色信息指示出所述目标物体的外围轮廓的颜色；所述号牌信息指示出所述目标物体的牌照号码，也可以用于确定其身份使用；所述尺寸信息指示出所述目标物体的外围尺寸；所述参考点位置信息指示出所述目标物体的定位器件(例如，GPS、IMU等)安装在所述目标物体的哪个位置上；而所述时间戳信息指示出所述目标物体在向外单播、组播或广播自身的目标位置信息时的时间点。优选地，在整个行驶环境中的当前物体和各个目标物体具有已同步校准、或能够被同步校准的时钟信号。

因为在道路路面上行驶的每一辆车都有对外界报告自己位置的能力，所以我们可以获得每一辆车的一个一元组或多元组，将其作为一个车辆信息单元。例如，该车辆信息单元可以包括车辆的标识信息、位置信息、和时间戳信息、以及可选的其他信息。具体地，该车辆信息单元可以是具有以下形式的多元组(Vn,T,Pn)，其中Vn代表车辆n本身的编号，是唯一的；T代表某个具体的时间点；Pn代表车辆n在时间T时的位置，在绝对坐标的情况下，例如Pn可以包括纬度坐标和经度坐标，在相对驾驶园区内某一基准远点的相对坐标的情况下，Pn也可以包括横坐标和纵坐标，当然在三维场景下，还可以进一步包括海拔坐标或高度坐标。

由此，可以根据各个车辆发送的该多元组中的时间戳信息T来可确定出在与图像信息的采集时间相同时间点上采集的目标位置信息Pn。

替换地，除了直接从所述目标物体接收目标位置信息之外，还可以通过其他手段来获得该目标位置信息。例如，还可以从单独的定位系统中获取所述目标物体的目标位置信息。在一个示例中，可以通过卫星系统来实时定位各个目标物体的位置及其颜色、型号等信息。或者，在每个车辆与地面的基站设备进行通信的过程中，各个车辆可以向多个基站设备发送用于定位的信标数据，使得能够根据所述多个基站设备各自所接收到的信标数据的信号参数、以及所述多个基站设备的位置数据来确定所述车辆在运动时的实时位置数据。这样，也可以将目标物体的目标位置信息等各种信息与图像信息进行同步处理，以用于在图像信息中对目标物体的目标区域进行标识。

在步骤S130中，根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。

在获得时间同步的图像信息和目标位置信息之后，可以通过各种方法来将两者结合以检测所述行驶环境中的目标物体及其区域。

图5图示了根据本申请实施例的第一示例的标注目标区域步骤的流程图。

如图5所示，在第一示例中，步骤S130可以包括：

在子步骤S131中，获取所述当前物体的当前位置信息，所述当前位置信息与所述图像信息在时间上同步。

与步骤S120中类似地，也可以直接从所述当前物体或其他定位系统接收在与图像信息的采集时间相同时间点上采集的当前物体的当前位置信息P0。

在子步骤S132中，根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息。

在子步骤S133中，根据所述相对位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标区域。

在目标位置信息和当前位置信息是由目标车辆和当前车辆的定位器件所生成的情况下，该位置信息实际上可能仅仅是一个位置点信息，其代表定位器件所在的位置点，而非车辆的一个整体区域。在使用定位系统的情况下，该位置信息也同样可能仅仅是车辆的一个参考点(例如，中心或重心)所在的位置点。

在一个简单的示例中，可以直接根据该点位置信息来执行标注操作。

首先，在子步骤S132中，可以根据所述目标位置信息和所述当前位置信息来确定所述目标物体的参考点与所述当前物体的参考点之间的点相对位置信息，所述目标物体的参考点是所述目标位置信息所确定的在所述目标物体的整体空间中的点，而所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点。

例如，该参考点可以是在使用定位器件(GPS模块)对车辆进行定位时该定位器件所在的位置点，也可以是在使用定位系统进行定位时该车辆的一个参考点。

例如，可以通过以下公式来计算该点相对位置信息：

其中，假设Ph0为当前车辆V0的横坐标或纬度坐标；Phn为目标车辆Vn的横坐标或纬度坐标；Pl0为当前车辆V0的纵坐标或经度坐标；Pln为目标车辆Vn的纵坐标或经度坐标。由此，通过上述公式可以计算出目标车辆Vn与当前车辆V0之间的相对位置代表目标车辆Vn相对于当前车辆V0的横坐标或纬度坐标；代表目标车辆Vn相对于当前车辆V0的纵坐标或经度坐标。也就是说，某一目标车辆的点绝对位置减去当前车辆的点绝对位置，就可以得出两者之间的一个点相对位置。

然后，在子步骤S133中，可以根据所述点相对位置信息和所述成像器件的参数信息来确定所述目标物体的参考点在所述图像信息中的位置点；以及在所述图像信息中标注所述位置点，作为所述目标区域。

例如，一旦确定出目标车辆的定位器件与当前车辆的定位器件在世界坐标系下的点相对位置，就可以根据摄像头的参数矩阵，将其转换为图像坐标系中的一个或多个像素点位置。在摄像头的参数确定的情况下，再考虑一些补偿因素，比如车身当时的俯仰角，车头朝向等等，就可以确定与之对应的像素点。由此，在图像中对该像素点进行圈选，以对目标车辆的目标区域进行标注。

更进一步地，由于已知车辆与本车之间的距离，可以根据该距离在经验上适当地对圈选区域进行放大，以尽可能接近实际情况地全选到目标车辆所占据的整个目标区域。

由于不同型号的车辆可能尺寸相差较大，为了更加准确，还可以根据从目标车辆接收到的尺寸信息、型号信息来更加准确地对圈选区域进行放大。此外，由于一个车辆的轮廓颜色基本一致，所以还可以以转换得到的一个或多个像素点位置为中心，对具有相同颜色的区域进行圈选，作为目标区域。

替换地，除了使用点位置信息之外，还可以使用从目标车辆获得的其他信息来计算一个目标车辆整体空间的区域位置信息，用于执行标注操作。

首先，在子步骤S132中，可以根据所述目标物体的尺寸信息、参考点位置信息、和所述目标位置信息、以及所述当前位置信息来确定所述目标物体的整体空间与所述当前物体的参考点之间的区域相对位置信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置，所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点。

例如，在从目标车辆Vn接收到参考点位置信息(例如，指示出其定位器件安装在目标车辆Vn上的哪个位置)的情况下，可以进一步结合该目标车辆的尺寸信息，从而计算得到该目标车辆的整体空间的外围轮廓的绝对位置信息。例如，该目标车辆的尺寸信息可以是从目标车辆直接接收的，也可以是根据从目标车辆接收到的型号信息而确定的。

在已知该目标车辆的整体空间各个点的绝对位置信息之后，可以通过上面相同的公式来计算出目标车辆的整体空间与当前车辆的参考点之间的区域绝对位置。

然后，在子步骤S133中，根据所述区域相对位置信息和所述成像器件的参数信息来确定所述目标物体的整体空间在所述图像信息中的位置区域；以及在所述图像信息中标注所述位置区域，作为所述目标区域。

例如，一旦确定出目标车辆的整体空间与当前车辆的定位器件在世界坐标系下的区域相对位置，就可以根据摄像头的参数矩阵，将其转换为图像坐标系中的像素区域位置。由此，在图像中对该像素区域进行圈选，以对目标车辆的目标区域进行标注。

在该第一示例中，首先计算目标车辆与当前车辆在世界坐标系下的相对位置，然后根据成像器件的参数信息将它转换到图像坐标系中，以在图像中对目标车辆的目标区域进行标注。然而，本申请不限于此。例如，在第二示例中，也可以首先根据成像器件的参数信息将图像中各个像素转换到世界坐标系中，再计算目标车辆与当前车辆在世界坐标系下的相对位置，从而确定该图像中与目标车辆相关联的所有像素。

图6图示了根据本申请实施例的第二示例的标注目标区域步骤的流程图。

如图6所示，在第二示例中，步骤S130可以包括：

在子步骤S134中，根据所述成像器件的参数信息来确定所述图像信息中每个像素相对于所述当前物体的相对位置关系。

例如，可以首先对在步骤S110中获取的图像信息进行预处理。简单来讲，就是确定其每一个像素对应于当前车辆的相对位置。首先，确定各个像素在图像坐标系下的像素位置，然后，根据转换矩阵，计算各个像素点在世界坐标系下相对于当前车辆的相对位置关系。在摄像头的参数确定的情况下，再考虑一些补偿因素，比如车身当时的俯仰角，车头朝向等等，就可以确定每一个像素的相对位置。

在子步骤S135中，获取所述当前物体的当前位置信息，所述当前位置信息与所述图像信息在时间上同步。

在子步骤S136中，根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息。

在子步骤S137中，根据所述相对位置关系和相对位置信息来在所述图像信息中标注所述目标区域。

第二示例中的步骤S135和S136与第一示例中的步骤S131和S132基本相同，由此省略其详细描述。

在步骤S137中，与第一示例中的步骤S133相似地，例如，一旦在步骤S136中确定出目标车辆的参考点(例如，定位器件)与当前车辆的参考点(例如，定位器件)在世界坐标系下的点相对位置，就可以根据在步骤S134中预先计算得到的各个像素点在世界坐标系下相对于当前车辆的相对位置关系来确定出图像中的哪一个或多个像素点对应于目标车辆的参考点。由此，在图像中对该像素点进行圈选，以对目标车辆的目标区域进行标注。

当然，后续也可以根据各种其他参数对圈选区域进行适当放大，以尽可能接近实际情况地全选到目标车辆所占据的整个目标区域。

替换地，一旦在步骤S136中确定出目标车辆的整体空间与当前车辆的参考点在世界坐标系下的区域绝对位置，就可以根据在步骤S134中预先计算得到的各个像素点在世界坐标系下相对于当前车辆的相对位置关系来确定出图像中的哪个像素区域对应于目标车辆的目标区域。

接下来，可选地，在步骤S140中，基于其中标注有所述目标区域的图像信息来生成所述训练样本。

例如，可以将图像信息和相关联的标注信息打包在一起，以生成训练样本，以供机器学习模型的后续训练使用。

在上述的实施例中，可以在标注过程中，通过结合成像器件设置在其上的当前物体的当前位置信息和目标物体的目标位置信息、以及成像器件的参数信息，自动在成像器件所采集的图像信息中将目标物体的目标区域标注出来。然而，为了实现辅助驾驶等目的，不但希望将目标区域标注出来，而且还希望将整个行驶环境中的可行驶区域都标注出来，并且基于上述标注结果来生成用于机器学习模型的训练样本。

因此，在一个实施例中，在步骤S140之前，还可以包括：确定所述行驶环境的环境边界；根据所述环境边界和所述目标区域来标注所述行驶环境上的可行驶区域。

例如，可以由用户基于人眼来识别寻找到的道路路面的边界位置信息，其可以包括图像上的坐标输入或圈选输入等。然后，可以根据用户输入的边界位置信息来在图像信息中标注出所述道路路面的路面边界。例如，所述路面边界可以为以下各项中的至少一个：路沿、隔离带、绿化带、护栏、车道线、和其他车辆的边缘。最后，例如，可以根据所述路面边界确定所述道路路面上的路面区域，并且从所述路面区域中去除所述目标区域，以获得所述可行驶区域。

由此可见，采用根据本申请实施例的区域标注方法，可以在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；并且根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。因此，与如现有技术中对目标区域进行人工标注的情况相比，可以自动地标注行驶环境中目标物体的目标区域，提高了区域标注的效率。

下面，将通过一个具体的实验来说明本申请实施例的效果。

图7图示了根据本申请实施例的目标区域标识结果的示意图。

参考图7，可以看出，通过结合成像器件设置在其上的当前车辆V0的当前通信信息(V0,T,Ph0,Pl0)和目标车辆V1-V5的目标位置信息(Vn,T,Phn,Pln)、以及成像器件的参数信息，可以自动在成像器件所采集的图像信息中将目标车辆V1-V5的目标区域框选出来，以用于辅助驾驶目的。更进一步，还可以将目标车辆与当前车辆的距离标记出来，以便直观地了解到两者之间的远近情况。

因此，利用根据本申请实施例的区域标注方法，可以实现图像数据标注的自动化处理，由此获得的好处包括：1、大大降低数据标注的成本；2、将数据标注的质量提升到一个新的水准，极大减少漏标、误标；3、加速数据处理速度。

示例性装置

下面，参考图8来描述根据本申请实施例的区域标注装置。

图8图示了根据本申请实施例的区域标注装置的框图。

如图8所示，所述区域标注装置100可以包括：图像获取单元110，用于在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；位置获取单元120，用于获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；以及区域标注单元130，用于根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。

在一个示例中，所述图像获取单元110可以获取所述成像器件所采集的当前物体所处的行驶环境的图像信息，所述成像器件装备于所述当前物体的固定位置上。

在一个示例中，所述位置获取单元120可以包括：时间确定模块，用于确定所述成像器件采集所述图像信息的采集时间；以及目标位置获取模块，用于获取所述目标物体在所述采集时间的目标位置信息。

在一个示例中，所述位置获取模块可以从所述目标物体接收实时通信信息，所述实时通信信息包括所述目标位置信息。

在一个示例中，所述实时通信信息还可以包括以下各项中的至少一个：所述目标物体的标识信息、颜色信息、号牌信息、尺寸信息、型号信息、参考点位置信息、和时间戳信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置。

在一个示例中，所述区域标注单元130可以包括：当前位置获取模块，用于获取所述当前物体的当前位置信息，所述当前位置信息与所述图像信息在时间上同步；相对位置计算模块，用于根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息；以及区域标注模块，用于根据所述相对位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标区域。

在一个示例中，所述相对位置计算模块可以根据所述目标位置信息和所述当前位置信息来确定所述目标物体的参考点与所述当前物体的参考点之间的点相对位置信息，所述目标物体的参考点是所述目标位置信息所确定的在所述目标物体的整体空间中的点，而所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且所述区域标注模块可以根据所述点相对位置信息和所述成像器件的参数信息来确定所述目标物体的参考点在所述图像信息中的位置点；以及在所述图像信息中标注所述位置点，作为所述目标区域。

在一个示例中，所述相对位置计算模块可以根据所述目标物体的尺寸信息、参考点位置信息、和所述目标位置信息、以及所述当前位置信息来确定所述目标物体的整体空间与所述当前物体的参考点之间的区域相对位置信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置，所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且所述区域标注模块可以根据所述区域相对位置信息和所述成像器件的参数信息来确定所述目标物体的整体空间在所述图像信息中的位置区域；以及在所述图像信息中标注所述位置区域，作为所述目标区域。

在一个示例中，所述区域标注单元130可以包括：关系确定模块，用于根据所述成像器件的参数信息来确定所述图像信息中每个像素相对于所述当前物体的相对位置关系；当前位置获取模块，用于获取所述当前物体的当前位置信息，所述当前位置信息与所述图像信息在时间上同步；相对位置计算模块，用于根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息；以及区域标注模块，用于根据所述相对位置关系和相对位置信息来在所述图像信息中标注所述目标区域。

在一个示例中，所述相对位置计算模块可以根据所述目标位置信息和所述当前位置信息来确定所述目标物体的参考点与所述当前物体的参考点之间的点相对位置信息，所述目标物体的参考点是所述目标位置信息所确定的在所述目标物体的整体空间中的点，而所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且所述区域标注模块可以根据所述相对位置关系和相对位置信息来在所述图像信息中标注所述目标区域包括：根据所述相对位置关系和所述点相对位置信息来确定所述目标物体的参考点在所述图像信息中的位置点；以及在所述图像信息中标注所述位置点，作为所述目标区域。

在一个示例中，所述相对位置计算模块可以根据所述目标物体的尺寸信息、参考点位置信息、和所述目标位置信息、以及所述当前位置信息来确定所述目标物体的整体空间与所述当前物体的参考点之间的区域相对位置信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置，所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且所述区域标注模块可以根据所述相对位置关系和相对位置信息来在所述图像信息中标注所述目标区域包括：根据所述相对位置关系和所述区域相对位置信息来确定所述目标物体的整体空间在所述图像信息中的位置区域；以及在所述图像信息中标注所述位置区域，作为所述目标区域。

在一个示例中，在一个示例中，所述区域标注装置100还可以包括：样本生成单元140，用于基于其中标注有所述目标区域的图像信息来生成所述训练样本。

上述区域标注装置100中的各个单元和模块的具体功能和操作已经在上面参考图1到图7描述的区域标注方法中详细介绍，并因此，将省略其重复描述。

如上所述，本申请的实施例可以应用于对其上装备有成像器件的诸如交通工具、可移动机器人、固定监控摄像头之类的各种在线电子设备所处的行驶环境中目标物体的目标区域进行标注。并且，根据本申请实施例的区域标注方法和区域标注装置可以直接实现在上述在线电子设备上。但是，考虑到在线电子设备往往处理能力有限，所以为了获得更好的性能，也可以将本申请的实施例实现在能够与在线电子设备进行通信以从其接收各种所需信息的并能向其传送训练好的机器学习模型的各种离线的电子设备中。例如，该离线的电子设备可以包括诸如终端设备、服务器等。

相应地，根据本申请实施例的区域标注装置100可以作为一个软件模块和/或硬件模块而集成到该在线或离线的电子设备中，换言之，该电子设备可以包括该区域标注装置100。例如，该区域标注装置100可以是该电子设备的操作系统中的一个软件模块，或者可以是针对于该电子设备所开发的一个应用程序；当然，该区域标注装置100同样可以是该电子设备的众多硬件模块之一。

替换地，在另一示例中，该区域标注装置100与该在线或离线的电子设备也可以是分立的设备，并且该区域标注装置100可以通过有线和/或无线网络连接到该电子设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。该电子设备可以是其上装备有成像器件的诸如交通工具、可移动机器人之类的在线电子设备，也可以是能够与在线电子设备进行通信以向其传送训练好的机器学习模型的离线的电子设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的区域标注方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如图像信息、位置信息、目标区域、训练样本等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以是成像器件，用于采集图像信息，所采集的图像信息可以被存储在存储器12中以供其他组件使用。当然，也可以利用其他集成或分立的成像器件来采集该图像信息，并且将它发送到电子设备10。此外，该输入设备13还可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。

该输出装置14可以向外部(例如，用户或机器学习模型)输出各种信息，包括确定出的行驶环境的目标区域、训练样本等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的区域标注方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的区域标注方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (15)

1.一种区域标注方法，包括：

在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；

获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；以及

根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。

2.如权利要求1所述的方法，其中，获取成像器件所采集的行驶环境的图像信息包括：

获取所述成像器件所采集的当前物体所处的行驶环境的图像信息，所述成像器件装备于所述当前物体的固定位置上。

3.如权利要求2所述的方法，其中，获取存在于所述行驶环境中的目标物体的目标位置信息包括：

确定所述成像器件采集所述图像信息的采集时间；以及

获取所述目标物体在所述采集时间的目标位置信息。

4.如权利要求3所述的方法，其中，获取所述目标物体在所述采集时间的目标位置信息包括：

从所述目标物体接收实时通信信息，所述实时通信信息包括所述目标位置信息。

5.如权利要求4所述的方法，其中，所述实时通信信息还包括以下各项中的至少一个：所述目标物体的标识信息、颜色信息、号牌信息、尺寸信息、型号信息、参考点位置信息、和时间戳信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置。

6.如权利要求3所述的方法，其中，根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域包括：

获取所述当前物体的当前位置信息，所述当前位置信息与所述图像信息在时间上同步；

根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息；以及

根据所述相对位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标区域。

7.如权利要求6所述的方法，其中，

根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息包括：根据所述目标位置信息和所述当前位置信息来确定所述目标物体的参考点与所述当前物体的参考点之间的点相对位置信息，所述目标物体的参考点是所述目标位置信息所确定的在所述目标物体的整体空间中的点，而所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且

根据所述相对位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标区域包括：根据所述点相对位置信息和所述成像器件的参数信息来确定所述目标物体的参考点在所述图像信息中的位置点；以及在所述图像信息中标注所述位置点，作为所述目标区域。

8.如权利要求6所述的方法，其中，

根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息包括：根据所述目标物体的尺寸信息、参考点位置信息、和所述目标位置信息、以及所述当前位置信息来确定所述目标物体的整体空间与所述当前物体的参考点之间的区域相对位置信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置，所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且

根据所述相对位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标区域包括：根据所述区域相对位置信息和所述成像器件的参数信息来确定所述目标物体的整体空间在所述图像信息中的位置区域；以及在所述图像信息中标注所述位置区域，作为所述目标区域。

9.如权利要求3所述的方法，其中，根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域包括：

根据所述成像器件的参数信息来确定所述图像信息中每个像素相对于所述当前物体的相对位置关系；

获取所述当前物体的当前位置信息，所述当前位置信息与所述图像信息在时间上同步；

根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息；以及

根据所述相对位置关系和相对位置信息来在所述图像信息中标注所述目标区域。

10.如权利要求9所述的方法，其中，

根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息包括：根据所述目标位置信息和所述当前位置信息来确定所述目标物体的参考点与所述当前物体的参考点之间的点相对位置信息，所述目标物体的参考点是所述目标位置信息所确定的在所述目标物体的整体空间中的点，而所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且

根据所述相对位置关系和相对位置信息来在所述图像信息中标注所述目标区域包括：根据所述相对位置关系和所述点相对位置信息来确定所述目标物体的参考点在所述图像信息中的位置点；以及在所述图像信息中标注所述位置点，作为所述目标区域。

11.如权利要求9所述的方法，其中，

根据所述目标位置信息和所述当前位置信息来计算所述目标物体与所述当前物体之间的相对位置信息包括：根据所述目标物体的尺寸信息、参考点位置信息、和所述目标位置信息、以及所述当前位置信息来确定所述目标物体的整体空间与所述当前物体的参考点之间的区域相对位置信息，所述参考点位置信息指示出所述目标位置信息所确定的点在所述目标物体的整体空间中的特定位置，所述当前物体的参考点是所述当前位置信息所确定的在所述当前物体的整体空间中的点，并且

根据所述相对位置关系和相对位置信息来在所述图像信息中标注所述目标区域包括：根据所述相对位置关系和所述区域相对位置信息来确定所述目标物体的整体空间在所述图像信息中的位置区域；以及在所述图像信息中标注所述位置区域，作为所述目标区域。

12.如权利要求1所述的方法，还包括：

基于其中标注有所述目标区域的图像信息来生成所述训练样本。

13.一种区域标注装置，包括：

图像获取单元，用于在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；

位置获取单元，用于获取存在于所述行驶环境中的目标物体的目标位置信息，所述目标位置信息与所述图像信息在时间上同步；以及

区域标注单元，用于根据所述目标位置信息和所述成像器件的参数信息来在所述图像信息中标注所述目标物体的目标区域。

14.一种电子设备，包括：

处理器；

存储器；以及

存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-12中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-12中任一项所述的方法。