CN104680532A - 一种对象标注方法及装置 - Google Patents

Abstract

本发明提供了一种对象标注方法及装置，包括：确定背景图像帧包含的深度信息，并根据背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；确定前景图像帧中的待标注对象及待标注对象的深度信息，并根据待标注对象的深度信息确定待标注对象在第一三维坐标系下的空间坐标；确定显示道具，并确定显示道具在第一三维坐标系下的空间坐标，该显示道具用于对待标注对象进行标注；根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；根据遮挡状态对待标注对象进行标注。采用本发明提供的技术方案，有效模拟了遮挡效果，使得对象的标注更加生动，大大提高了显示质量。

Description

一种对象标注方法及装置

技术领域

本发明涉及视频分析处理技术领域，特别涉及一种对象标注方法及装置。

背景技术

目前，在安防监控、会展等领域中，有时需要对视频中的动态对象进行标注，一方面为大数据分析提供数据，另一方面标注的对象能够更加直观地展示。例如，动态对象为人，那么首先需要在视频中检测到人，然后通过一些方法对人进行标注。现有技术中，标注的方法主要是采用bounding box，即对包含人的区域在二维图像上进行矩形框标注。

使用矩形框只能近似的将人等前景物体所占的像素进行标注，把认为是人的区域包含在矩形内部，而不能准确显示和标定人体的细节信息和与周围环境及其他人的关系，即不能直观的表达人和人、人和背景之间的空间位置关系；另外，矩形框内部除了人身体以外，还必将有一部分属于背景或其他前景物体，这本不是想要的，只是因为现有技术无法在这个范围内判断哪些像素属于人的身体，哪些像素属于背景，把不属于要显示的内容完全去除，只能近似地画矩形框，把它们全部当作识别的人的结果显示给用户，用户对于这样的显示结果往往还需要一些判断和处理，并不直观。

现有技术的不足在于：

现有技术中采用的矩形框标注的技术方案，叠加大量不必需的信息，使得标注结果不直观。

发明内容

本发明实施例中提供了一种对象标注方法及装置，用以解决现有技术中标注结果不直观的问题。

本发明实施例中提供了一种对象标注方法，包括步骤：

确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；

确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；

确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；

根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；

根据所述显示道具的遮挡状态对所述待标注对象进行标注。

本发明实施例中提供了一种对象标注装置，包括：

背景确定模块，用于确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；

前景确定模块，用于确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；

道具确定模块，用于确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；

显示确定模块，用于根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；

标注模块，用于根据所述显示道具的遮挡状态对所述待标注对象进行标注。

本发明的有益效果是：

本发明实施例提供的技术方案中，有效模拟了遮挡效果，使得对象的标注不再像传统二维图像显示技术一样仅在二维图像上进行粗略显示，而使显示结果更加生动、逼真，大大提高了显示质量。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1为本发明实施例中对象标注方法实施的流程示意图；

图2为本发明实施例中对象标注装置的结构示意图。

具体实施方式

为了使本发明实施例中的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

针对现有技术的不足，本发明实施例中提供了一种对象标注方法及装置，来使对象标注更形象，提高显示质量。下面进行说明。

图1为本发明实施例中对象标注方法实施的流程示意图，如图所示，可以包括步骤：

步骤101、确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；

步骤102、确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；

步骤103、确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；

步骤104、根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；

步骤105、根据所述显示道具的遮挡状态对所述待标注对象进行标注。

本发明实施例提供的技术方案中，根据背景图像帧的深度信息对真实场景进行三维重建，并还原场景中待标注对象的真实空间存在，由于有效模拟了遮挡效果，使得对象的标注不再像传统二维图像显示技术一样仅在二维图像上进行粗略显示，而使显示结果更加生动、逼真，大大提高了显示质量。

实施中，根据背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标，可以包括步骤：

根据所述背景图像帧深度信息确定以镜头为中心的第二三维坐标系；

确定以背景图像帧中地面为x-y平面的第一三维坐标系；

根据第一三维坐标系与第二三维坐标系确定第二三维坐标系转换到第一三维坐标系下的转换矩阵；

根据所述转换矩阵确定背景图像帧中各像素点在第一三维坐标系中的空间坐标。

具体实施中，在对待标注对象进行检测和标注之前，可以对背景场景进行建模，例如，可以根据背景图像帧(包含深度信息)计算以镜头为中心的三维坐标系(第二三维坐标系)，然后通过检测背景图像帧中的地面，计算以镜头为中心的三维坐标系(第二三维坐标系)到以地面为x-y平面的真实三维坐标系(第一三维坐标系)的转换矩阵。通过该转换矩阵可以将背景图像帧中各像素点转换到真实的三维坐标系(第一三维坐标系)下。

利用建立坐标系和确定转换矩阵，可以将二维图像中的物体转换到三维坐标系下，从平面显示变为立体显示，显示的结果更加形象和准确，更接近人眼的视角。

实施中，根据待标注对象的深度信息确定待标注对象在第一三维坐标系下的空间坐标，可以包括步骤：

根据所述待标注对象深度信息确定在以镜头为中心的第二三维坐标系中的第一空间坐标；

根据转换矩阵确定第一空间坐标在第一三维坐标系中的空间坐标。

具体实施中，在对背景场景进行建模之后，可以对该背景场景中出现的待标注对象进行识别，并且对识别到的待标注对象，确定其在第一三维坐标系中的空间坐标。此时，待标注对象与背景场景的空间关系就可以建立了。

通过建立待标注对象与背景场景的空间关系，能够判断待标注对象在特定视角下的显示内容，即待标注对象可能遮挡住背景的部分场景。利用该空间关系能够更好的以贴近现实的结果进行显示。

实施中，确定显示道具在第一三维坐标系下的空间坐标，可以包括步骤：

在待标注对象上确定对其进行标注的的标注点，所述标注点用于确定显示道具进行标注的位置；

根据待标注对象在第一三维坐标系下的空间坐标确定所述标注点在第一三维坐标系下的空间坐标；

根据所述标注点在第一三维坐标系下的空间坐标及确定的显示道具确定显示道具在第一三维坐标系下的空间坐标。

具体实施中，可以根据待标注对象的第一三维坐标系下的空间坐标(该对象在真实空间中的空间位置)，人工或者自动选取待标注对象上某一点作为标注点(第一三维坐标系下三维坐标点)，若显示道具为圆环，那么可以以该标注点为圆环中心进行标注。

另外，显示道具可以是圆环、透明蒙板、圆柱等，通过更换不同的显示道具，可以满足不同条件下的显示需求。

确定待标注对象上的标注点可以使得在图像帧变换，即在视频播放过程中，显示道具都能够以该标注点跟随待标注对象进行动态刷新变换，在视频播放过程中，该对象的标注是连续且稳定的。

通过确定显示道具在真实空间(第一三维坐标系)的空间坐标，结合背景及待标注对象的坐标，能够确定其空间位置关系，进而判断显示道具的遮挡状态，对于不同的状态可以使用不同的颜色、透明度进行绘制或者贴图显示，最终显示的结果能够较好的体现待标注对象的空间存在。

实施中，在确定显示道具之后，可以进一步包括：

将所述显示道具进行切分为多个模块，在确定显示道具的遮挡状态时，确定所述各模块的遮挡状态。

具体实施中，可以将显示道具切分为多个模块，每个模块相对于待标注对象来说都是较小的尺寸，例如每个模块可以为1到2厘米。切分为多个模块是用于在确定显示道具遮挡状态时，能够更准确的判断哪些模块被遮挡，被遮挡的模块做相应的处理(提高透明度等)，进而提高显示质量。模块切分的尺寸越小，那么显示的效果就可能会越好。

将显示道具切分为模块的处理能够更好地对遮挡和未被遮挡的区域区别化处理，有利于提高对待标注对象的标注结果的显示。

实施中，在根据所述显示道具的遮挡状态对所述待标注对象进行标注时，可以包括步骤：

确定显示道具各模块中未被遮挡的模块及所述未被遮挡的模块在第一三维坐标系下的空间坐标；

根据第二三维坐标系转换到第一三维坐标系下的转换矩阵的逆矩阵将未被遮挡的模块在第一三维坐标系下的空间坐标转换为第二三维坐标系下的空间坐标；

确定对待标注对象进行标注的的标注点在第二三维坐标系下的空间坐标；

根据所述未被遮挡的模块及标注点在第二三维坐标系下的空间坐标及背景图像帧深度信息确定显示道具中未被遮挡的模块及标注点在图像帧中的二维坐标；

根据所述二维坐标在图像帧中进行标注并显示。

具体实施中，可以将显示道具中未被遮挡的模块在第一三维坐标系下的空间坐标(三维坐标)通过第二三维坐标系到第一三维坐标系的转换矩阵的逆矩阵转换为第二三维坐标系下的空间坐标(三维坐标)；然后根据第二三维坐标系下的空间坐标和背景图像帧深度信息将显示道具中未被遮挡的模块及标注点的空间坐标转换到图像帧的二维坐标。由于对待标注对象的标注是在二维图像帧上显示，因此需要将带有深度信息的三维坐标转换到二维图像帧可显示的二维坐标，最终在二维图像帧中达到三维显示的效果。

通过将显示道具及标注点的空间坐标转换为二维坐标并进行显示，实现了标注结果的立体空间显示，有效模拟遮挡等效果，提高了显示效果。

下面再以实例对实施例提供的方法的使用进行说明。

首先，根据背景图像帧计算以镜头为中心的第二三维坐标系，然后检测图像帧中的地面，并计算以镜头为中心的第二三维坐标系到以地面为x-y平面的第一三维坐标系下转换的转换矩阵，并根据该转换矩阵确定背景图像帧中各像素点在第一三维坐标系下的空间坐标。在确定好背景信息之后，识别待标注对象，根据转换矩阵确定该待标注对象在第一三维坐标系下的空间坐标，根据待标注对象在第一三维坐标系下的空间坐标及标注点确定显示道具在第一三维坐标系下的空间坐标。结合空间位置关系，判断显示道具切分的各模块的遮挡状态，对不同的状态采用不同的颜色和透明度进行显示。

利用本发明实施例提供的对象标注方法，不仅形象的进行了标注，并且没有叠加大量其他信息，极大地保留了图像的原始像素信息。

基于同一发明构思，本发明实施例中还提供了一种对象标注装置，由于装置解决问题的原理与一种对象标注方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

图2为本发明实施例中对象标注装置的结构示意图，如图所示，在装置中可以包括：

背景确定模块201，用于确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；

前景确定模块202，用于确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；

道具确定模块203，用于确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；

显示确定模块204，用于根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；

标注模块205，用于根据所述显示道具的遮挡状态对所述待标注对象进行标注。

实施中，背景确定模块201可以包括：

坐标系单元，用于根据所述背景图像帧深度信息确定以镜头为中心的第二三维坐标系；

坐标系单元进一步用于确定以背景图像帧中地面为x-y平面的第一三维坐标系；

矩阵单元，用于根据第一三维坐标系与第二三维坐标系确定第二三维坐标系转换到第一三维坐标系下的转换矩阵；

第一转换单元，用于根据所述转换矩阵确定背景图像帧中各像素点在第一三维坐标系中的空间坐标。

实施中，前景确定模块202可以包括：

对象坐标单元，用于根据所述待标注对象深度信息确定在以镜头为中心的第二三维坐标系中的第一空间坐标；

第二转换单元，用于根据转换矩阵确定第一空间坐标在第一三维坐标系中的空间坐标。

实施中，道具确定模块203可以包括：

标注点确定单元，用于在待标注对象上确定对其进行标注的的标注点，所述标注点用于确定显示道具进行标注的位置；

第一标注点坐标单元，用于根据待标注对象在第一三维坐标系下的空间坐标确定所述标注点在第一三维坐标系下的空间坐标；

道具坐标单元，用于根据所述标注点在第一三维坐标系下的空间坐标及确定的显示道具确定显示道具在第一三维坐标系下的空间坐标。

实施中，道具确定模块203可以进一步用于在确定显示道具之后，将所述显示道具进行切分为多个模块，显示确定模块204在确定显示道具的遮挡状态时确定所述各模块的遮挡状态。

实施中，显示确定模块204可以包括：

遮挡坐标单元，用于确定显示道具各模块中未被遮挡的模块及所述未被遮挡的模块在第一三维坐标系下的空间坐标；

第三转换单元，用于根据第二三维坐标系转换到第一三维坐标系下的转换矩阵的逆矩阵将未被遮挡的模块在第一三维坐标系下的空间坐标转换为第二三维坐标系下的空间坐标；

第二标注点坐标单元，用于确定对待标注对象进行标注的的标注点在第二三维坐标系下的空间坐标；

二维坐标单元，用于根据所述未被遮挡的模块及标注点在第二三维坐标系下的空间坐标及背景图像帧深度信息确定显示道具中未被遮挡的模块及标注点在图像帧中的二维坐标；

标注模块205可以根据所述二维坐标在图像帧中进行标注并显示。

为了描述的方便，以上所述装置的各部分以功能分为各种部件或单元分别描述。当然，在实施本发明时可以把各部件或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种对象标注方法，其特征在于，包括如下步骤：

确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；

确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；

确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；

根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；

根据所述显示道具的遮挡状态对所述待标注对象进行标注。

2.如权利要求1所述的方法，其特征在于，所述根据背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标，包括步骤：

根据所述背景图像帧深度信息确定以镜头为中心的第二三维坐标系；

确定以背景图像帧中地面为x-y平面的第一三维坐标系；

根据第一三维坐标系与第二三维坐标系确定第二三维坐标系转换到第一三维坐标系下的转换矩阵；

根据所述转换矩阵确定背景图像帧中各像素点在第一三维坐标系中的空间坐标。

3.如权利要求2所述的方法，其特征在于，所述根据待标注对象的深度信息确定待标注对象在第一三维坐标系下的空间坐标，包括步骤：

根据所述待标注对象深度信息确定在以镜头为中心的第二三维坐标系中的第一空间坐标；

根据转换矩阵确定第一空间坐标在第一三维坐标系中的空间坐标。

4.如权利要求3所述的方法，其特征在于，所述确定显示道具在第一三维坐标系下的空间坐标，包括步骤：

在待标注对象上确定对其进行标注的的标注点，所述标注点用于确定显示道具进行标注的位置；

根据待标注对象在第一三维坐标系下的空间坐标确定所述标注点在第一三维坐标系下的空间坐标；

根据所述标注点在第一三维坐标系下的空间坐标及确定的显示道具确定显示道具在第一三维坐标系下的空间坐标。

5.如权利要求1至4任一所述的方法，其特征在于，在确定显示道具之后，进一步包括：

将所述显示道具进行切分为多个模块，在确定显示道具的遮挡状态时，确定所述各模块的遮挡状态。

6.如权利要求5所述的方法，其特征在于，在根据所述显示道具的遮挡状态对所述待标注对象进行标注时，包括步骤：

确定显示道具各模块中未被遮挡的模块及所述未被遮挡的模块在第一三维坐标系下的空间坐标；

根据第二三维坐标系转换到第一三维坐标系下的转换矩阵的逆矩阵将未被遮挡的模块在第一三维坐标系下的空间坐标转换为第二三维坐标系下的空间坐标；

确定对待标注对象进行标注的的标注点在第二三维坐标系下的空间坐标；

根据所述未被遮挡的模块及标注点在第二三维坐标系下的空间坐标及背景图像帧深度信息确定显示道具中未被遮挡的模块及标注点在图像帧中的二维坐标；

根据所述二维坐标在图像帧中进行标注并显示。

7.一种对象标注装置，其特征在于，包括：

背景确定模块，用于确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；

前景确定模块，用于确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；

道具确定模块，用于确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；

显示确定模块，用于根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；

标注模块，用于根据所述显示道具的遮挡状态对所述待标注对象进行标注。

8.如权利要求7所述的装置，其特征在于，所述背景确定模块包括：

坐标系单元，用于根据所述背景图像帧深度信息确定以镜头为中心的第二三维坐标系；

坐标系单元进一步用于确定以背景图像帧中地面为x-y平面的第一三维坐标系；

矩阵单元，用于根据第一三维坐标系与第二三维坐标系确定第二三维坐标系转换到第一三维坐标系下的转换矩阵；

第一转换单元，用于根据所述转换矩阵确定背景图像帧中各像素点在第一三维坐标系中的空间坐标。

9.如权利要求8所述的装置，其特征在于，所述前景确定模块包括：

对象坐标单元，用于根据所述待标注对象深度信息确定在以镜头为中心的第二三维坐标系中的第一空间坐标；

第二转换单元，用于根据转换矩阵确定第一空间坐标在第一三维坐标系中的空间坐标。

10.如权利要求9所述的装置，其特征在于，所述道具确定模块包括：

标注点确定单元，用于在待标注对象上确定对其进行标注的的标注点，所述标注点用于确定显示道具进行标注的位置；

第一标注点坐标单元，用于根据待标注对象在第一三维坐标系下的空间坐标确定所述标注点在第一三维坐标系下的空间坐标；

道具坐标单元，用于根据所述标注点在第一三维坐标系下的空间坐标及确定的显示道具确定显示道具在第一三维坐标系下的空间坐标。

11.如权利要求7至10任一所述的装置，其特征在于，道具确定模块进一步用于在确定显示道具之后，将所述显示道具进行切分为多个模块，显示确定模块在确定显示道具的遮挡状态时确定所述各模块的遮挡状态。

12.如权利要求11所述的装置，其特征在于，所述显示确定模块包括：

遮挡坐标单元，用于确定显示道具各模块中未被遮挡的模块及所述未被遮挡的模块在第一三维坐标系下的空间坐标；

第三转换单元，用于根据第二三维坐标系转换到第一三维坐标系下的转换矩阵的逆矩阵将未被遮挡的模块在第一三维坐标系下的空间坐标转换为第二三维坐标系下的空间坐标；

第二标注点坐标单元，用于确定对待标注对象进行标注的的标注点在第二三维坐标系下的空间坐标；

二维坐标单元，用于根据所述未被遮挡的模块及标注点在第二三维坐标系下的空间坐标及背景图像帧深度信息确定显示道具中未被遮挡的模块及标注点在图像帧中的二维坐标；

所述标注模块根据所述二维坐标在图像帧中进行标注并显示。