CN106682595A - 一种图像内容标注方法和装置 - Google Patents

Abstract

本发明实施例公开了一种图像内容标注方法和装置。图像内容标注方法包括：确定视频图像的至少两个关键帧图像和关键帧图像的标注信息；针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息。本发明实施例提供的图像内容标注方法和装置通过关键帧图像和关键帧图像的标注信息自动生成普通帧标注信息，解决了现有图像注释方法中，需逐个对图像中特征内容注释而完成速度缓慢的问题。从而在保证注释信息准确性的情况下，减少了工作量，提高了注释操作的效率。

Description

一种图像内容标注方法和装置

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种图像内容标注方法和装置。

背景技术

训练集可作为有效信息来引导优化神经网络(neural network)的结构，其过程是机器学习(machine learning)技术层面的一种方式。优化完成后，该结构可用于计算机视觉的应用，例如根据摄像头回传的画面来识别车辆和行人。

现有技术中需要用户手工标注图像中的特征区域，然后利用方框或其他方式将其手动圈出，作为注释。所得到的注释以数据形式被计算机读取，之后保存为训练集。

然而，现有图像注释方法中逐个对图像中特征内容进行手工注释，不仅消耗了大量的人力资源，而且完成速度缓慢。

发明内容

本发明实施例提供一种图像内容标注方法和装置，以解决现有图像注释方法中，需逐个对图像中特征内容注释而完成速度缓慢的问题。

第一方面，本发明实施例提供了一种图像内容标注方法，该方法包括：

确定视频图像的至少两个关键帧图像和所述关键帧图像的标注信息；

针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息。

第二方面，本发明实施例还提供了一种图像内容标注装置，该装置包括：.

关键帧信息确认模块，用于确定视频图像的至少两个关键帧图像和所述关键帧图像的标注信息；

普通帧信息确认模块，用于针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息。

本发明实施例依据视频图像中相邻关键帧图像、相邻关键帧图像的标注信息和相邻关键帧图像的数量确定普通帧图像的标注信息，完成了视频图像中普通帧图像的标注信息自动生成操作，从而解决了现有图像注释方法中，需逐个对图像中特征内容注释而完成速度缓慢的问题。从而在保证注释信息准确性的情况下，减少了工作量，提高了注释操作的完成效率。

附图说明

图1是本发明实施例一中的一种图像内容标注方法流程图；

图2是本发明实施例二中的一种图像内容标注方法流程图；

图3是本发明实施例三中的一种图像内容标注装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图像内容标注方法流程图，本实施例可适用于采集视频图像训练集的情况，该方法可以由一种图像内容标注装置来执行，该装置可以由软件和/或硬件的方式来实现。如图1所示，该方法包括：

S110、确定视频图像的至少两个关键帧图像和关键帧图像的标注信息。

视频图像可以是各种储存格式的动态影像，例如数位视频格式，包括DVD，QuickTime和MPEG-4等格式；以及录像带视频格式,包括VHS与Betamax格式的内容。视频图像中包括多个关键帧图像以及位于不同关键帧图像之间的普通帧图像。

关键帧图像根据标注信息的生成效率调整确定，通常由视频图像训练集的采集人员确定。

关键帧图像的标注信息用于标注关键帧图像中的特征内容。特征内容可以是关键帧图像的任意对象，可以是“车辆”、“人”，也可以是“小轿车”或“行人”。

S120、针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息。

普通帧图像的标注信息用于标注关键帧图像中的特征内容。关键帧图像和普通帧图像都是视频图像中的帧图像，两者区别在于，关键帧图像中的对象数量和/或种类可以发生较大变化，而普通帧图像中对象的变化较为缓和，可以是对象在图像的位置或对象的大小发生改变。

在对一个完整的视频图像进行标注时，需要生成多组普通帧图像的标注信息。每相邻两个关键帧图像生成一组普通帧图像的标注信息。

确定每一组普通帧图像的标注信息需要用到该组相邻两个关键帧图像、相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量。

具体确定过程中，执行所述方法的终端会先获取相邻两个关键帧图像的标注信息间的变化量，然后根据变化量和普通帧图像的数量计算平均变化量，进而得到普通帧图像的标注信息。

普通帧图像的标注信息的数量根据关键帧图像中对象的变化进行选择。在某种极限情况下，例如，视频图像中相邻帧图像中的对象数量或类别发生改变，此时所述两个相邻帧图像都为关键帧图像，也就是说，该种情况下普通帧图像的标注信息的数量为0。

进一步的，当视频图像中包括多个对象时，可以利用多组关键帧图像的标注信息和普通帧图像的标注信息进行标记。

示例性的，当视频图像出现“车辆”和“人”两类特征内容时，可以用两组标注信息对“人”和“车辆”分别进行标记。假设视频图像中第1帧到第10帧出现特征内容“车辆”，在第5帧到第15帧出现特征内容“人”，则将第1帧到第10帧作为与“人”的标记信息对应的关键帧图像，第2帧到第9帧作为与“人”的标记信息对应的中间帧图像；将第5帧到第15帧作为与“车辆”的标记信息对应的关键帧图像，第6帧到第14帧作为与“车辆”的标记信息对应的中间帧图像。

本发明实施例依据视频图像中相邻关键帧图像、相邻关键帧图像的标注信息和相邻关键帧图像的数量确定普通帧图像的标注信息，完成了视频图像中普通帧图像的标注信息自动生成操作，从而解决现有图像注释方法中，逐个对图像中特征内容人工注释，造成了消耗人力资源且完成速度缓慢问题。从而在保证了注释信息准确性的情况下，减少了工作量，提高了注释操作的完成效率。

实施例二

图2是本发明实施例二中的一种游戏关卡处理方法流程示意图，本实施例在实施例一的基础上，进一步阐述了普通帧图像的标注信息的生成操作，如图2所示，该方法包括：

S210、确定视频图像的至少两个关键帧图像和所述关键帧图像的标注信息。

关键帧图像的标注信息还包括特征区域。特征区域中的内容就是要标注的对象。特征区域可以是任意形状。为了更好的操作，特征区域的形状优选为规则多边形。

S220、针对每一组相邻两个关键帧图像，将该组相邻两个关键帧图像中的任一关键帧图像的特征区域，作为普通帧图像的初始特征区域。

初始特征区域可以是直接继承关键帧图像中的特征区域得到，避免了因重新创建特征区域造成的资源浪费。

S230、依据该组相邻两个关键帧图像的特征区域的位置尺寸信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

关键帧图像的标注信息包括特征区域的位置尺寸信息，对普通帧图像的初始特征区域的调整包括位置的调整和尺寸的调整。

具体的，S230可以包括：依据该组相邻两个关键帧图像的特征区域的位置，确定特征区域的位移信息；依据该组相邻两个关键帧图像的特征区域的尺寸，确定特征区域的尺寸变化信息；依据特征区域的位移信息、尺寸变化信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

关键帧图像的标注信息包括特征区域的位置尺寸信息，即特征区域的位置信息和特征区域在关键帧图像覆盖面积的大小。

示例性的，确定普通帧图像的特征区域时，首先会继承关键帧图像中的特征区域得到初始特征区域，然后根据关键帧图像的特征区域的位置得到位置变化量，在根据位置变化量和普通帧图像的数量得到关键帧图像之间普通帧图像的特征区域的平均变化量。进而根据平均变化量对初始特征区域进行位置调整。对初始特征区域进行尺寸调整思路类似。

除此之外，为了简化标注信息的生成过程，本实施例中描述的方法还可以按照如下规则进行操作。示例性的，针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像的特征内容，确定普通帧图像的特征内容。

进一步的，两个关键帧图像中的特征内容可以是不发生改变的，也就是说，普通帧图像的特征内容直接使用关键帧图像中的特征内容即可。然而该规则对关键帧图像的选取是有要求的，需要保证相邻关键帧图像中特征内容的类别和数量都不会发生改变。

本实施例的技术方案，根据相邻关键帧图像间特征区域位置和尺寸的变化量以及普通帧图像的数量，计算得到普通帧图像中初始特征区域位置和尺寸的的调整量，进而将初始特征区域调整到合适状态，提高了普通帧图像中特征区域的准确性。

在上述技术方案的基础上，优选是确定普通帧图像的标注信息之后添加了生成并展示含有标注的视频的步骤。具体的：依据关键帧图像、关键帧图像的标注信息、普通帧图像和普通帧图像的标注信息，生成并展示含有标注的视频。

该方案的应用场景适用于采集人员对标注完成的视频信息进行检测的过程，采集人员通过观看连续且具有标注的视频，就可快速发现与帧图像不匹配的标注信息，节约了时间，提高了检测效率。

实施例三

图3所示为本发明实施例三提供的一种图像内容标注装置结构示意图，如图3所示，该图像内容标注装置包括：关键帧信息确认模块310和普通帧信息确认模块320。

其中，关键帧信息确认模块310，用于确定视频图像的至少两个关键帧图像和所述关键帧图像的标注信息。

普通帧信息确认模块320，用于针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息。

进一步的，普通帧信息确认模块320可以包括：

初始特征区域确定单元，用于针对每一组相邻两个关键帧图像，将该组相邻两个关键帧图像中的任一关键帧图像的特征区域，作为普通帧图像的初始特征区域。

普通帧图像特征区域确认单元，用于依据该组相邻两个关键帧图像的特征区域的位置尺寸信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

进一步的，普通帧图像特征区域确认单元包括：

位移信息确定子单元，用于依据该组相邻两个关键帧图像的特征区域的位置，确定特征区域的位移信息；

尺寸变化信息确定子单元，用于依据该组相邻两个关键帧图像的特征区域的尺寸，确定特征区域的尺寸变化信息；

初始特征区域调整子单元，用于依据特征区域的位移信息、尺寸变化信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

进一步的，普通帧信息确认模块320还可以包括：

特征内容确认单元，用于针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像的特征内容，确定普通帧图像的特征内容。

进一步的，图像内容标注装置还包括：

结果视频生成模块，用于依据关键帧图像、关键帧图像的标注信息、普通帧图像和普通帧图像的标注信息，生成并展示含有标注的视频。

本发明实施例依据视频图像中相邻关键帧图像、相邻关键帧图像的标注信息和相邻关键帧图像的数量确定普通帧图像的标注信息，完成了视频图像中普通帧图像的标注信息自动生成操作，从而解决现有图像注释方法中，逐个对图像中特征内容人工注释，造成了消耗人力资源且完成速度缓慢问题。从而在保证了注释信息准确性的情况下，减少了工作量，提高了注释操作的完成效率。

本发明实施例所提供的图像内容标注装置可以用于执行本发明实施例所提供的图像内容标注方法，具备相应的功能和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的图像内容标注方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像内容标注方法，其特征在于，包括：

确定视频图像的至少两个关键帧图像和所述关键帧图像的标注信息；

针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息。

2.根据权利要求1所述的图像内容标注方法，其特征在于，针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息，包括：

针对每一组相邻两个关键帧图像，将该组相邻两个关键帧图像中的任一关键帧图像的特征区域，作为普通帧图像的初始特征区域；

依据该组相邻两个关键帧图像的特征区域的位置尺寸信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

3.根据权利要求2所述的图像内容标注方法，其特征在于，依据该组相邻两个关键帧图像的特征区域的位置尺寸信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域，包括：

依据该组相邻两个关键帧图像的特征区域的位置，确定特征区域的位移信息；

依据该组相邻两个关键帧图像的特征区域的尺寸，确定特征区域的尺寸变化信息；

依据特征区域的位移信息、尺寸变化信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

4.根据权利要求1-3任一项所述的图像内容标注方法，其特征在于，针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息，包括：

针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像的特征内容，确定普通帧图像的特征内容。

5.根据权利要求1所述的图像内容标注方法，其特征在于，确定普通帧图像的标注信息之后，还包括：

依据关键帧图像、关键帧图像的标注信息、普通帧图像和普通帧图像的标注信息，生成并展示含有标注的视频。

6.一种图像内容标注装置，其特征在于，包括：

关键帧信息确认模块，用于确定视频图像的至少两个关键帧图像和所述关键帧图像的标注信息；

普通帧信息确认模块，用于针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像、该组相邻两个关键帧图像的标注信息以及位于该组相邻两个关键帧图像之间的普通帧图像的数量，确定普通帧图像的标注信息。

7.根据权利要求6所述的图像内容标注装置，其特征在于，所述普通帧信息确认模块包括：

初始特征区域确定单元，用于针对每一组相邻两个关键帧图像，将该组相邻两个关键帧图像中的任一关键帧图像的特征区域，作为普通帧图像的初始特征区域；

普通帧图像特征区域确认单元，用于依据该组相邻两个关键帧图像的特征区域的位置尺寸信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

8.根据权利要求7所述的图像内容标注装置，其特征在于，所述普通帧图像特征区域确认单元包括：

位移信息确定子单元，用于依据该组相邻两个关键帧图像的特征区域的位置，确定特征区域的位移信息；

尺寸变化信息确定子单元，用于依据该组相邻两个关键帧图像的特征区域的尺寸，确定特征区域的尺寸变化信息；

初始特征区域调整子单元，用于依据特征区域的位移信息、尺寸变化信息和普通帧图像的数量，对普通帧图像的初始特征区域进行位置尺寸调整，得到普通帧图像的特征区域。

9.根据权利要求6-8任一项所述的图像内容标注装置，其特征在于，所述普通帧信息确认模块还包括：

特征内容确认单元，用于针对每一组相邻两个关键帧图像，依据该组相邻两个关键帧图像的特征内容，确定普通帧图像的特征内容。

10.根据权利要求6所述的图像内容标注装置，其特征在于，还包括：

结果视频生成模块，用于依据关键帧图像、关键帧图像的标注信息、普通帧图像和普通帧图像的标注信息，生成并展示含有标注的视频。