CN111222416A - 一种样本数据生成方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种样本数据生成方法、装置及系统，涉及人工智能技术领域，其中，上述方法包括：获得背景图像，确定至少一个对象，并获得各个对象的图像，获得各个对象的对象标识，以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置，按照所确定的位置，将各个对象的图像添加至每一样本图像对应的背景图像，生成预设数量张样本图像，其中，每一样本图像对应一张背景图像，针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。应用本发明实施例提供的方案生成样本数据，可以提高生成样本数据的效率。

Description

一种样本数据生成方法、装置及系统

技术领域

本发明涉及人工智能技术领域，特别是涉及一种样本数据生成方法、装置及系统。

背景技术

图像中可以包含各种对象，例如，上述对象可以是图像中的人、动物、树木、建筑物等。在一些场景中需要对图像进行对象识别，以知道图像中出现了哪些对象。例如，对比赛图像进行分析时，需要知道参赛队伍、参赛队员等，这种情况下，需要知道图像中出现了哪些对象。由于不同的对象具有不同的特点，在进行图像处理时，可以结合不同对象的特点，对图像进行不同的处理，这种情况下，也需要识别出图像中出现了哪些对象。

现有技术中，对图像进行对象识别时，可以使用基于神经网络的对象识别模型对图像进行对象识别。上述对象识别模型是通过对神经网络模型进行训练得到的。在对上述神经网络模型进行训练时，一般需要大量样本数据。其中，上述样本数据包括样本图像以及样本图像中对象的标记。

当前获得样本数据时，一般是在获得样本图像后，通过人工识别样本图像中对象的方式得到样本图像中对象的标记，从而获得样本数据。虽然应用上述方式可以获得样本数据，但由于进行模型训练需要使用大量样本数据，而人工识别图像中的对象比较耗时，因此，应用上述方式获得样本数据时效率较低。

发明内容

本发明实施例的目的在于提供一种样本数据生成方法、装置及系统，以提高生成样本数据的效率。具体技术方案如下：

第一方面，本发明实施例提供了一种样本数据生成方法，所述方法包括：

获得背景图像；

确定至少一个对象，并获得各个对象的图像；

获得各个对象的对象标识；

以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；

按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，其中，每一样本图像对应一张所述背景图像；

针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

本发明的一个实施例中，所述以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置，包括：

按照以下方式确定每一对象在待生成的预设数量张样本图像中每一图像内的位置：

以随机选择的方式，选择是否将该对象的图像叠加到已添加对象的图像上，所述已添加对象为：对应的图像已添加到样本图像对应的所述背景图像中的对象；

在需要叠加的情况下，以随机选择的方式，从所述已添加对象中，选择与该对象存在重叠关系的对象，作为叠加对象；

以随机选择的方式，选择该对象与所述叠加对象间的相对位置偏移；

根据所选择的相对位置偏移，确定该对象在样本图像中的位置。

本发明的一个实施例中，所述按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，包括：

按照以下方式生成预设数量张样本图像中的每一图像：

针对每个对象，以随机选择的方式确定是否对该对象的图像进行模糊处理；

对需要进行模糊处理的第一类对象的图像进行模糊处理；

按照所确定的位置，将第一类对象的模糊处理后图像和第二类对象的图像添加至样本图像对应的所述背景图像，生成样本图像，其中，所述第二类对象为：除第一类对象之外的对象。

本发明的一个实施例中，所述确定至少一个对象，包括：

确定待分析视频中预设时长的视频段内发生位置变化的运动对象；

从所确定的运动对象中选择对象。

本发明的一个实施例中，所述背景图像为地图图像。

本发明的一个实施例中，在所述针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记之后，还包括：

以所生成的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练。

本发明的一个实施例中，在所述以所生成的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练之后，还包括：

判断训练后的所述对象识别模型是否达到预设的收敛条件；

若为否，则返回所述以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置的步骤。

第二方面，本发明实施例提供了一种样本数据生成装置，所述装置包括：

背景图像获得模块，用于获得背景图像；

对象图像获得模块，用于确定至少一个对象，并获得各个对象的图像；

标识获得模块，用于获得各个对象的对象标识；

位置确定模块，用于以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；

图像生成模块，用于按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，其中，每一样本图像对应一张所述背景图像；

标记确定模块，用于针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

本发明的一个实施例中，上述位置确定模块，具体用于：

按照以下方式确定每一对象在待生成的预设数量张样本图像中每一图像内的位置：

以随机选择的方式，选择是否将该对象的图像叠加到已添加对象的图像上，所述已添加对象为：对应的图像已添加到样本图像对应的所述背景图像中的对象；

在需要叠加的情况下，以随机选择的方式，从所述已添加对象中，选择与该对象存在重叠关系的对象，作为叠加对象；

以随机选择的方式，选择该对象与所述叠加对象间的相对位置偏移；

根据所选择的相对位置偏移，确定该对象在样本图像中的位置。

本发明的一个实施例中，上述图像生成模块，具体用于：

按照以下方式生成预设数量张样本图像中的每一图像：

针对每个对象，以随机选择的方式确定是否对该对象的图像进行模糊处理；

对需要进行模糊处理的第一类对象的图像进行模糊处理；

按照所确定的位置，将第一类对象的模糊处理后图像和第二类对象的图像添加至样本图像对应的所述背景图像，生成样本图像，其中，所述第二类对象为：除第一类对象之外的对象。

本发明的一个实施例中，上述对象图像获得模块，具体用于：

确定待分析视频中预设时长的视频段内发生位置变化的运动对象；

从所确定的运动对象中选择对象，并获得各个所选择的对象的图像。

本发明的一个实施例中，上述背景图像为地图图像。

本发明的一个实施例中，上述装置还包括：

模型训练模块，用于以所生成的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练。

本发明的一个实施例中，上述装置还包括：

收敛条件判断模块，用于判断训练后的所述对象识别模型是否达到预设的收敛条件，若为否，则返回触发所述位置确定模块。

第三方面，本发明实施例提供了一种样本数据生成系统，所述系统包括：样本生成子系统与模型训练子系统；其中，

所述样本生成子系统，用于获得背景图像；确定至少一个对象，并获得各个对象的图像；获得各个对象的对象标识；以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，其中，每一样本图像对应一张所述背景图像；针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记；向所述模型训练子系统发送训练触发事件、各个样本图像与各个样本图像中各个对象的标记；

所述模型训练子系统，用于接收所述训练触发事件、样本图像与各个样本图像中各个对象的标记；并在接收到所述训练触发事件后以接收到的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练。

本发明的一个实施例中，所述模型训练子系统，还用于判断训练后的所述对象识别模型是否达到预设的收敛条件；若为否，则向所述样本生成子系统发送样本生成触发事件；

所述样本生成子系统，还用于接收所述样本生成触发事件；并在接收到所述样本生成触发事件后触发执行所述以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置的步骤。

第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。

第五方面，本发明实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。

第六方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法步骤。

本发明实施例有益效果：

由以上可见，应用本发明实施例提供的方案生成样本数据时，获得背景图像，确定至少一个对象，并获得各个对象的图像；获得各个对象的对象标识；以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；按照所确定的位置，将各个对象的图像添加至每一样本图像对应的背景图像，生成预设数量张样本图像，其中，每一样本图像对应一张背景图像；针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本发明实施例提供的第一种样本数据生成方法的流程示意图；

图1B为本发明实施例提供的一种样本图像的示意图；

图2为本发明实施例提供的第二种样本数据生成方法的流程示意图；

图3为本发明实施例提供的第三种样本数据生成方法的流程示意图；

图4A为本发明实施例提供的第四种样本数据生成方法的流程示意图；

图4B为本发明实施例提供的一种对象识别模型识别结果的示意图；

图5为本发明实施例提供的第五种样本数据生成方法的流程示意图；

图6为本发明实施例提供的第一种样本数据生成装置的结构示意图；

图7为本发明实施例提供的第二种样本数据生成装置的结构示意图；

图8为本发明实施例提供的第三种样本数据生成装置的结构示意图；

图9为本发明实施例提供的一种样本数据生成系统的结构示意图；

图10为本发明实施例提供的一种样本数据生成系统信令流程示意图；

图11为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有技术中存在获得样本数据时效率较低的技术问题，为解决这一问题，本发明实施例提供了一种样本数据生成方法、装置及系统。

本发明的一个实施例中，提供了一种样本数据生成方法，上述方法包括：

获得背景图像。

确定至少一个对象，并获得各个对象的图像。

获得各个对象的对象标识。

以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置。

按照所确定的位置，将各个对象的图像添加至每一样本图像对应的上述背景图像，生成上述预设数量张样本图像，其中，每一样本图像对应一张上述背景图像。

针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

由以上可见，样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

以下通过具体实施例对本发明实施例提供的样本数据生成方法、装置及系统进行说明。

参见图1A，本发明实施例提供了第一种样本数据生成方法的流程示意图，具体的，上述方法包括以下步骤S101-S106。

S101：获得背景图像。

其中，上述背景图像为：作为待生成的样本图像中背景的图像。上述背景图像可以为地图图像、场景图像等图像，其中，上述场景图像可以是房间图像、商场图像等。

具体的，上述背景图像可以是基于已有视频生成的图像，还可以是并不依赖于任何视频生成的图像。

一种实现方式中，上述背景图像可以为待分析视频中预设时长的视频段内不发生变化的图像。例如，若上述待分析视频为足球比赛视频，预设时长可以为1分钟，则背景图像为足球场地图像。

另一种实现方式中，上述背景图像还可以是针对场景直接采集的一张不包含对象的图像，例如，不包含人的操场图像。与此相类似，上述背景图像还可以是直接截取的一张不包含对象的图像，例如，截取的不包含游戏角色的游戏场景图像等。

S102：确定至少一个对象，并获得各个对象的图像。

其中，上述对象为用于生成样本图像的对象，例如，上述对象可以为人、动物、树木、建筑物、还可以为游戏中的角色等。

具体的，可以通过以下步骤A-步骤B确定对象。

步骤A：确定待分析视频中预设时长的视频段内发生位置变化的运动对象。

具体的，分析待分析视频中预设时长的时间段内各个视频帧，获得在各个视频帧中发生位置变化的图像部分对应的对象，作为运动对象。

例如，上述待分析视频可以为足球比赛视频，预设时长可以为1分钟，则上述运动对象可以为视频中的各个运动员。上述待分析视频也可以为游戏比赛视频，预设时长可以为1分钟，则上述运动对象可以为游戏中的各个角色。

步骤B：从所确定的运动对象中选择对象。

具体的，可以选择至少一个运动对象作为上述对象。

例如，若上述运动对象为足球比赛中的各个运动员，则可以选择其中至少一个运动员作为上述对象。

另外，还可以从对象数据库中选择预设数量的对象，从而确定上述对象。

其中，上述对象数据库为存储对象信息的数据库，上述预设数量可以为固定的数量，或根据实际应用需求确定的数量。

此外，在确定对象之后，可以根据对象从对象图像数据库中获得与各个对象相对应的对象的图像。

S103：获得各个对象的对象标识。

具体的，上述对象标识为对象的属性信息，在获得各个对象的标识时可以从上述对象信息库中获取对象的属性信息，将对象的属性信息中的一个或多个作为对象的标识。

例如，若对象为游戏比赛中的各个角色，则上述对象的属性信息可以包括角色的名称、技能、类别等信息，可以将对象的1个属性信息作为对象的标识，如角色的名称。

S104：以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置。

具体的，可以在图像的预设区域中随机确定位置。其中，上述预设区域依据样本图像对应的场景确定。

例如，样本图像对应的场景为足球比赛时，上述预设区域可以为图像中对应于足球比赛场地的一个半场的区域。样本图像对应的场景为游戏比赛图像时，上述预设区域可以为游戏地图图像中角色可移动到的区域。

本发明的一个实施例中，可以使用步骤S104A-S104D确定各个对象在待生成的预设数量张样本图像中每一图像内的位置，这里暂不详述。

S105：按照所确定的位置，将各个对象的图像添加至每一样本图像对应的上述背景图像，生成上述预设数量张样本图像。

其中，由于是在各个背景图像中随机选择位置并添加对象的图像，从而生成样本图像，因此每一样本图像对应一张上述背景图像。每一样本图像均包含上述各个对象，由于各个对象在不同样本图像中的位置由随机选择产生，因此生成的样本图像各不相同。

上述预设数量可以为8000张、10000张或其他数量。

例如，若上述对象的图像为圆形图像则上述位置可以以一个像素点表示，对应上述圆形图像的圆心。则可以以对象的图像的圆心与上述位置相对应的方式将对象的图像添加到背景图像中，生成样本图像。

参见图1B，本发明实施例提供了一种样本图像的示意图。该图示出了游戏角色在游戏地图中不同位置，其中上述对象为游戏角色，上述背景图像为游戏地图，为便于说明上述游戏角色的图像，图1B中以白色圆形框线进行了标示。

S106：针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

由于上述对象的标记包含对象的标识与位置，因此可以通过对象的标记确定样本图像中各个位置的图像对应的对象，以此作为训练对象识别模型时的训练监督信息。

例如，若上述对象为足球比赛中各个运动员时，上述各个对象的标记可以为各个运动员在样本图像中的位置与运动员的姓名，上述对象为游戏比赛中的各个角色时，上述各个对象的标记可以为各个角色在样本图像中的位置与角色的名称。

由以上可见，由于样本数据由样本图像与各个样本图像的各个对象的标记组成，在步骤S105生成了样本图像，在步骤S106确定了各个样本图像中各个对象的标记，因此通过上述方法生成了样本数据。

应用上述实施例提供的方案生成样本数据时，样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

本发明的一个实施例中，参见图2，提供了第二种样本数据生成方法的流程示意图，与前述图1A所示的实施例相比，本实施例中上述步骤S104可以通过步骤S104A-S104D实现。

S104A：以随机选择的方式，选择是否将该对象的图像叠加到已添加对象的图像上。

其中，由于对象的图像是依次添加到样本图像对应的背景图像中的，因此将对应的图像已添加到样本图像对应的上述背景图像中的对象称为已添加对象。

S104B：在需要叠加的情况下，以随机选择的方式，从上述已添加对象中，选择与该对象存在重叠关系的对象，作为叠加对象。

具体的，从上述各个已添加对象中随机选择被该对象的图像叠加上对象，即为与该对象存在叠加关系的对象，作为叠加对象。

S104C：以随机选择的方式，选择该对象与上述叠加对象间的相对位置偏移。

具体的，上述相对位置偏移包括纵向偏移与横向偏移，上述相对位置偏移可以为在预设区间内随机选择的，对于纵向偏移与横向偏移上述预设区间可以不相同。

例如，对于纵向偏移，上述预设区间可以为[-30,30]，其中，负数可以代表相对叠加对象向上偏移，正数可以代表相对叠加对象向下偏移，具体数值代表该对象对应的图像相对于叠加对象对应的图像纵向偏移的像素点的个数。

对于横向偏移，上述预设区间可以为[-20,20]，其中，负数可以代表相对叠加对象向左偏移，正数可以代表相对叠加对象向右偏移，具体数值代表该对象对应的图像相对于叠加对象对应的图像横向偏移的像素点的个数。

若随机选择的相对位置偏移为纵向-30，横向10，则该对象对应的图像相对叠加对象对应的图像向上偏移30个像素点，向右偏移10个像素点。

S104D：根据所选择的相对位置偏移，确定该对象在样本图像中的位置。

具体的，可以根据上述叠加对象对应的图像的中心点位置与所选择的相对位置偏移，确定该对象在样本图像中的位置。

例如，若该对象与上述叠加对象对应的图像均为圆形图像，则图像的中心点的位置为圆心位置，若所选择的相对位置偏移为纵向-30，横向10，则该对象对应的图像的圆心位置位于叠加对象对应的图像的圆心位置下方30个像素点，右侧10个像素点处，从而将该对象对应的图像叠加到叠加对象对应的图像上。

由于在真实场景中可能发生对象重叠的现象，因此可以通过上述方式在样本图像中通过对象的图像的重叠模拟上述对象重叠的现象。例如，在游戏比赛中，由于角色在发生对战时会出现角色重叠在一起的情况，因此可以通过将角色图像在样本图像中的重叠模拟上述情况。

由以上可见，本实施例提供的方案中，随机选择对象是否叠加到已添加对象上，随机选择存在重叠关系的已添加对象，随机选择相对与已添加对象的相对位置偏移，并根据已添加对象的位置与相对位置偏移确定对象的位置。由于上述方法中的各个步骤均为随机选择，因此可以认为通过上述方法获得的样本数据中的对象重叠的情况可以模拟真实样本数据中的对象发生重叠的情况。通过上述方法增加了生成的样本数据的多样性。

本发明的一个实施例中，参见图3，提供了第三种样本数据生成方法的流程示意图，与前述图1A所示的实施例相比，本实施例中上述步骤S105可以通过步骤S105A-S105C实现。

S105A：针对每个对象，以随机选择的方式确定是否对该对象的图像进行模糊处理。

具体的，通过上述模糊处理可以模拟对象的图像的不同清晰程度。由于在真实场景中，样本图像中的各个对象的图像的清晰程度是不确定的，因此通过模糊处理可以模拟对象的图像的不同清晰程度，模拟上述真实场景。

S105B：对需要进行模糊处理的第一类对象的图像进行模糊处理。

具体的，可以采用均值滤波或高斯滤波的方式对图像进行模糊处理。

S105C：按照所确定的位置，将第一类对象的模糊处理后图像和第二类对象的图像添加至样本图像对应的上述背景图像，生成样本图像。

其中，上述第二类对象为：除第一类对象之外的对象。

具体的，由于上述对各个对象对应的图像随机进行模糊处理的操作是针对每一张样本图像分别进行的，因此同一个对象的图像在不同样本图像中可以是模糊的或不模糊的，同一张样本图像中的各个对象的图像也可以分别是模糊的或不模糊的。

由以上可见，本实施例提供的方案中，针对每一样本图像中的每一对象，随机选择是否对该对象的图像进行模糊处理，若需要进行模糊处理则将进行模糊处理之后的该对象的图像添加到样本图像中。因此对于一个对象的图像，在生成样本数据的不同样本图像中既可以为未经模糊处理的图像也可以为模糊处理之后的图像，通过上述方法可以模拟同一个对象的不同清晰度情况，增加了样本数据中样本图像的多样性。

本发明的一个实施例中，参见图4A，提供了第四种样本数据生成方法的流程示意图，与前述图1A所示的实施例相比，本实施例中上述步骤S106之后还包括以下步骤S107。

S107：以所生成的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对上述对象识别模型进行训练。

其中，上述对象识别模型用于识别图像中的各个对象，确定各个对象的位置。

具体的，将每一样本图像输入对象识别模型，对样本图像中的各个对象进行识别，确定各个对象的位置，获得识别结果，将识别结果与样本图像中的各个对象的标记进行对比，计算模型训练的损失，通过损失判断上述对象识别模型是否达到收敛条件，从而确定生成的样本数据是否足够用于对象识别模型的训练。

参见图4B，提供了一种对象识别模型识别结果的示意图，图4B中方形线框框出的图像区域为在图像中识别出的游戏角色所在区域，图中的字符部分“ak ali”、“aat rox”、“braum”、“alis t ar”为识别到的游戏角色的角色名。

由以上可见，本实施例提供的方案中，在生成样本数据之后，可以使用上述样本数据中的样本图像对对象识别模型进行训练，获得识别结果，并根据识别结果与样本数据中各个对象的作为训练监督信息的标记进行对比，确定对象识别模型是否已经收敛，从而确定生成的样本数据是否足够用于对象识别模型的训练。

本发明的一个实施例中，参见图5，提供了第五种样本数据生成方法的流程示意图，与前述图4A所示的实施例相比，本实施例中上述步骤S107之后还包括以下步骤S108。

S108：判断训练后的上述对象识别模型是否达到预设的收敛条件，在判断结果为否的情况下，返回上述步骤S104。

具体的，对上述对象识别模型在训练过程中的输出结果与样本数据中的各个对象的标记进行对比，计算上述对象识别模型的损失，判断上述对象识别模型是否达到预设的收敛条件。

若判断结果为未收敛，则说明需要进一步生成新的样本数据对上述对象识别模型进行训练，直至上述对象识别模型达到预设收敛条件。因此返回上述步骤S104，生成新的样本数据，再使用新的样本数据对上述对象识别模型进行进一步训练。

由以上可见，本实施例提供的方案中，若使用生成的样本数据对对象识别模型进行训练后未达到预设的收敛条件，则需要再次生成新的样本数据，使用新的样本数据对对象识别模型再次进行训练，直至上述对象识别模型达到预设的收敛条件。使用上述方法可以根据对象识别模型的训练结果确定是否触发生成新的样本数据的步骤。从而能够为模型训练过程提供更多的样本数据，有利于实现模型训练的自动化。

与上述样本数据生成方法相对应，本发明实施例还提供了一种样本数据生成装置。

参见图6，本发明实施例提供了第一种样本数据生成装置的结构示意图，上述装置包括：

背景图像获得模块601，用于获得背景图像；

对象图像获得模块602，用于确定至少一个对象，并获得各个对象的图像；

标识获得模块603，用于获得各个对象的对象标识；

位置确定模块604，用于以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；

图像生成模块605，用于按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，其中，每一样本图像对应一张所述背景图像；

标记确定模块606，用于针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

应用上述实施例提供的方案生成样本数据时，样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

本发明的一个实施例中，上述位置确定模块604，具体用于：

按照以下方式确定每一对象在待生成的预设数量张样本图像中每一图像内的位置：

以随机选择的方式，选择是否将该对象的图像叠加到已添加对象的图像上，所述已添加对象为：对应的图像已添加到样本图像对应的所述背景图像中的对象；

在需要叠加的情况下，以随机选择的方式，从所述已添加对象中，选择与该对象存在重叠关系的对象，作为叠加对象；

以随机选择的方式，选择该对象与所述叠加对象间的相对位置偏移；

根据所选择的相对位置偏移，确定该对象在样本图像中的位置。

由以上可见，本实施例提供的方案中，随机选择对象是否叠加到已添加对象上，随机选择存在重叠关系的已添加对象，随机选择相对与已添加对象的相对位置偏移，并根据已添加对象的位置与相对位置偏移确定对象的位置。由于上述方法中的各个步骤均为随机选择，因此可以认为通过上述方法获得的样本数据中的对象重叠的情况可以模拟真实样本数据中的对象发生重叠的情况。通过上述方法增加了生成的样本数据的多样性。

本发明的一个实施例中，上述图像生成模块605，具体用于：

按照以下方式生成预设数量张样本图像中的每一图像：

针对每个对象，以随机选择的方式确定是否对该对象的图像进行模糊处理；

对需要进行模糊处理的第一类对象的图像进行模糊处理；

按照所确定的位置，将第一类对象的模糊处理后图像和第二类对象的图像添加至样本图像对应的所述背景图像，生成样本图像，其中，所述第二类对象为：除第一类对象之外的对象。

由以上可见，本实施例提供的方案中，针对每一样本图像中的每一对象，随机选择是否对该对象的图像进行模糊处理，若需要进行模糊处理则将进行模糊处理之后的该对象的图像添加到样本图像中。因此对于一个对象的图像，在生成样本数据的不同样本图像中既可以为未经模糊处理的图像也可以为模糊处理之后的图像，通过上述方法可以模拟同一个对象的不同清晰度情况，增加了样本数据中样本图像的多样性。

本发明的一个实施例中，上述对象图像获得模块602，具体用于：

确定待分析视频中预设时长的视频段内发生位置变化的运动对象；

从所确定的运动对象中选择对象，并获得各个所选择的对象的图像。

本发明的一个实施例中，上述背景图像为地图图像。

本发明的一个实施例中，参见图7，提供了第二种样本数据生成装置的结构示意图，与前述图6所示的实施例相比，上述装置还包括：

模型训练模块607，用于以所生成的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练。

由以上可见，本实施例提供的方案中，在生成样本数据之后，可以使用上述样本数据中的样本图像对对象识别模型进行训练，获得识别结果，并根据识别结果与样本数据中各个对象的作为训练监督信息的标记进行对比，确定对象识别模型是否已经收敛，从而确定生成的样本数据是否足够用于对象识别模型的训练。

本发明的一个实施例中，参见图8，提供了第三种样本数据生成装置的结构示意图，与前述图7所示的实施例相比，上述装置还包括：

收敛条件判断模块608，用于判断训练后的所述对象识别模型是否达到预设的收敛条件，若为否，则返回触发所述位置确定模块604。

由以上可见，本实施例提供的方案中，若使用生成的样本数据对对象识别模型进行训练后未达到预设的收敛条件，则需要再次生成新的样本数据，使用新的样本数据对对象识别模型再次进行训练，直至上述对象识别模型达到预设的收敛条件。使用上述方法可以根据对象识别模型的训练结果确定是否触发生成新的样本数据的步骤。从而能够为模型训练过程提供更多的样本数据，有利于实现模型训练的自动化。

与上述样本数据生成方法相对应，本发明实施例还提供了一种样本数据生成系统。

本发明的一个实施例中，参见图9，提供了一种样本数据生成系统的结构示意图，上述系统包括：样本生成子系统901与模型训练子系统902。

参见图10，提供了本发明实施例的一种样本数据生成系统信令流程示意图，该图示出了样本生成子系统与模型训练子系统的操作步骤，与样本生成子系统与模型训练子系统之间的信令发送与接收关系。

结合图9与图10对本发明实施例中的样本数据生成系统进行描述。

上述样本生成子系统901，用于获得背景图像(S1001)；确定至少一个对象，并获得各个对象的图像；获得各个对象的对象标识(S1002)；以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像(S1003)。其中，每一样本图像对应一张所述背景图像。针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记(S1004)；向所述模型训练子系统902发送训练触发事件、各个样本图像与各个样本图像中各个对象的标记。

上述模型训练子系统902，用于接收所述训练触发事件、样本图像与各个样本图像中各个对象的标记；并在接收到所述训练触发事件后以接收到的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练(S1005)。

本发明的一个实施例中，上述模型训练子系统902，还用于判断训练后的所述对象识别模型是否达到预设的收敛条件(S1006)；若为否，则向所述样本生成子系统901发送样本生成触发事件。

上述样本生成子系统901，还用于接收所述样本生成触发事件；并在接收到所述样本生成触发事件后触发执行上述步骤S1003。

应用上述实施例提供的方案生成样本数据时，样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

本发明实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，

存储器1103，用于存放计算机程序；

处理器1101，用于执行存储器1103上所存放的程序时，实现上述样本数据生成方法实施例任一所述的方法步骤。

电子设备应用上述实施例提供的方案生成样本数据时，样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述样本数据生成方法实施例任一所述的方法步骤。

执行本实施例提供的计算机可读存储介质中存储的计算机程序生成样本数据时，样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述样本数据生成方法实施例任一所述的方法步骤。

执行本实施例提供的计算机程序产品生成样本数据时，样本数据包括样本图像与样本标识。对于样本图像，本发明实施例提供的方案中，在各个样本图像中分别随机选择位置，并将对象的图像添加到各个样本图像对应的背景图像中所选择的位置，从而生成样本图像。由于对象在样本图像的位置是随机选择的，因此通过上述方式可以模拟不同情况下对象在样本图像中的出现位置。对于样本标识，由于样本标识包括对象标识以及对象在样本图像中的位置，其中，对象标识在确定对象时便可以确定，对象在样本图像中的位置在生成样本图像之前也是已经确定的，因此在生成样本图像后便可以得到上述样本标识。综合可见，应用本发明实施例提供的方案生成样本数据时，不需要人工对各个样本图像中的各个对象分别进行识别，也不需要手动生成各个样本图像中各个对象的标识，从而节省了生成样本数据时的人工成本，提高了生成样本数据的效率。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种样本数据生成方法，其特征在于，所述方法包括：

获得背景图像；

确定至少一个对象，并获得各个对象的图像；

获得各个对象的对象标识；

以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；

按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，其中，每一样本图像对应一张所述背景图像；

针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

2.根据权利要求1所述的方法，其特征在于，所述以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置，包括：

按照以下方式确定每一对象在待生成的预设数量张样本图像中每一图像内的位置：

以随机选择的方式，选择是否将该对象的图像叠加到已添加对象的图像上，所述已添加对象为：对应的图像已添加到样本图像对应的所述背景图像中的对象；

在需要叠加的情况下，以随机选择的方式，从所述已添加对象中，选择与该对象存在重叠关系的对象，作为叠加对象；

以随机选择的方式，选择该对象与所述叠加对象间的相对位置偏移；

根据所选择的相对位置偏移，确定该对象在样本图像中的位置。

3.根据权利要求1所述的方法，其特征在于，所述按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，包括：

按照以下方式生成预设数量张样本图像中的每一图像：

针对每个对象，以随机选择的方式确定是否对该对象的图像进行模糊处理；

对需要进行模糊处理的第一类对象的图像进行模糊处理；

按照所确定的位置，将第一类对象的模糊处理后图像和第二类对象的图像添加至样本图像对应的所述背景图像，生成样本图像，其中，所述第二类对象为：除第一类对象之外的对象。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述确定至少一个对象，包括：

确定待分析视频中预设时长的视频段内发生位置变化的运动对象；

从所确定的运动对象中选择对象。

5.根据权利要求1-3中任意一项所述的方法，其特征在于，所述背景图像为地图图像。

6.根据权利要求1-3中任意一项所述的方法，其特征在于，在所述针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记之后，还包括：

以所生成的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练。

7.根据权利要求6所述的方法，其特征在于，在所述以所生成的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练之后，还包括：

判断训练后的所述对象识别模型是否达到预设的收敛条件；

若为否，则返回所述以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置的步骤。

8.一种样本数据生成装置，其特征在于，所述装置包括：

背景图像获得模块，用于获得背景图像；

对象图像获得模块，用于确定至少一个对象，并获得各个对象的图像；

标识获得模块，用于获得各个对象的对象标识；

位置确定模块，用于以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；

图像生成模块，用于按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，其中，每一样本图像对应一张所述背景图像；

标记确定模块，用于针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记。

9.一种样本数据生成系统，其特征在于，所述系统包括：样本生成子系统与模型训练子系统；其中，

所述样本生成子系统，用于获得背景图像；确定至少一个对象，并获得各个对象的图像；获得各个对象的对象标识；以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置；按照所确定的位置，将各个对象的图像添加至每一样本图像对应的所述背景图像，生成所述预设数量张样本图像，其中，每一样本图像对应一张所述背景图像；针对每一样本图像，将该样本图像中各个对象的标识以及位置确定为各个对象的标记；向所述模型训练子系统发送训练触发事件、各个样本图像与各个样本图像中各个对象的标记；

所述模型训练子系统，用于接收所述训练触发事件、样本图像与各个样本图像中各个对象的标记；并在接收到所述训练触发事件后以接收到的每一样本图像为对象识别模型的输入信息，以各个样本图像中各个对象的标记为训练监督信息，对所述对象识别模型进行训练。

10.根据权利要求9所述的系统，其特征在于，

所述模型训练子系统，还用于判断训练后的所述对象识别模型是否达到预设的收敛条件；若为否，则向所述样本生成子系统发送样本生成触发事件；

所述样本生成子系统，还用于接收所述样本生成触发事件；并在接收到所述样本生成触发事件后触发执行所述以随机确定位置的方式，确定各个对象在待生成的预设数量张样本图像中每一图像内的位置的步骤。

Images