CN108509921A - 用于生成信息的方法和装置 - Google Patents

Abstract

本申请实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；获取与待检测图像关联的第一位置信息集合；基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合；基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合；根据所述第二位置信息集合与所述第三位置信息集合生成目标信息。该实施方式提供了一种基于目标检测与目标跟踪的信息生成机制，丰富了信息生成方法。

Description

用于生成信息的方法和装置

技术领域

本申请实施例涉及计算机技术领域，尤其涉及用于生成信息的方法和装置。

背景技术

随着计算机技术的飞快发展，数字图像处理技术发展越来越迅猛，已经深入到生活的方方面面。目标检测、目标跟踪作为数字图像处理技术领域重要研究课题之一，被广泛应用于国防军事、公共交通、社会安全和商业应用等各个领域。所谓目标检测，是通过分析图像或者视频中的目标的特征，将目标识别出来，获得目标的类别和位置信息，能够对目标做进一步分析和理解提供帮助。而目标跟踪是在连续帧中定位目标。现有技术中，目标检测、目标跟踪之间的联系主要是通过目标检测来进行目标跟踪。

发明内容

本申请实施例提出了用于生成信息的方法和装置。

第一方面，本申请实施例提供了一种用于生成信息的方法，该方法包括：获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；获取与待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置；基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置；基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置；根据所述第二位置信息集合与所述第三位置信息集合生成目标信息。

在一些实施例中，在一些实施例中，根据第二位置信息集合与第三位置信息集合生成目标信息，包括：根据第二位置信息集合与第三位置信息集合，确定与第二目标区域的重叠度低于预设阈值的第三目标区域；根据确定出的第三目标区域的位置信息，生成与后帧图像关联的第一标注信息。

在一些实施例中，方法还包括：利用机器学习方法，将后帧图像作为输入，第一标注信息作为输出，更新目标跟踪模型。

在一些实施例中，根据第二位置信息集合与第三位置信息集合生成目标信息，包括：根据第二位置信息集合与第三位置信息集合，确定与第三目标区域的重叠度低于预设阈值的第二目标区域；根据确定出的第二目标区域的位置信息，生成与后帧图像关联的第二标注信息。

在一些实施例中，方法还包括：利用机器学习方法，将后帧图像作为输入，第二标注信息作为输出，更新目标检测模型。

第二方面，本申请实施例提供了一种用于生成信息的装置，该装置包括：第一获取单元，被配置成获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；第二获取单元，被配置成获取与待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置；第三获取单元，被配置成基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置；第四获取单元，被配置成基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置；生成单元，被配置成根据第二位置信息集合与第三位置信息集合生成目标信息。

在一些实施例中，生成单元，包括：第一确定子单元，被配置成根据第二位置信息集合与第三位置信息集合，确定与第二目标区域的重叠度低于预设阈值的第三目标区域；第一生成子单元，被配置成根据确定出的第三目标区域的位置信息，生成与后帧图像关联的第一标注信息。

在一些实施例中，装置还包括：第一训练单元，被配置成利用机器学习方法，将后帧图像作为输入，第一标注信息作为输出，更新目标跟踪模型。

在一些实施例中，生成单元，包括：第二确定子单元，被配置成根据第二位置信息集合与第三位置信息集合，确定与第三目标区域的重叠度低于预设阈值的第二目标区域；第二生成子单元，被配置成根据确定出的第二目标区域的位置信息，生成与后帧图像关联的第二标注信息。

在一些实施例中，装置还包括：第二训练单元，被配置成利用机器学习方法，将后帧图像作为输入，第二标注信息作为输出，更新目标检测模型。

第三方面，本申请实施例提供了一种设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得上述一个或多个处理器实现如第一方面上述的方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面上述的方法。

本申请实施例提供的用于生成信息的方法和装置，通过获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像，并获取与待检测图像关联的第一位置信息集合，而后基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，并基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，最后根据所述第二位置信息集合与所述第三位置信息集合生成目标信息，从而提供了一种基于目标检测与目标跟踪的信息生成机制，丰富了信息生成方法。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于生成信息的方法的一个实施例的流程图；

图3是根据本申请的用于生成信息的方法的应用场景的一个示意图；

图4是根据本申请的用于生成信息的方法的又一个实施例的流程图；

图5是根据本申请的用于生成信息的装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于生成信息的方法或用于生成信息的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像采集类应用、图像处理类应用、活体检测类应用、搜索类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供图像采集服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上安装的应用提供支持的后台服务器，后台服务器可以对终端提交的数据进行分析、存储或计算等处理，并将采用机器学习任务获得的数据处理结果推送给终端设备。服务器105可以获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；获取与待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置；基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置；基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置；根据所述第二位置信息集合与所述第三位置信息集合生成目标信息。

需要说明的是，本申请实施例所提供的用于生成信息的方法可以由服务器105执行，也可以由终端设备101、102、103执行。相应地，用于生成信息的装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要指出的是，服务器105可以从本地数据库中或服务器集群中其他服务器处获取待处理的数据(例如目标图像序列)。此时，示例性系统架构100也可以不包括终端设备101、102、103和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的用于生成信息的方法的一个实施例的流程200。该用于生成信息的方法，包括以下步骤：

步骤201，获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像。

在本实施例中，用于生成信息的方法执行主体(例如图1所示的服务器)可以首先获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像。图像序列可以是通过支持图像连拍功能的终端设进行一次连拍所得到的多帧图像，也可以是通过支持视频拍摄功能的终端设备进行拍摄所得到的视频中的多帧图像，目标图像序列可以是待对其进行处理的任何图像序列。

通常，图像序列中的图像的排列顺序与图像的拍摄顺序相同。待检测图像可以是目标图像序列中需要通过其获取目标跟踪的依据的图像。待检测图像与后帧图像可以在目标图像序列中相邻或不相邻，例如，可以将待检测图像后一帧或后几帧图像作为后帧图像，也可以在待检测图像后每隔预定帧数获取图像作为后帧图像。

步骤202，获取与待检测图像关联的第一位置信息集合。

在本实施例中，上述执行主体可以获取与步骤201中获取的待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置。这里，目标可以是物理世界中的各种目标。作为示例，目标可以是物理世界中的人、物品、动物、植物、建筑、地点等。作为示例，目标也可以是具体的人或者动物的身体某部分，例如，人脸、动物的头部等。作为示例，目标还可以是动物或植物，比如，猴子、大象、灌木丛等等。第一目标区域可以是待检测图像中显示上述目标的图像的区域，作为示例，可以用矩形框或其他形状的框框出图像中上述目标的展现区域作为目标区域。

第一位置信息可以是任何可以表征第一目标区域的位置的信息，例如，目标区域的坐标，目标区域为矩形时，第一位置信息可以包括右上角顶点的横坐标、右上角顶点的纵坐标、左下角顶点的横坐标、左下角顶点的纵坐标；或表征目标区域的中心的横坐标、中心的纵坐标、区域的长、区域的宽。第一位置信息还可以是任何能够对待检测图像中的第一目标区域和非第一目标区域进行区分的信息。例如，对待检测图像中的某个第一目标区域，可以将属于该第一目标区域的各像素均标识“1”，而对待检测图像中的不属于该第一目标区域的各像素标识“0”。

可选的，待检测图像与第一位置信息集合，可以关联的存储在预设数据库中，第一位置信息集合中的第一位置信息可以由人工或机器标注得到。上述执行主体可以直接从预设数据库中获取与待检测图像关联的第一位置信息集合。上述执行主体也可以在获取到待检测图像后通过目标检测算法获取与待检测图像关联的第一位置信息集合。目标检测算法可以基于深度学习等方法实现，目标检测算法为本领域技术人员熟知的技术，本实施例对如何进行目标检测不作限定。

步骤203，基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合。

在本实施例中，上述执行主体可以基于步骤202中获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合。第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置。第一目标区域与第二目标区域的关联，可以是第一目标区域为第二目标区域中展现的目标相同的概率超过预设阈值，例如，步骤202中标识为“001”的第一目标区域的信息输入至目标跟踪模型后得到的跟踪结果指示出标识为“002”第二目标区域的位置信息，则标识为“002”第二目标区域与标识为“001”的第一目标区域关联。

参照步骤202中关于第一位置信息的记载，第二位置信息可以是任何可以表征第二目标区域的位置的信息。目标跟踪是在检测到人脸的前提下，在后续帧中继续捕获目标的位置及其大小等信息。

这里，目标跟踪模型可以用于表征后帧图像、第一位置信息与第二位置信息的对应关系，可以利用目标跟踪算法，通过机器学习方法训练得到。目标跟踪算法包括生成(generative)模型方法、判别(discriminative)模型方法和基于相关滤波器的跟踪算法，生成类方法通常是在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波等，判别类方法通常是当前帧以目标区域为正样本，背景区域为负样本，通过机器学习方法训练分类器，下一帧用训练好的分类器找最优区域。目标跟踪为本领域技术人员熟知的技术，本实施例对如何通过目标跟踪模型进行目标跟踪不作限定。

步骤204，基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置。

在本实施例中，上述执行主体可以基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置。参照步骤202中关于第一位置信息的记载，第三位置信息可以是任何可以表征第三目标区域的位置的信息。上述目标检测模型可以是利用各种机器学习方法和训练样本对现有的机器学习模型(例如各种人工神经网络等)进行有监督训练而得到的。这里，训练样本可以包括大量样本图像和样本图像的目标区域位置信息。

实践中，机器学习模型可以采用卷积神经网络，卷积神经网络可以是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。通常，卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，特征映射层采用激活函数，使得特征映射具有位移不变性。因此，卷积神经网络常用来做区域定位模型和特征提取模型的初始模型。这里，可以利用训练样本对初始卷积神经网络进行训练，从而得到目标检测模型。具体地，目标检测模型可以通过如下步骤训练得到：

首先，获取样本图像和样本图像的目标区域的标注结果。

通常，样本图像的目标区域标注结果可以包括目标区域的位置信息和目标的标识。

然后，将样本图像作为输入，将样本图像的目标区域的标注结果作为输出，对初始卷积神经网络进行训练，得到目标检测模型。

这里，初始卷积神经网络可以是未经训练的卷积神经网络或未训练完成的卷积神经网络，初始卷积神经网络可以设置有初始网络参数(例如不同的小随机数)，网络参数在目标检测模型的训练过程中可以被不断地调整。直至训练出能够表征用户的图像和用户的目标区域之间的对应关系的目标检测模型为止。例如，可以采用BP(Back Propagation，反向传播)算法或者SGD(Stochastic Gradient Descent，随机梯度下降)算法来调整卷积神经网络的网络参数。

步骤205，根据第二位置信息集合与第三位置信息集合生成目标信息。

在本实施例中，上述执行主体可以根据步骤203中获取的第二位置信息集合与步骤204中获取的第三位置信息集合生成目标信息。上述执行主体可以取第二位置信息集合与第三位置信息集合的中差异较大的元素，作为目标检测模型或目标跟踪模型存在问题的检测或跟踪结果，据此生成目标信息，可以将生成的信息推送至预设电子设备，以供技术人员进行分析；还可以据此生成样本数据，通过样本数据进行模型训练。也可以取第二位置信息集合与第三位置信息集合的中差异较小的元素，作为目标检测模型或目标跟踪模型得到的置信度较高的检测或跟踪结果，据此生成目标信息，可以将生成的信息推送至预设电子设备。

继续参见图3，图3是根据本实施例的用于生成信息的方法的应用场景的一个示意图。在图3的应用场景中，服务器301可以首先获取目标图像序列中待检测图像302以及位于待检测图像302之后的后帧图像303，并获取与待检测图像302关联的第一位置信息集合，第一位置信息集合可以包括用于指示待检测图像中第一目标区域3021的位置的第一位置信息、用于指示待检测图像中第一目标区域3022的位置的第一位置信息、用于指示待检测图像中第一目标区域3023的位置的第一位置信息。

而后服务器301可以基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像303关联的第二位置信息集合，第二位置信息集合包括用于指示后帧图像303中与第一目标区域3021对应的第二目标区域3031的位置的第二位置信息、用于指示后帧图像中与第一目标区域3022对应的第二目标区域3032的位置的第二位置信息、用于指示后帧图像303中与第一目标区域3023对应的第二目标区域3033的位置的第二位置信息，服务器301还可以基于预先训练的目标检测模型，获取与后帧图像303关联的第三位置信息集合，第三位置信息集合包括用于指示后帧图像303中第三目标区域3034的位置的第三位置信息、用于指示后帧图像303中第三目标区域3035的位置的第三位置信息。最后服务器可以根据所述第二位置信息集合与所述第三位置信息集合生成目标信息。

本申请的上述实施例提供的方法通过获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；获取与待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置；基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置；基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置；根据所述第二位置信息集合与所述第三位置信息集合生成目标信息，从而提供了一种基于目标检测与目标跟踪的信息生成机制，丰富了信息生成方法。

进一步参考图4，其示出了用于生成信息的方法的又一个实施例的流程400。该用于生成信息的方法的流程400，包括以下步骤：

步骤401，获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像。

在本实施例中，用于生成信息的方法执行主体(例如图1所示的服务器)可以首先获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像。

步骤402，获取与待检测图像关联的第一位置信息集合。

在本实施例中，上述执行主体可以获取与步骤401中获取的待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置。

步骤403，基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合。

在本实施例中，上述执行主体可以基于步骤402中获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合。

步骤404，基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置。

在本实施例中，上述执行主体可以基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置。

步骤405，根据第二位置信息集合与第三位置信息集合，确定与第二目标区域的重叠度低于预设阈值的第三目标区域。

在本实施例中，上述执行主体可以根据步骤203中获取的第二位置信息集合与步骤204中获取的第三位置信息集合，确定与第二目标区域的重叠度低于预设阈值的第三目标区域。重叠度用于表征区域之间的重叠程度，实践中，重叠度可以是交并比(Intersection over Union，IOU)例如，矩形框A、B的IOU可以通过以下公式计算：

IOU＝(A∩B)/(A∪B)；

其中，(A∩B)表示矩形框A、B的重叠面积，(A∪B)A、B并集的面积。

预设阈值可以根据实际需要进行设置，例如，对数据精确程度要求较高时，阈值可以相应提高。

步骤406，根据确定出的第三目标区域的位置信息，生成与后帧图像关联的第一标注信息。

在本实施例中，上述执行主体可以根据步骤405中确定出的第三目标区域的位置信息，生成与后帧图像关联的第一标注信息。第一标注信息可以包括用于指示确定出的第三目标区域的位置信息，以及确定出的第三目标区域对应的目标的标识信息。

在本实施例的一些可选实现方式中，方法还包括：利用机器学习方法，将后帧图像作为输入，第一标注信息作为输出，更新目标跟踪模型。若第二目标区域与第三目标区域的重叠度低于预设阈值，说明不存在与该第二目标区域对应的第三目标区域，即存在目标跟踪模型未跟踪到但是目标检测模型检测到的目标区域，对于目标跟踪模型来说，是一个较难的处理对象，同时也是一个很好的训练样本。通过此类样本更新目标跟踪模型，可以提高目标跟踪结果的准确性。

步骤407，根据第二位置信息集合与第三位置信息集合，确定与第三目标区域的重叠度低于预设阈值的第二目标区域。

在本实施例中，上述执行主体可以根据步骤203中获取的第二位置信息集合与步骤204中获取的第三位置信息集合，确定与第三目标区域的重叠度低于预设阈值的第二目标区域。

408，根据确定出的第二目标区域的位置信息，生成与后帧图像关联的第二标注信息。

在本实施例中，上述执行主体可以根据步骤405中确定出的第二目标区域的位置信息，生成与后帧图像关联的第二标注信息。第二标注信息可以包括用于指示确定出的第二目标区域的位置信息，以及确定出的第二目标区域对应的目标的标识信息。

在本实施例的一些可选实现方式中，方法还包括：利用机器学习方法，将后帧图像作为输入，第二标注信息作为输出，更新目标检测模型。若第三目标区域与第二目标区域的重叠度低于预设阈值，说明不存在与该第三目标区域对应的第二目标区域，即存在目标检测模型未检测到但是目标跟踪模型跟踪到的目标区域，对于目标检测模型来说，是一个较难的处理对象，同时也是一个很好的训练样本。通过此类样本更新目标检测模型，可以提高目标检测结果的准确性。

在本实施例中，步骤401、步骤402、步骤403、步骤404的操作与步骤201、步骤202、步骤203、步骤204的操作基本相同，在此不再赘述。

从图4中可以看出，与图2对应的实施例相比，本实施例中的用于生成信息的方法的流程400中通过重叠度确定第二位置信息集合与第三位置信息集合中差异较大的元素，并据此生成标注信息，由此，本实施例描述的方案进一步丰富了信息生成的方法。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于生成信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的用于生成信息的装置500包括：第一获取单元501、第二获取单元502、第三获取单元503、第四获取单元504、生成单元505。其中，第一获取单元，被配置成获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；第二获取单元，被配置成获取与待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置；第三获取单元，被配置成基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置；第四获取单元，被配置成基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置；生成单元，被配置成根据第二位置信息集合与第三位置信息集合生成目标信息。

在本实施例中，用于生成信息的装置500的第一获取单元501、第二获取单元502、第三获取单元503、第四获取单元504、生成单元505的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204和步骤205。

在本实施例的一些可选实现方式中，生成单元，包括：第一确定子单元，被配置成根据第二位置信息集合与第三位置信息集合，确定与第二目标区域的重叠度低于预设阈值的第三目标区域；第一生成子单元，被配置成根据确定出的第三目标区域的位置信息，生成与后帧图像关联的第一标注信息。

在本实施例的一些可选实现方式中，装置还包括：第一训练单元，被配置成利用机器学习方法，将后帧图像作为输入，第一标注信息作为输出，更新目标跟踪模型。

在本实施例的一些可选实现方式中，生成单元，包括：第二确定子单元，被配置成根据第二位置信息集合与第三位置信息集合，确定与第三目标区域的重叠度低于预设阈值的第二目标区域；第二生成子单元，被配置成根据确定出的第二目标区域的位置信息，生成与后帧图像关联的第二标注信息。

在本实施例的一些可选实现方式中，装置还包括：第二训练单元，被配置成利用机器学习方法，将后帧图像作为输入，第二标注信息作为输出，更新目标检测模型。

本申请的上述实施例提供的装置，通过获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；获取与待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置；基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置；基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置；根据所述第二位置信息集合与所述第三位置信息集合生成目标信息，从而提供了一种基于目标检测与目标跟踪的信息生成机制，丰富了信息生成方法。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据iCPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件可以连接至I/O接口605：包括诸如键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元、第二获取单元、第三获取单元、第四获取单元、生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，生成单元还可以被描述为“用于根据第二位置信息集合与第三位置信息集合生成目标信息的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取目标图像序列中待检测图像以及位于待检测图像之后的后帧图像；获取与待检测图像关联的第一位置信息集合，第一位置信息用于指示待检测图像中第一目标区域的位置；基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与后帧图像关联的第二位置信息集合，第二位置信息用于指示后帧图像中与第一目标区域关联的第二目标区域的位置；基于预先训练的目标检测模型，获取与后帧图像关联的第三位置信息集合，第三位置信息用于指示后帧图像中第三目标区域的位置；根据所述第二位置信息集合与所述第三位置信息集合生成目标信息。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于生成信息的方法，所述方法包括：

获取目标图像序列中待检测图像以及位于所述待检测图像之后的后帧图像；

获取与所述待检测图像关联的第一位置信息集合，第一位置信息用于指示所述待检测图像中第一目标区域的位置；

基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与所述后帧图像关联的第二位置信息集合，第二位置信息用于指示所述后帧图像中与第一目标区域关联的第二目标区域的位置；

基于预先训练的目标检测模型，获取与所述后帧图像关联的第三位置信息集合，第三位置信息用于指示所述后帧图像中第三目标区域的位置；

根据所述第二位置信息集合与所述第三位置信息集合生成目标信息。

2.根据权利要求1所述的方法，其中，所述根据所述第二位置信息集合与所述第三位置信息集合生成目标信息，包括：

根据所述第二位置信息集合与所述第三位置信息集合，确定与第二目标区域的重叠度低于预设阈值的第三目标区域；

根据确定出的第三目标区域的位置信息，生成与所述后帧图像关联的第一标注信息。

3.根据权利要求2所述的方法，其中，所述方法还包括：

利用机器学习方法，将所述后帧图像作为输入，所述第一标注信息作为输出，更新所述目标跟踪模型。

4.根据权利要求1-3中任一项所述的方法，其中，所述根据所述第二位置信息集合与所述第三位置信息集合生成目标信息，包括：

根据所述第二位置信息集合与所述第三位置信息集合，确定与第三目标区域的重叠度低于预设阈值的第二目标区域；

根据确定出的第二目标区域的位置信息，生成与所述后帧图像关联的第二标注信息。

5.根据权利要求4所述的方法，其中，所述方法还包括：

利用机器学习方法，将所述后帧图像作为输入，所述第二标注信息作为输出，更新所述目标检测模型。

6.一种用于生成信息的装置，所述装置包括：

第一获取单元，被配置成获取目标图像序列中待检测图像以及位于所述待检测图像之后的后帧图像；

第二获取单元，被配置成获取与所述待检测图像关联的第一位置信息集合，第一位置信息用于指示所述待检测图像中第一目标区域的位置；

第三获取单元，被配置成基于所获取的第一位置信息集合与预先训练的目标跟踪模型，获取与所述后帧图像关联的第二位置信息集合，第二位置信息用于指示所述后帧图像中与第一目标区域关联的第二目标区域的位置；

第四获取单元，被配置成基于预先训练的目标检测模型，获取与所述后帧图像关联的第三位置信息集合，第三位置信息用于指示所述后帧图像中第三目标区域的位置；

生成单元，被配置成根据所述第二位置信息集合与所述第三位置信息集合生成目标信息。

7.根据权利要求6所述的装置，其中，所述生成单元，包括：

第一确定子单元，被配置成根据所述第二位置信息集合与所述第三位置信息集合，确定与第二目标区域的重叠度低于预设阈值的第三目标区域；

第一生成子单元，被配置成根据确定出的第三目标区域的位置信息，生成与所述后帧图像关联的第一标注信息。

8.根据权利要求7所述的装置，其中，所述装置还包括：

第一训练单元，被配置成利用机器学习方法，将所述后帧图像作为输入，所述第一标注信息作为输出，更新所述目标跟踪模型。

9.根据权利要求6-8中任一项所述的装置，其中，所述生成单元，包括：

第二确定子单元，被配置成根据所述第二位置信息集合与所述第三位置信息集合，确定与第三目标区域的重叠度低于预设阈值的第二目标区域；

第二生成子单元，被配置成根据确定出的第二目标区域的位置信息，生成与所述后帧图像关联的第二标注信息。

10.根据权利要求9所述的装置，其中，所述装置还包括：

第二训练单元，被配置成利用机器学习方法，将所述后帧图像作为输入，所述第二标注信息作为输出，更新所述目标检测模型。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。