CN111354013A - 目标检测方法及装置、设备和存储介质 - Google Patents

Abstract

本发明提出了一种目标检测方法及装置、设备和存储介质，该目标检测方法包括：基于指定的前景目标检测方式获取图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息；将所述对象信息集合输入目标对象筛选模型；通过所述目标对象筛选模型输出第一目标对象。通过本发明的技术方案，提升了目标图像识别的效率，而由于目标对象更为准确有效，则基于此目标对象所发送的信息也就更为适应用户的实际需求。

Description

目标检测方法及装置、设备和存储介质

【技术领域】

本发明涉及图像处理技术领域，尤其涉及一种目标检测方法及装置、设备和存储介质。

【背景技术】

用户在使用视频软件时往往具有获得关联信息的意图，这就需要根据视频内容对用户推荐关联信息。目前，可通过图像分割的方式在视频的单帧中识别目标对象。

然而，图像分割算法计算量大，造成识别目标对象缓慢，无法快速及时地向用户推荐关联信息。

因此，如何快捷高效地识别目标对象以提升信息推荐的效率，成为目前亟待解决的技术问题。

【发明内容】

本发明实施例提供了一种目标检测方法及装置、设备和存储介质，旨在解决相关技术中图像分割算法难以快捷高效地识别目标对象导致的影响信息发送效率的技术问题。

第一方面，本发明实施例提供了一种目标检测方法，包括：基于指定的前景目标检测方式获取图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息；将所述对象信息集合输入目标对象筛选模型；通过所述目标对象筛选模型输出第一目标对象。

在本发明上述实施例中，可选地，所述图像质量信息包括图像清晰度、图像大小、图像位置和图像完整度。

在本发明上述实施例中，可选地，还包括：在视频中提取图像帧序列；在应用上述第一方面所述的目标检测方法确定所述图像帧序列中每个图像帧的所述第一目标对象之后，还包括：获取每个所述第一目标对象在所述视频中的轨迹信息，所述轨迹信息包括出现位置和出现时间；根据所述轨迹信息和预定的对象筛选策略，在所述图像帧序列的多个图像帧的多个所述第一目标对象中选择第二目标对象。

在本发明上述实施例中，可选地，所述在视频中提取图像帧序列的步骤包括：按照预定采样率在所述视频中提取所述图像帧序列；或者在所述视频中随机提取所述图像帧序列。

在本发明上述实施例中，可选地，所述根据所述轨迹信息和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象的步骤，包括：将所述图像帧序列中第一个图像帧内的第一目标对象对应的轨迹信息存储至第一轨迹信息集合；按照所述图像帧序列内所述第一个图像帧以外的多个剩余图像帧的时序信息，依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合；则所述依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合的步骤，具体包括：对于任一所述剩余图像帧，计算所述剩余图像帧中第一目标对象与已有轨迹信息集合对应的第一目标对象之间的图像匹配阈值；在所述图像匹配阈值满足第一指定条件的情况下，将所述剩余图像帧的第一目标对象对应的轨迹信息存储至所述图像匹配阈值对应的已有轨迹信息集合中；在所述图像匹配阈值未满足所述第一指定条件的情况下，为所述剩余图像帧的第一目标对象建立新的轨迹信息集合；则遍历所述图像帧序列内的所有图像帧后，根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列对应的所述第一目标对象中选择第二目标对象。在本发明上述实施例中，可选地，所述根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象的步骤，包括：确定每个所述轨迹信息集合对应的所述第一目标对象的显著参数，所述显著参数包括出现时长和/或出现次数；将所述显著参数满足第二指定条件的所述第一目标对象确定为所述第二目标对象，其中，所述第二目标对象为一个或多个。

在本发明上述实施例中，可选地，所述将所述显著参数满足第二指定条件的所述第一目标对象确定为所述第二目标对象的步骤，包括：将所述显著参数处于指定参数范围内的所述第一目标对象确定为所述第二目标对象；和/或按照对应的显著参数由大到小对多个所述第一目标对象进行排序；将所述显著参数对应的排序序号处于指定序号范围内的所述第一目标对象确定为所述第二目标对象。

在本发明上述实施例中，可选地，在所述在视频中提取图像帧序列的步骤之前，还包括：获取图像检测请求；基于所述图像检测请求，应用上述第一方面中任一项所述的目标检测方法对当前的图像帧进行检测；当在所述当前的图像帧中检测出第一目标对象时，执行第一信息发送策略；当在所述当前的图像帧中未检测出第一目标对象时，进入所述在视频中提取图像帧序列的步骤；以及基于在所述视频中检测到的第二目标对象，执行第二信息发送策略。

在本发明上述实施例中，可选地，所述执行第一信息发送策略的步骤，包括：确定所述第一目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第一目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频；或者确定所述第一目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第一目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

在本发明上述实施例中，可选地，所述执行第二信息发送策略的步骤，包括：确定所述第二目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第二目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频；或者确定所述第二目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第二目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

第二方面，本发明实施例提供了一种目标检测装置，包括：对象信息集合获取单元，用于基于指定的前景目标检测方式获取图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息；模型输入单元，用于将所述对象信息集合输入目标对象筛选模型；模型输出单元，用于通过所述目标对象筛选模型输出第一目标对象。

在本发明上述实施例中，可选地，所述图像质量信息包括图像清晰度、图像大小、图像位置和图像完整度。

在本发明上述实施例中，可选地，还包括：图像帧序列获取单元，用于在视频中提取图像帧序列；第一目标对象确定单元，应用第一方面所述的目标检测方法确定所述图像帧序列中每个图像帧的所述第一目标对象；轨迹信息确定单元，用于获取每个所述第一目标对象在所述视频中的轨迹信息，所述轨迹信息包括出现位置和出现时间；第二目标对象确定单元，用于根据所述轨迹信息和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象。

在本发明上述实施例中，可选地，所述图像帧序列获取单元用于：按照预定采样率在所述视频中提取所述图像帧序列；或者在所述视频中随机提取所述图像帧序列。

在本发明上述实施例中，可选地，所述第二目标对象确定单元包括：存储单元，将所述图像帧序列中第一个图像帧内的第一目标对象对应的轨迹信息存储至第一轨迹信息集合；轨迹信息集合匹配单元，用于按照所述图像帧序列内所述第一个图像帧以外的多个剩余图像帧的时序信息，依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合；其中，所述轨迹信息集合匹配单元具体用于：对于任一所述剩余图像帧，计算所述剩余图像帧中第一目标对象与已有轨迹信息集合对应的第一目标对象之间的图像匹配阈值；在所述图像匹配阈值满足第一指定条件的情况下，将所述剩余图像帧的第一目标对象对应的轨迹信息存储至所述图像匹配阈值对应的已有轨迹信息集合中；在所述图像匹配阈值未满足所述第一指定条件的情况下，为所述剩余图像帧的第一目标对象建立新的轨迹信息集合；则所述第二目标对象确定单元还用于：遍历所述图像帧序列内的所有图像帧后，根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列对应的所述第一目标对象中选择第二目标对象。

在本发明上述实施例中，可选地，所述第二目标对象确定单元用于：确定每个所述轨迹信息集合对应的所述第一目标对象的显著参数，所述显著参数包括出现时长和/或出现次数；将所述显著参数满足第二指定条件的所述第一目标对象确定为所述第二目标对象，其中，所述第二目标对象为一个或多个。

在本发明上述实施例中，可选地，所述第二目标对象确定单元用于：将所述显著参数处于指定参数范围内的所述第一目标对象确定为所述第二目标对象；和/或按照对应的显著参数由大到小对多个所述第一目标对象进行排序；将所述显著参数对应的排序序号处于指定序号范围内的所述第一目标对象确定为所述第二目标对象。

在本发明上述实施例中，可选地，还包括：图像检测请求获取单元，用于在所述图像帧序列获取单元在所述视频中提取所述图像帧序列之前，获取图像检测请求；图像帧检测单元，用于根据所述图像检测请求，基于第四方面中任一项所述的目标检测装置对当前的图像帧进行检测；第一发送策略执行单元，用于当在所述当前的图像帧中检测出第一目标对象时，执行第一信息发送策略；视频检测单元，用于当在所述当前的图像帧中未检测出第一目标对象时，通过所述图像帧序列获取单元在所述视频中提取所述图像帧序列；以及，还包括：第二发送策略执行单元，用于基于在所述视频中检测到的第二目标对象，执行第二信息发送策略。

在本发明上述实施例中，可选地，所述第一发送策略执行单元用于：确定所述第一目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第一目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频；或者确定所述第一目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第一目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

在本发明上述实施例中，可选地，所述第二发送策略执行单元用于：确定所述第二目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第二目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频；或者确定所述第二目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第二目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述第一方面和第二方面中任一项所述的方法。

第四方面，本发明实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述第一方面和第二方面中任一项所述的方法流程。

以上技术方案，针对相关技术中的图像分割算法难以快捷高效地识别目标对象导致的影响信息推荐效率的技术问题，提供了一种以前景目标检测与目标对象筛选相结合的新的识别方式。

具体来说，首先，在获取图像帧后，可基于指定的前景目标检测方式获取图像帧内的对象信息集合，由于图像帧内可能不止包括一个对象，故使用指定的前景目标检测方式可用于检测出图像帧内的全部对象，生成对象信息集合。其中，指定的前景目标检测方式包括但不限于：帧差法、背景建模法、光流法、平均背景法、背景非参数估计和前景建模法。

接着，将对象信息集合输入目标对象筛选模型，其中，对象信息集合则包括所述图像帧中的每个对象和所述每个对象的图像质量信息，也就是说，目标对象筛选模型进行运算时可将每个对象本身的个体信息与其图像质量信息同时作为筛选依据，输出对象本身的个体信息及其图像质量信息均符合预期需求的第一目标对象。

通过以上技术方案取代了图像分割的方式，用以获取图像帧中的目标对象，提升了目标图像识别的效率，同时，由于该技术方案将前景识别和目标对象筛选模型联合应用，还有助于提升目标对象识别的准确性。而由于目标对象更为准确有效，则基于此目标对象所推荐的信息也就更为适应用户的实际需求。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了根据本发明的一个实施例的目标检测方法的流程图；

图2示出了根据本发明的另一个实施例的目标检测方法的流程图；

图3示出了根据本发明的一个实施例的目标检测方法的流程图；

图4示出了根据本发明的一个实施例的目标检测装置的框图；

图5示出了根据本发明的另一个实施例的目标检测装置的框图；

图6示出了根据本发明的一个实施例的目标检测装置的框图；

图7示出了根据本发明的一个实施例的设备的框图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

在相关技术中，一般通过图像分割的方式在视频的单帧中识别目标对象，然而，图像分割算法计算量大，造成识别目标对象缓慢，无法快速及时地向用户发送关联信息。

具体来说，在目前以图像分割的方式识别图像帧中目标对象时，只能识别出有目标对象，而不能给出目标对象具体为何。因此，还需要设置大量预设对象，针对图像帧进行对象识别后，需要为图像帧中识别出的对象匹配一个预设对象，从而将预设对象的个体信息、类型等确定为识别出的对象的个体信息、类型等。

然而，现实中的对象类型多种多样，对象数量多不胜数，这就使得预设目标对象的工作量极大，并且，可设置的预设对象有限，仍无法囊括现实中的所有对象，往往会出现识别出一个对象却无预设对象与其相匹配的情况。

由此可知，图像分割方式所带来的对象识别效率和准确性均低下。对此，提供了一种以前景目标检测与目标对象筛选相结合的新的识别方式。

图1示出了根据本发明的一个实施例的目标检测方法的流程图。

如图1所示，根据本发明的一个实施例的目标检测方法的流程包括：

步骤102，基于指定的前景目标检测方式获取图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息。

在获取图像帧后，可基于指定的前景目标检测方式获取图像帧内的对象信息集合，对象信息集合中的对象指的是图像帧内的生物或物品等目标。由于图像帧内可能不止包括一个对象，故使用指定的前景目标检测方式可用于检测出图像帧内的全部候选对象，生成对象信息集合。

其中，指定的前景目标检测方式包括但不限于：帧差法、背景建模法、光流法、平均背景法、背景非参数估计和前景建模法，图像质量信息则包括但不限于图像清晰度、图像大小、图像位置和图像完整度中的一项或多项。候选对象的图像清晰度越高、图像大小越大、图像位置越显著、图像完整度越高，其成为第一目标对象的可能性越大，因此，图像清晰度、图像大小、图像位置和图像完整度是影响候选对象是否可成为第一目标对象的因素，可作为筛选第一目标对象的参照条件。

步骤104，将所述对象信息集合输入目标对象筛选模型。

步骤106，通过所述目标对象筛选模型输出第一目标对象。

识别出的第一目标对象为显著目标，显著目标具有图像大而辨识性强的特征。其中，训练所述目标对象筛选模型的步骤包括：获取训练样本集合，所述训练样本集合中的每个训练样本对应一个样本图像帧，所述每个训练样本包括样本对象信息集合和样本目标对象，所述样本对象信息集合包括若干个样本对象和所述每个样本对象的图像质量信息；初始化初始目标对象筛选模型的模型参数；将所述每个训练样本的所述样本对象信息集合输入所述初始目标对象筛选模型，得到所述每个训练样本对应的初始目标对象；基于所述每个训练样本的所述初始目标对象和所述样本目标对象的差异，对所述初始目标对象筛选模型的模型参数进行调整，得到所述目标对象筛选模型。

对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息，也就是说，目标对象筛选模型进行运算时可将每个对象本身的个体信息与其图像清晰度、图像大小、图像位置和图像完整度等图像质量信息同时作为筛选依据，输出对象本身的个体信息及其图像质量信息均符合预期需求的第一目标对象。

通过以上技术方案取代了图像分割的方式，用以获取图像帧中的目标对象，提升了目标图像识别的效率，同时，由于该技术方案将前景识别和目标对象筛选模型联合应用，还有助于提升目标对象识别的准确性。而由于目标对象更为准确有效，则基于此目标对象所推荐的信息也就更为适应用户的实际需求。

需要知晓，本申请的技术方案可用于向任何对象发送任何信息的实际场景中，包括但不限于在图片浏览或视频播放过程中在客户端推送与当前图片或视频相关联的信息。

在一些场景中，可对指定对图像帧进行目标对象的识别，如暂停视频后，对当前帧进行目标对象的识别。而在更多的场景中，则需要对用户浏览中的视频、短视频等内容进行目标对象的识别，而对视频进行目标检测的方式可在上述技术方案的基础上，参照图2所示。

如图2所示，根据本发明的另一个实施例的目标检测方法的流程包括：

步骤202，在视频中提取图像帧序列。

对于视频，可提取视频中的多个图像帧，也就是图像帧序列，再对其中的每个图像帧执行图1示出的实施例所述的目标检测方法。

在一种可能的设计中，可按照预定采样率在所述视频中提取所述图像帧序列，其中，预定采样率可为任何符合实际需求的采样率。比如，可设置预定采样率为每隔一秒采集一个图像帧，则当视频长度为20s时，采集到的图像帧序列中共有20个图像帧。

在另一种可能的设计中，为提升目标检测效率以及后续的信息发送的及时性，也可在所述视频中随机提取所述图像帧序列。

步骤204，基于指定的前景目标检测方式，获取所述图像帧序列中每个图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息。

在获取图像帧后，可基于指定的前景目标检测方式获取图像帧内的对象信息集合，由于图像帧内可能不止包括一个对象，故使用指定的前景目标检测方式可用于检测出图像帧内的全部对象，生成对象信息集合。

其中，指定的前景目标检测方式包括但不限于：帧差法、背景建模法、光流法、平均背景法、背景非参数估计和前景建模法。

步骤206，将所述对象信息集合输入目标对象筛选模型。

步骤208，通过所述目标对象筛选模型输出所述每个图像帧的第一目标对象。

对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息，也就是说，目标对象筛选模型进行运算时可将每个对象本身的个体信息与其图像质量信息同时作为筛选依据，输出对象本身的个体信息及其图像质量信息均符合预期需求的第一目标对象。

步骤210，获取每个所述第一目标对象在所述视频中的轨迹信息，所述轨迹信息包括出现位置和出现时间。

由于视频中所可能出现的对象不止一个，故可将每个第一目标对象的轨迹信息均提取出来。

步骤212，根据所述轨迹信息和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象。

具体来说，首先，为所述图像帧序列中第一个图像帧内的第一目标对象创建轨迹信息，并将所述轨迹信息存储至第一轨迹信息集合，再按照所述图像帧序列内所述第一个图像帧以外的多个剩余图像帧的时序信息，依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合。则所述依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合的步骤，具体包括：对于任一所述剩余图像帧，计算所述剩余图像帧中第一目标对象与已有轨迹信息集合对应的第一目标对象之间的图像匹配阈值；在所述图像匹配阈值满足第一指定条件的情况下，将所述剩余图像帧的第一目标对象对应的轨迹信息存储至所述图像匹配阈值对应的已有轨迹信息集合中；在所述图像匹配阈值未满足所述第一指定条件的情况下，为所述剩余图像帧的第一目标对象建立新的轨迹信息集合。

其中，图像匹配阈值包括图像相似度和/或位置重合度，第一指定条件为：图像相似度达到预定相似度和/或位置重合度达到预定重合度，图像匹配阈值满足第一指定条件则说明两个图像帧中的第一目标对象足够相近，故将两者认定为同一个第一目标对象。

比如，当对于10s视频采样得到10个图像帧时，对于10个图像帧中的第二个图像帧，已有轨迹信息集合为第一个图像帧对应的第一轨迹信息集合，因此，计算第二个图像帧中第一目标对象与第一轨迹信息集合对应的第一目标对象之间的图像匹配阈值，由此，可判断第二个图像帧中的第一目标对象与第一个图像帧中的第一目标对象是否匹配。

若图像匹配阈值满足第一指定条件，说明两者相匹配时，说明第一个图像帧与第二个图像帧具有相同的第一目标对象，故可将第二个图像帧对应的轨迹信息存储至已有的第一轨迹信息集合中，第一轨迹信息集合即包含了该相同第一目标对象在不同时刻的轨迹信息。

若图像匹配阈值不满足第一指定条件，说明两者不匹配，则说明第一个图像帧的第一目标对象与第二个图像帧的第一目标对象并非相同对象，此时，可建立第二轨迹信息集合作为新的轨迹信息集合，用以存储第二个图像帧中第一目标对象的轨迹信息。

在此情况下，对于10个图像帧中的第三个图像帧，已有轨迹信息集合为第一轨迹信息集合和第二轨迹信息集合，因此，可计算第三个图像帧中第一目标对象与第一轨迹信息集合对应的第一目标对象之间的图像匹配阈值。若此图像匹配阈值满足第一指定条件，说明第三个图像帧与第一个图像帧具有相同的第一目标对象，故可将第三个图像帧对应的轨迹信息存储至已有的第一轨迹信息集合中。

反之，若此图像匹配阈值不满足第一指定条件，说明第三个图像帧的第一目标对象与第一个图像帧的第一目标对象并非相同对象。

由于现有的轨迹信息集合还包括第二轨迹信息集合，故继续计算第三个图像帧中第一目标对象与第二轨迹信息集合对应的第一目标对象之间的图像匹配阈值。若此图像匹配阈值满足第一指定条件，说明第三个图像帧与第二个图像帧具有相同的第一目标对象，故可将第三个图像帧对应的轨迹信息存储至已有的第二轨迹信息集合中。

反之，若此图像匹配阈值不满足第一指定条件，说明第三个图像帧的第一目标对象与第二个图像帧的第一目标对象并非相同对象，此时，可建立第三轨迹信息集合作为新的轨迹信息集合，用以存储第三个图像帧中第一目标对象的轨迹信息。

依次类推，对10个图像帧中的剩余图像帧逐个进行轨迹信息集合的匹配，由于相同的第一目标对象的轨迹信息均存储至同一个轨迹信息集合内，则最终，这10个图像帧内具有多少个不同的第一目标对象，就会得到多少个轨迹信息集合。比如，10个图像帧中共具有5个不同的第一目标对象，则最终得到5个轨迹信息集合，每个轨迹信息集合分别表示其对应的第一目标对象在图像帧序列中的出现位置变动情况和出现时间变动情况。

最后，遍历所述图像帧序列内的所有图像帧后，根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象。也就是说，根据预定的对象筛选策略，在所有轨迹信息集合选择一个，则该轨迹信息集合对应的第一目标对象即被选中为第二目标对象。

进一步地，确定每个所述轨迹信息集合对应的所述第一目标对象的显著参数；将所述显著参数满足第二指定条件的所述第一目标对象确定为所述第二目标对象，其中，所述第二目标对象为一个或多个。

结合上述对于10s视频采样得到10个图像帧的应用场景，在10个图像帧中检测到5个不同的第一目标对象后，可针对5个不同的第一目标对象均发送信息，但这种情况下，缺乏了信息发送的针对性，且会占据大量客户端界面面积。对此，可在得到的若干个第一目标对象中选择更为突出的第二目标对象，作为按照视频发送信息的依据。

选择第二目标对象的依据为显著参数，显著参数包括出现时长和/或出现次数，因此，对应的显著参数越大，该第一目标对象也就是出现时长越长和/或出现次数越多，说明该第一目标对象在视频中越显著，越能够占据用户注意力。故可为显著参数的大小设置第二指定条件，使得显著参数满足第二指定条件的第一目标对象被筛选为作为按照视频发送信息的依据的第二目标对象。

在一种可能的设计中，第二指定条件为：所述显著参数处于指定参数范围内。也就是说，将所述显著参数处于指定参数范围内的所述第一目标对象确定为所述第二目标对象。比如，设置指定参数范围为出现时长大于指定时长和/或出现次数大于指定次数，其中，指定时长为第一目标对象在视频中能够引起用户注意所需持续的最短时长，出现次数为第一目标对象在视频中能够引起用户注意所需出现的最少次数，或者，出现次数为第一目标对象在视频中能够引起用户注意的出现时长中，所应被截取到的最少次数。

在另一种可能的设计中，按照对应的显著参数由大到小对多个所述第一目标对象进行排序后，所述显著参数对应的排序序号处于指定序号范围内。也就是说，将所述显著参数对应的排序序号处于指定序号范围内的所述第一目标对象确定为所述第二目标对象。比如，按照对应的显著参数对得到的五个第一显著对象进行排序，将显著参数排名为前两名的第一目标对象设置为第二目标对象，以便基于这两个第二指定对象为用户发送信息。

在另一种可能的设计中，第二指定条件为：所述显著参数处于指定参数范围内，并且，按照对应的显著参数由大到小对多个所述第一目标对象进行排序后，所述显著参数对应的排序序号处于指定序号范围内。

需要知晓，无论第二指定条件为何，第二目标对象的数量可以为一个，即满足第二指定条件的第二目标对象中显著参数水平最高的一个，或者，第二目标对象的数量可以为多个。

在图1和图2示出的实施例的基础上，可知，在用户浏览视频或短视频等内容的过程中，可直接对当前帧进行目标识别，得到第一目的对象，针对第一目标对象发送信息；也可对视频进行整体的目标识别，得到第二目标对象，针对第二目标对象发送信息；还可以先直接对当前帧进行目标识别，在无法识别出目的对象的基础上，再对视频进行整体的目标识别，得到第二目标对象，针对第二目标对象发送信息。

参照图3所示，根据本发明的再一个实施例的目标检测方法的流程包括：

步骤302，获取图像检测请求。

图像检测请求可由用户在观看视频过程中手动操作发出，也可由客户端为播放中的视频自动生成。需要知晓，本申请所述的视频可以为在线视频，也可为离线视频。

步骤304，基于所述图像检测请求，对当前的图像帧进行目标检测。

步骤306，当在所述当前的图像帧中检测出第一目标对象时，执行第一信息发送策略。

首先，通过图1示出的实施例提供的技术方案对当前的图像帧进行目标检测(在此处不再赘述)，当在所述当前的图像帧中检测出第一目标对象时，无需继续进行目标检测，可直接执行第一信息发送策略。

在一种可能的设计中，所述执行第一信息发送策略的步骤，包括：确定所述第一目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第一目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频。

第一目标对象的个体类型可包括人物、宠物、物品类型等，在视频数据库中也按照多个预设个体类型对大量视频进行了分类，因此，可通过目标对象的个体类型匹配一个相同或相近的预设个体类型，进而可对该预设个体类型下的视频进行发送。

在另一种可能的设计中，所述执行第一信息发送策略的步骤，包括：确定所述第一目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第一目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

第一目标对象的个体类型可包括人物、宠物、物品种类等，而多个发送信息数据库分别对应一个购物种类，比如，外套数据库存储有大量外套商品链接或服装店铺链接，再比如，宠物用品数据库存储有大量宠物用品链接或宠物用品店铺链接。因此，可通过第一目标对象的个体类型匹配一个相同或相近的目标发送信息类型，比如，在检测到第一目标对象的个体类型为宠物时，发送宠物用品数据库内的宠物用品链接。

步骤308，当在所述当前的图像帧中未检测出第一目标对象时，对视频进行目标检测。

步骤310，基于在所述视频中检测到的第二目标对象，执行第二信息发送策略。

当在所述当前的图像帧中未检测出第一目标对象时，说明当前的图像帧不具有目标对象，则可基于图2示出的实施例所述的技术方案继续对整个视频进行目标检测(在此处不再赘述)。在对整个视频进行目标检测后，得到第二目标对象，即可应用第二信息发送策略发送信息。

在一种可能的设计中，所述执行第二信息发送策略的步骤，包括：确定所述第二目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第二目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频。

第二目标对象的个体类型可包括人物、宠物、物品类型等，在视频数据库中也按照多个预设个体类型对大量视频进行了分类，因此，可通过目标对象的个体类型匹配一个相同或相近的预设个体类型，进而可对该预设个体类型下的视频进行发送。

在另一种可能的设计中，所述执行第二信息发送策略的步骤，包括：确定所述第二目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第二目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

第二目标对象的个体类型可包括人物、宠物、物品种类等，而多个发送信息数据库分别对应一个购物种类，比如，外套数据库存储有大量外套商品链接或服装店铺链接，再比如，宠物用品数据库存储有大量宠物用品链接或宠物用品店铺链接。因此，可通过第二目标对象的个体类型匹配一个相同或相近的目标发送信息类型，比如，在检测到第二目标对象的个体类型为宠物时，发送宠物用品数据库内的宠物用品链接。

通过以上技术方案，由于目标对象更为准确有效，则基于此目标对象所发送的信息也就更为适应用户的实际需求。

图4示出了根据本发明的一个实施例的目标检测装置的框图。

如图4所示，本发明实施例提供了一种目标检测装置400，包括：对象信息集合获取单元402，用于基于指定的前景目标检测方式获取图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息；模型输入单元404，用于将所述对象信息集合输入目标对象筛选模型；模型输出单元406，用于通过所述目标对象筛选模型输出第一目标对象。

在本发明上述实施例中，可选地，所述图像质量信息包括图像清晰度、图像大小、图像位置和图像完整度。

该目标检测装置400使用图1示出的实施例中任一项所述的方案，因此，具有上述所有技术效果，在此不再赘述。

图5示出了根据本发明的另一个实施例的目标检测装置的框图。

如图5所示，根据本发明的另一个实施例的目标检测装置500，包括：图像帧序列获取单元502，用于在视频中提取图像帧序列；第一目标对象确定单元504，用于基于目标检测装置400对当前的图像帧进行检测，得到第一目标对象；轨迹信息确定单元506，用于获取每个所述第一目标对象在所述视频中的轨迹信息，所述轨迹信息包括出现位置和出现时间；第二目标对象确定单元508，用于根据所述轨迹信息和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象。

在本发明上述实施例中，可选地，所述图像帧序列获取单元502用于：按照预定采样率在所述视频中提取所述图像帧序列；或者在所述视频中随机提取所述图像帧序列。

在本发明上述实施例中，可选地，所述第二目标对象确定单元508包括：存储单元，将所述图像帧序列中第一个图像帧内的第一目标对象对应的轨迹信息存储至第一轨迹信息集合；轨迹信息集合匹配单元，用于按照所述图像帧序列内所述第一个图像帧以外的多个剩余图像帧的时序信息，依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合；其中，所述轨迹信息集合匹配单元具体用于：对于任一所述剩余图像帧，计算所述剩余图像帧中第一目标对象与已有轨迹信息集合对应的第一目标对象之间的图像匹配阈值；在所述图像匹配阈值满足第一指定条件的情况下，将所述剩余图像帧的第一目标对象对应的轨迹信息存储至所述图像匹配阈值对应的已有轨迹信息集合中；在所述图像匹配阈值未满足所述第一指定条件的情况下，为所述剩余图像帧的第一目标对象建立新的轨迹信息集合；则所述第二目标对象确定单元508还用于：遍历所述图像帧序列内的所有图像帧后，根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列对应的所述第一目标对象中选择第二目标对象。

在本发明上述实施例中，可选地，所述第二目标对象确定单元508用于：确定每个所述轨迹信息集合对应的所述第一目标对象的显著参数，所述显著参数包括出现时长和/或出现次数；将所述显著参数满足第二指定条件的所述第一目标对象确定为所述第二目标对象，其中，所述第二目标对象为一个或多个。

在本发明上述实施例中，可选地，所述第二目标对象确定单元用于：将所述显著参数处于指定参数范围内的所述第一目标对象确定为所述第二目标对象；和/或按照对应的显著参数由大到小对多个所述第一目标对象进行排序；将所述显著参数对应的排序序号处于指定序号范围内的所述第一目标对象确定为所述第二目标对象。

该目标检测装置500使用图2示出的实施例中任一项所述的方案，因此，具有上述所有技术效果，在此不再赘述。

图6示出了根据本发明的一个实施例的信息发送装置的框图。

如图6所示，本发明实施例提供了一种信息发送装置600，包括：图像识别请求获取单元602，用于获取图像识别请求；图像帧检测单元604，用于根据所述图像识别请求，基于目标检测装置400对当前的图像帧进行检测；第一发送策略执行单元606，用于当在所述当前的图像帧中检测出第一目标对象时，执行第一信息发送策略；视频检测单元608，用于当在所述当前的图像帧中未检测出第一目标对象时，基于目标检测装置500对视频进行检测；第二发送策略执行单元610，用于基于在所述视频中检测到的第二目标对象，执行第二信息发送策略。

在本发明上述实施例中，可选地，所述执行第一信息发送策略的步骤，包括：确定所述第一目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第一目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频；或者确定所述第一目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第一目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

在本发明上述实施例中，可选地，所述执行第二信息发送策略的步骤，包括：确定所述第二目标对象的个体类型；在视频数据库中的多个预设个体类型里，选择与所述第二目标对象的个体类型相匹配的目标个体类型；发送所述视频数据库中与所述目标个体类型对应的视频；或者确定所述第二目标对象的个体类型；在多个发送信息数据库对应的多个发送信息类型里，选择与所述第二目标对象的个体类型相匹配的目标发送信息类型；发送所述目标发送信息类型对应的发送信息数据库中的信息。

该目标检测装置600使用图1至图3示出的实施例中任一项所述的方案，因此，具有上述所有技术效果，在此不再赘述。

图7示出了本发明的一个实施例的设备的框图。

如图7所示，本发明的一个实施例的电子设备700，包括至少一个存储器702；以及，与所述至少一个存储器702通信连接的处理器704；其中，所述存储器存储有可被所述至少一个处理器704执行的指令，所述指令被设置为用于执行上述图1至图3示出的实施例中任一项所述的方案。因此，该设备700具有和图1至图3示出的实施例中任一项相同的技术效果，在此不再赘述。

本发明实施例的设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

另外，本发明实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述图1至图3示出的实施例中任一项所述的方法流程。

以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，提升了目标图像识别的效率，而由于目标对象更为准确有效，则基于此目标对象所发送的信息也就更为适应用户的实际需求。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种目标检测方法，其特征在于，包括：

基于指定的前景目标检测方式获取图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息；

将所述对象信息集合输入目标对象筛选模型；

通过所述目标对象筛选模型输出第一目标对象。

2.根据权利要求1所述的目标检测方法，其特征在于，

所述图像质量信息包括图像清晰度、图像大小、图像位置和图像完整度。

3.根据权利要求1所述的目标检测方法，其特征在于，还包括：

在视频中提取图像帧序列；

在应用权利要求1所述的目标检测方法确定所述图像帧序列中每个图像帧的所述第一目标对象之后，所述方法还包括：

获取每个所述第一目标对象在所述视频中的轨迹信息，所述轨迹信息包括出现位置和出现时间；

根据所述轨迹信息和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象。

4.根据权利要求3所述的目标检测方法，其特征在于，所述根据所述轨迹信息和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象的步骤，包括：

将所述图像帧序列中第一个图像帧内的第一目标对象对应的轨迹信息存储至第一轨迹信息集合；

则遍历所述图像帧序列内的所有图像帧后，根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列的多个图像帧的多个所述第一目标对象中选择第二目标对象。

按照所述图像帧序列内所述第一个图像帧以外的多个剩余图像帧的时序信息，依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合；

则所述依次为每个所述剩余图像帧的第一目标对象匹配对应的轨迹信息集合的步骤，具体包括：

对于任一所述剩余图像帧，计算所述剩余图像帧中第一目标对象与已有轨迹信息集合对应的第一目标对象之间的图像匹配阈值；

在所述图像匹配阈值满足第一指定条件的情况下，将所述剩余图像帧的第一目标对象对应的轨迹信息存储至所述图像匹配阈值对应的已有轨迹信息集合中；

在所述图像匹配阈值未满足所述第一指定条件的情况下，为所述剩余图像帧的第一目标对象建立新的轨迹信息集合；

则遍历所述图像帧序列内的所有图像帧后，根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列对应的所述第一目标对象中选择第二目标对象。

5.根据权利要求4所述的目标检测方法，其特征在于，所述根据得到的所有轨迹信息集合和预定的对象筛选策略，在所述图像帧序列的多个图像帧的所述第一目标对象中选择第二目标对象的步骤，包括：

确定每个所述轨迹信息集合对应的所述第一目标对象的显著参数，所述显著参数包括出现时长和/或出现次数；

将所述显著参数满足第二指定条件的所述第一目标对象确定为所述第二目标对象，其中，所述第二目标对象为一个或多个。

6.根据权利要求5所述的目标检测方法，其特征在于，所述将所述显著参数满足第二指定条件的所述第一目标对象确定为所述第二目标对象的步骤，包括：

将所述显著参数处于指定参数范围内的所述第一目标对象确定为所述第二目标对象；和/或

按照对应的显著参数由大到小对多个所述第一目标对象进行排序；将所述显著参数对应的排序序号处于指定序号范围内的所述第一目标对象确定为所述第二目标对象。

7.根据权利要求3所述的目标检测方法，其特征在于，在所述在视频中提取图像帧序列的步骤之前，还包括：

获取图像检测请求；

基于所述图像检测请求，应用权利要求1所述的目标检测方法对当前的图像帧进行检测；

当在所述当前的图像帧中检测出第一目标对象时，执行第一信息发送策略；

当在所述当前的图像帧中未检测出第一目标对象时，进入所述在视频中提取图像帧序列的步骤；

以及

基于在所述视频中检测到的第二目标对象，执行第二信息发送策略。

8.根据权利要求7所述的目标检测方法，其特征在于，所述执行第一信息发送策略的步骤，包括：

确定所述第一目标对象的个体类型；

在视频数据库中的多个预设个体类型里，选择与所述第一目标对象的个体类型相匹配的目标个体类型；

发送所述视频数据库中与所述目标个体类型对应的视频；

或者

确定所述第一目标对象的个体类型；

在多个发送信息数据库对应的多个发送信息类型里，选择与所述第一目标对象的个体类型相匹配的目标发送信息类型；

发送所述目标发送信息类型对应的发送信息数据库中的信息。

9.根据权利要求7所述的目标检测方法，其特征在于，所述执行第二信息发送策略的步骤，包括：

确定所述第二目标对象的个体类型；

在视频数据库中的多个预设个体类型里，选择与所述第二目标对象的个体类型相匹配的目标个体类型；

发送所述视频数据库中与所述目标个体类型对应的视频；

或者

确定所述第二目标对象的个体类型；

在多个发送信息数据库对应的多个发送信息类型里，选择与所述第二目标对象的个体类型相匹配的目标发送信息类型；

发送所述目标发送信息类型对应的发送信息数据库中的信息。

10.一种目标检测装置，其特征在于，包括：

对象信息集合获取单元，用于基于指定的前景目标检测方式获取图像帧内的对象信息集合，所述对象信息集合包括所述图像帧中的每个对象和所述每个对象的图像质量信息；

模型输入单元，用于将所述对象信息集合输入目标对象筛选模型；

模型输出单元，用于通过所述目标对象筛选模型输出第一目标对象。

11.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1至9中任一项所述的方法。

12.一种存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至9中任一项所述的方法流程。

Images