CN114528923A - 基于时域上下文的视频目标检测方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了基于时域上下文的视频目标检测方法、装置、设备及介质，用以解决现有的视频目标检测，易造成目标模糊、被遮挡或发生变化，从而无法准确检测视频中目标的技术问题。方法包括：从预先采集到的视频中确定出关键帧；从两个相邻关键帧的时间跨度中构建上下文存储空间；提取指定帧中的第一特征信息，并从对应时间跨度的上下文存储空间中确定多个第二特征信息；通过预设算法将第一特征信息与各第二特征信息进行相关度计算得到计算结果；根据计算结果获取与第一特征信息相关度最高的第二特征信息，并将第二特征信息与第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测，提高了追踪连贯性与准确性。

Description

基于时域上下文的视频目标检测方法、装置、设备及介质

技术领域

本申请涉及目标检测技术领域，尤其涉及基于时域上下文的视频目标检测方法、装置、设备及介质。

背景技术

随着人工智能和计算机技术的迅速发展，目标检测也取得了持续性的进展。现有的目标检测普遍是针对于静态图像进行识别和定位的，对目标状态的要求较高，而针对视频的目标检测对目标状态的要求较低。但是现有的视频目标检测，由于目标处于运动状态，并且目标所处的背景会不断地变化，易造成单帧图像中的目标模糊、被遮挡或者发生变化，从而无法准确定位到视频中目标的位置。

发明内容

本申请实施例提供了基于时序上下文的视频目标检测方法、装置、设备及介质，用以解决现有技术中针对视频的目标检测，易造成目标模糊、被遮挡或者发生变化，从而无法准确的检测视频中的目标的技术问题。

一方面，本申请实施例提供了基于时域上下文的视频目标检测方法，包括：

从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

在本申请的一种实现方式中，所述提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中确定多个第二特征信息，具体包括：

从所述视频中，确定出指定帧对应的视频图像，并从所述对应的视频图像中，提取所述指定帧的第一特征信息；

若根据所述指定帧的第一特征信息，无法确定出目标的位置，则找到所述指定帧对应的两个相邻关键帧，并确定出对应的时间跨度中的上下文存储空间；

从所述上下文存储空间中，确定出多个第二特征信息。

在本申请的一种实现方式中，所述从所述上下文存储空间中，确定出多个第二特征信息之后，所述方法还包括：

根据所述指定帧中的第一特征信息，分别确定各所述第二特征信息是否异常，并在所述第二特征信息异常的情况下，将所述第二特征信息中的异常数据过滤；

对过滤后的所述第二特征信息进行空值填充，并将过滤后的各所述第二特征信息转换为预设格式。

在本申请的一种实现方式中，所述方法还包括：

根据各所述第二特征信息与所述第一特征信息之间的相关度，分别对各所述第二特征信息进行加权；

根据加权后的各所述第二特征信息，构建目标对应的上下文特征，并根据构建好的所述上下文特征进行目标检测。

在本申请的一种实现方式中，所述从两个相邻关键帧的时间跨度中，构建上下文存储空间，具体包括：

通过特征抽取器，从两个相邻关键帧的时间跨度之间，构建对应的上下文存储空间；

其中，所述特征抽取器是通过参数固定的。

在本申请的一种实现方式中，所述通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果，具体包括：

通过预设算法，分别计算出各第二特征信息转换成所述第一特征信息所需的编辑操作次数；

根据所述第二特征信息所需的编辑操作次数，确定出所述第二特征信息的字符串与所述第一特征信息的字符串之间的相关度，以得到对应的计算结果。

在本申请的一种实现方式中，所述预设算法为基于相关度的注意力机制。

另一方面，本申请实施例还提供了基于时域上下文的视频目标检测装置，所述装置包括：

确定单元，从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

构建单元，从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取确定单元，提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

相关度计算单元，通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

获取融合单元，根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

另一方面，本申请实施例还提供了基于时域上下文的视频目标检测，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

另一方面，本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

本申请实施例提供了基于时域上下文的视频目标检测方法、装置、设备及介质，至少包括以下有益效果：从预先采集的视频中确定出关键帧，并从两个相邻关键帧的时间跨度中构建上下文存储空间；提取出指定帧对应目标图像中的第一特征信息，并在指定帧中的目标模糊、被遮挡以及发生改变时，从该指定帧对应的上下文存储空间中，确定出多个与指定帧具有上下文关系的其他帧，以及确定出多个对应的第二特征信息；分别将各第二特征信息与第一特征信息进行相关度计算，从而能够根据计算结果，找到与第一特征信息相关度最高的第二特诊信息，然后将该第二特征信息与第一特征信息进行融合，得到对应的图像，并对融合后的图像进行目标检测。这样能够有效避免针对视频进行目标检测时，目标模糊、被遮挡等情况，无法实现对目标的检测，从而提高帧间的追踪连贯性与准确性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的基于时域上下文的视频目标检测方法的流程示意图；

图2为本申请实施例提供的另一种基于时域上下文的视频目标检测方法的流程图；

图3为本申请实施例提供的基于时域上下文的视频目标检测装置的结构示意图；

图4为本申请实施例提供的基于时域上下文的视频目标检测设备的内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了基于时域上下文的视频目标检测方法、装置、设备及介质，通过从预先采集的视频中确定出的两个相邻关键帧，在对应的时间跨度中构建上下文存储空间；提取出指定帧对应目标图像中的第一特征信息，并在指定帧中的目标模糊、被遮挡以及发生改变时，通过该指定帧对应的上下文存储空间中，确定出多个与指定帧具有上下文关系的其他帧，以及确定出多个对应的第二特征信息；通过分别将各第二特征信息与第一特征信息进行相关度计算，从而能够根据计算结果，找到与第一特征信息相关度最高的第二特诊信息，然后将该第二特征信息与第一特征信息进行融合，得到对应的图像，并对融合后的图像进行目标检测。解决了现有的视频目标检测，易造成目标模糊、被遮挡或发生变化，从而无法准确检测视频中目标的技术问题。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的基于时域上下文的视频目标检测方法的流程示意图。如图1所示，本申请实施例提供的基于时域上下文的视频目标检测方法主要包括以下步骤：

S101、从预先采集到的视频中，确定出视频中的关键帧。

现有的目标定位与识别主要是针对静态图像进行的，但是在针对静态图像进行目标检测时，对目标的状态要求较高。针对视频图像进行目标检测时，由于目标处于运动状态，并且目标所处的背景是处于不断变化的，所以容易造成目标模糊、被遮挡或者发生变形等情况，影响对目标的检测，从而无法准确的对目标定位。

但是，视频目标检测相对于静态图像目标检测具有一定的优势。由于视频中的图像是连续的，视频中的相邻帧之间存在明显的上下文关系，所以在无法通过视频中的某一帧图像准确追踪目标时，能够根据与当前帧具有时间、空间等上下文关系的其他帧，辅助对当前帧的目标检测。因此，本申请选用了视频目标检测。

服务器从视频拍摄设备中获取需要进行目标检测的视频，为了抽取某一帧视频图像的上下文信息，首先需要从该视频中找到视频的关键帧，从而进行后续操作。

需要说明的是，本申请实施例中的关键帧指的是视频中的场景突然发生变化，即当前帧中的场景与前一帧中的场景出现明显的不同，与下一帧中的场景相同，并且存在关联关系。

S102、从两个相邻关键帧的时间跨度中，构建上下文存储空间。

在服务器确定出的关键帧中，两个相邻的关键帧之间的时间跨度，表示同一个场景在视频中对应的时间段，服务器需要从这两个相邻的关键帧的时间跨度中，构建出两个相邻关键帧对应的上下文存储空间，从而将具有上下文时间、空间等关系的信息，存储至对应的上下文存储空间中，以便于后续从上下文存储空间中，确定对应的所需信息。

具体地，服务器通过特征提取器，从两个相邻关键帧的时间跨度之间，构建对应的上下文存储空间。需要说明的是，本申请实施例中的特征抽取器是通过参数固定的。

S103、提取指定帧中的第一特征信息，并从指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息。

具体地，服务器预先确定好一个指定帧，并从采集到的视频中，确定出指定帧对应的视频图像，从而能够从该指定帧对应的视频图像中，提取出指定帧的第一特征信息；然后服务器判断第一特征信息是否有模糊、别遮挡或者发生变化的内容，以及只根据指定帧的第一特征信息，是否能够确定进行目标检测，得到目标的准确位置；如果服务器确定仅根据第一特征信息，无法准确的找到目标的位置，那么就需要找到指定帧所在时间跨度对应的两个相邻关键帧，并确定出两个相邻关键帧的时间跨度中的上下文存储空间，再从确定出的该上下文存储空间中，找到多个对应的第二特征信息。

需要说明的是，本申请实施例中的第一特征信息指的是指定帧对应的特征信息。第二特征信息指的是指定帧对应的上下文存储空间中，与指定帧具有上下文时间、空间等关系的特征信息。

在本申请的一个实施例中，服务器从上下文存储空间中，确定出多个第二特征信息之后，根据指定帧中第一特征信息，来确定每个第二特征信息是否存在异常，并在确定出某一个第二特征信息异常的情况下，服务器会将该异常的第二特征信息删除过滤掉，从而确保数据的真实有效性；然后服务器还会再判断过滤后的每个第二特征信息是否有空缺，以对空缺的第二特征信息进行空值填充，并将过滤后的各第二特征信息转换为预设格式，以便于后续对从上下文存储空间中获取到的多个第二特征信息进行统一处理，更加直观方便。

S104、通过预设算法将第一特征信息，与各第二特征信息进行相关度计算，以得到计算结果。

服务器通过预设算法，将每个第二特征信息分别与第一特征信息进行相关度计算，得到对应的计算结果，从而能够确定出每个第二特征信息与第一特征信息之间的相关程度。

具体地，服务器在将每个第二特征信息与第一特征信息进行相关度计算时，通过预设算法，分别计算出每个第二特征信息转换成第一特征信息所需的编辑操作次数；然后根据第二特征信息所需的编辑操作次数，确定出第二特征信息的字符串与第一特征信息的字符串之间的相关度，从而确定出第二特征信息与第一特征信息之间的相关度，并得到对应的计算结果。

需要说明的是，本申请实施例中的预设算法为基于相关度的注意力机制。

在本申请的一个实施例中，服务器根据计算结果中各第二特征信息与第一特征信息之间的相关度，按照相关度从打到小的顺序，分别对每个第二特征信息进行加权，从而根据加权后每个第二特征信息，构建目标对应的上下文特征，以便于根据构建好的目标对应的上下文特征，进行目标检测，提高了目标检测的准确性以及视频追踪的连贯性，避免了因目标模糊、被遮挡或者发生变化而影响对目标的检测。

S105、根据计算结果，获取与第一特征信息相关度最高的第二特征信息，并将第二特征信息与第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

服务器根据每个第二特征信息与第一特征信息之间的相关度计算结果，确定出并获取上下文存储空间对应的所有第二特征信息中，与第一特征信息相关度最高的那个第二特征信息，然后将该第二特征信息与第一特征信息进行融合，得到具有融合后特征信息的完整的图像，从而使服务器对融合后的图像进行目标检测，这样不仅能够避免目标模糊、被遮挡或发生变化时，无法准确检测出视频中的目标，还能够提高帧间的追踪连贯性与准确性。

图2为本申请实施例提供的另一种基于时域上下文的视频目标检测方法的流程图。如图2所示，本申请从视频中确定出关键帧，并从关键帧中提取出第一特征信息；从两个相邻关键帧的时间跨度中，构建上下文存储空间，并从上下文存储空间中获取第二特征信息；将第一特征信息和第二特征信息进行融合，得到具有融合后特征信息的图像，以便于后续进行目标检测，提高目标检测的准确性。

需要说明的是，图2所示的方法与图1所示的方法本质相同，因此，图2中未详述的部分，具体可参照图1中的相关描述，本申请在此不再赘述。

以上为本申请提出的方法实施例。基于同样的发明构思，本申请实施例还提供了基于时域上下文的视频目标检测装置，其结构如图3所示。

图3为本申请实施例提供的基于时域上下文的视频目标检测装置的流程图，装置包括：确定单元301、构建单元302、提取确定单元303、相关度计算单元304、获取融合单元305。

确定单元301，从预先采集到的视频中，确定出视频中的关键帧；其中，关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

构建单元302，从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取确定单元303，提取指定帧中的第一特征信息，并从指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

相关度计算单元304，通过预设算法将所述第一特征信息，与各第二特征信息进行相关度计算，以得到计算结果；

获取融合单元305，根据计算结果，获取与第一特征信息相关度最高的第二特征信息，并将第二特征信息与第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

图4为本申请实施例提供的一种针对园区网的站点创建设备的结构示意图，包括：

至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

从预先采集到的视频中，确定出视频中的关键帧；其中，关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将第一特征信息，与各第二特征信息进行相关度计算，以得到计算结果；

根据计算结果，获取与第一特征信息相关度最高的第二特征信息，并将第二特征信息与第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

本申请实施例提供了一种非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：

从预先采集到的视频中，确定出视频中的关键帧；其中，关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将第一特征信息，与各第二特征信息进行相关度计算，以得到计算结果；

根据计算结果，获取与第一特征信息相关度最高的第二特征信息，并将第二特征信息与第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.基于时域上下文的视频目标检测方法，其特征在于，所述方法包括：

从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

2.根据权利要求1所述的基于时域上下文的视频目标检测方法，其特征在于，所述提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中确定多个第二特征信息，具体包括：

从所述视频中，确定出指定帧对应的视频图像，并从所述对应的视频图像中，提取所述指定帧的第一特征信息；

若根据所述指定帧的第一特征信息，无法确定出目标的位置，则找到所述指定帧对应的两个相邻关键帧，并确定出对应的时间跨度中的上下文存储空间；

从所述上下文存储空间中，确定出多个第二特征信息。

3.根据权利要求2所述的基于时域上下文的视频目标检测方法，其特征在于，所述从所述上下文存储空间中，确定出多个第二特征信息之后，所述方法还包括：

根据所述指定帧中的第一特征信息，分别确定各所述第二特征信息是否异常，并在所述第二特征信息异常的情况下，将所述第二特征信息中的异常数据过滤；

对过滤后的所述第二特征信息进行空值填充，并将过滤后的各所述第二特征信息转换为预设格式。

4.根据权利要求1所述的基于时域上下文的视频目标检测方法，其特征在于，所述方法还包括：

根据各所述第二特征信息与所述第一特征信息之间的相关度，分别对各所述第二特征信息进行加权；

根据加权后的各所述第二特征信息，构建目标对应的上下文特征，并根据构建好的所述上下文特征进行目标检测。

5.根据权利要求1所述的基于时域上下文的视频目标检测方法，其特征在于，所述从两个相邻关键帧的时间跨度中，构建上下文存储空间，具体包括：

通过特征抽取器，从两个相邻关键帧的时间跨度之间，构建对应的上下文存储空间；

其中，所述特征抽取器是通过参数固定的。

6.根据权利要求1所述的基于时域上下文的视频目标检测方法，其特征在于，所述通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果，具体包括：

通过预设算法，分别计算出各第二特征信息转换成所述第一特征信息所需的编辑操作次数；

根据所述第二特征信息所需的编辑操作次数，确定出所述第二特征信息的字符串与所述第一特征信息的字符串之间的相关度，以得到对应的计算结果。

7.根据权利要求6所述的基于时域上下文的视频目标检测方法，其特征在于，所述预设算法为基于相关度的注意力机制。

8.基于时域上下文的视频目标检测装置，其特征在于，所述装置包括：

确定单元，从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

构建单元，从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取确定单元，提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

相关度计算单元，通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

获取融合单元，根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

9.基于时域上下文的视频目标检测设备，其特征在于，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

从预先采集到的视频中，确定出所述视频中的关键帧；其中，所述关键帧是指当前帧的场景与上一帧的场景不同，并与下一帧的场景相同；

从两个相邻关键帧的时间跨度中，构建上下文存储空间；

提取指定帧中的第一特征信息，并从所述指定帧对应时间跨度的上下文存储空间中，确定多个第二特征信息；

通过预设算法将所述第一特征信息，与各所述第二特征信息进行相关度计算，以得到计算结果；

根据所述计算结果，获取与所述第一特征信息相关度最高的第二特征信息，并将所述第二特征信息与所述第一特征信息进行融合，得到具有融合后特征信息的图像，以对融合后的图像进行目标检测。

Images