CN112738626B - 视频文件的目标检测方法、装置、电子设备及存储介质 - Google Patents

视频文件的目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112738626B
CN112738626B CN202011554049.3A CN202011554049A CN112738626B CN 112738626 B CN112738626 B CN 112738626B CN 202011554049 A CN202011554049 A CN 202011554049A CN 112738626 B CN112738626 B CN 112738626B
Authority
CN
China
Prior art keywords
video
target detection
speed
segments
video file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011554049.3A
Other languages
English (en)
Other versions
CN112738626A (zh
Inventor
高治力
王召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011554049.3A priority Critical patent/CN112738626B/zh
Publication of CN112738626A publication Critical patent/CN112738626A/zh
Application granted granted Critical
Publication of CN112738626B publication Critical patent/CN112738626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种视频文件的目标检测方法、装置、电子设备及存储介质，涉及图像处理技术领域，尤其涉及视频处理领域和视频云计算领域。实现方案为：一种视频文件的目标检测方法，包括：将视频文件分割成多个视频段，其中，多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的；将用于每个视频段的目标检测速度设置为视频文件的读取速度；以及根据读取速度，读取多个视频段并针对每个视频段执行目标检测。

Description

视频文件的目标检测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及视频处理领域，具体涉及一种视频文件的目标检测方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
视频文件的目标检测通常涉及从视频文件中检测特定的目标对象，例如从视频文件中检测人脸。随着技术的发展和应用场景的扩大，越来越多的视频文件存在需要进行目标检测的需求。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种视频文件的目标检测方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面，提供了一种视频文件的目标检测方法，包括：将所述视频文件分割成多个视频段，其中，所述多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的；将所述用于每个视频段的目标检测速度设置为所述视频文件的读取速度；以及根据所述读取速度，读取所述多个视频段并针对每个视频段执行所述目标检测。
根据本公开的另一方面，提供了一种视频文件的目标检测装置，包括：视频分割模块，被配置为将所述视频文件分割成多个视频段，其中，所述多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的；读取速度设置模块，被配置为将所述用于每个视频段的目标检测速度设置为所述视频文件的读取速度；以及目标检测模块，被配置为根据所述读取速度，读取所述多个视频段并针对每个视频段执行目标检测。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行上述方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。
根据本公开的一个或多个实施例，可以在整体上突破目标检测算法的检测速度限制，提升目标检测的速度，并且可以在执行目标检测时控制目标检测速度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出根据本公开实施例的视频文件的目标检测方法的流程图；
图2示出根据本公开实施例的将视频文件分割成多个视频段的流程图；
图3示出根据本公开实施例的读取视频段并执行目标检测的流程图；
图4示出根据本公开实施例的目标检测后处理的流程图；
图5示出根据本公开实施例的视频文件的目标检测装置的框图；
图6示出能够应用于本公开实施例的电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
下面将结合附图详细描述本公开的实施例。
图1示出根据本公开实施例的视频文件的目标检测方法的流程图。如图1所示，所述视频文件的目标检测方法可以包括：
步骤S101，将视频文件分割成多个视频段，其中，所述多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的；
步骤S102，将所述用于每个视频段的目标检测速度设置为所述视频文件的读取速度；以及
步骤S103，根据所述读取速度，读取所述多个视频段并针对每个视频段执行所述目标检测。
根据本公开实施例的视频文件的目标检测方法，通过将视频文件分割成多个视频段，其中以期望的目标检测速度来确定所述多个视频段的数量以及用于每个视频段的目标检测速度，能够使期望的目标检测速度被分摊到并行执行目标检测的各个视频段上，由此在整体上突破目标检测算法的检测速度限制，提升目标检测的速度。
此外，通过将用于每个视频段的目标检测速度设置为视频文件的读取速度，并根据该读取速度来读取所述多个视频段并针对每个视频段执行目标检测，还能够在执行目标检测时控制目标检测速度。
在步骤S101中，根据一个示例，视频文件可以是离线视频文件。离线视频文件可以是相对于实时视频流而言的。例如，离线视频文件可以是由摄像设备预先录制的。诸如在家庭或社区安防应用中，离线视频文件可以是家用或小区监控设备所录制的监控视频。假如家中或小区在某时间段出现了安全问题，可以调取在此时间段期间所录制的监控视频，以检测出现的可疑人员。在此情况下，视频文件的目标检测表示在录制的监控视频中检测所述可疑人员。
传统的视频文件的目标检测受限于目标检测算法所提供的最大检测速度(在下文中，也称为目标检测算法的算法能力)的限制，因此目标检测的加速能力有限。根据本公开的实施例，通过将视频文件进行分割，可以使期望的目标检测速度被分摊到并行执行目标检测的各个视频段上。为此，视频文件采用特定的分割方式。具体而言，多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的。
在步骤S102中，可以将在步骤S101中确定的用于每个视频段的目标检测速度设置为视频文件的读取速度。传统的视频文件的目标检测除了受限于目标检测算法的速度以外，在执行目标检测时的速度也是不可控的，这部分地归因于视频文件的读取速度在未被控制的情况下默认按照最大速度进行读取所造成。根据本公开的实施例，将用于每个视频段的目标检测速度与视频文件的读取速度相关联，由此使得视频文件的读取速度得到控制，进而在执行目标检测时的速度也是可控的。
在步骤S103中，可以根据在步骤S102中设置的视频文件的读取速度，读取在步骤S101中通过特定的分割方式获得的多个视频段，并针对每个视频段执行目标检测。这样，因视频文件的读取速度是可控的，进而在执行目标检测时的速度也是可控的。各个视频段可以并行地执行目标检测。
图2示出根据本公开实施例的将视频文件分割成多个视频段的流程图。
如图2所示，在步骤S201中，可以设置期望的目标检测速度。在一个示例中，期望的目标检测速度可以用相对于视频正常播放速度的倍速表示，在此设为t。例如，可以是3倍速、5倍速、10倍速等，在此情况下，t可以分别为3、5、10。视频正常播放速度可以是视频的帧率(例如25fps)。
在步骤S202中，可以判断视频文件是否需要被分割，即判断期望的目标检测速度是否大于由目标检测算法所提供的最大检测速度。这样做的目的在于，如果目标检测算法的算法能力不足，则可以通过分割视频来分摊期望的目标检测速度，由此突破目标检测算法的检测速度限制。
在一个示例中，目标检测算法所提供的最大检测速度也可以用倍速表示，在此设为r，在此，目标检测算法可以是当前使用的用于对视频文件进行目标检测的相应算法。例如，所述算法可以是用于人脸检测的MTCNN(多任务卷积神经网络)、SSD(单镜头检测)、S3FD(单镜头尺度不变人脸检测)。可以将目标检测算法所提供的最大检测速度r与期望的目标检测速度t进行比较。如果r≥t，表示目标检测算法的算法能力足够大，则不需要进行视频文件的分割(步骤S202中的“否”)，因此流程结束。如果r＜t，表示目标检测算法的算法能力不足，则需要将视频文件分割成多个视频段(步骤S202中的“是”)，并且流程进行到下一步。
在步骤S203中，可以确定视频段的数量。在一个示例中，可以使用ceiling函数(向上取整函数)。设视频段的数量为e，则e可以满足等式e＝ceiling(t/r)。例如，当期望的目标检测速度为10倍速、目标检测算法所提供的最大检测速度为3倍速时(即t＝10，r＝3)，根据以上等式可以得到e＝4，即视频文件被分割成4个视频段。因此，视频段的数量可以基于期望的目标检测速度与由目标检测算法所提供的最大检测速度之间的倍数关系确定。通过该方式，在分摊期望的目标检测速度时，兼顾了实际的目标检测算法，便利于通过控制视频段的数量来达到期望的目标检测速度。
此外，还可以基于期望的目标检测速度与视频段的数量之间的倍数关系确定用于每个视频段的目标检测速度。在一个示例中，用于每个视频段的目标检测速度也可以用倍速表示，在此设为f，则f可以满足等式f＝t/e。在t＝10，e＝4的情况下，根据该等式可以得到f＝2.5，即用于每个视频段的目标检测速度为2.5倍速。通过该方式，将期望的目标检测速度与视频段的数量和目标检测速度相关联，便利于通过控制视频段来达到期望的目标检测速度。
由此，通过将视频文件分割成4个视频段，可以将期望的10倍速的目标检测速度分摊到这4个视频段上，使得用于每个视频段的目标检测速度为2.5倍速即可。在此情况下，对于每个视频段而言，其目标检测速度(2.5倍速)不会超过目标检测算法所提供的最大检测速度(3倍速)。本领域技术人员可以理解，在期望采用更大倍速的目标检测速度时，通过本公开实施例的分割方法即可将更大倍速的目标检测速度分摊到相应所分割出的多个视频段上。对于每个视频段而言，不会超过目标检测算法所提供的最大检测速度。由此，实现了整体上突破目标检测算法的检测速度限制，提升了目标检测的速度。在实际应用中，甚至可以达到上百、上千倍的目标检测速度。
在步骤S204中，可以判断是否以物理分割的方式对视频文件进行分割。这样做的目的在于，可以根据视频文件被存储的位置，适当地选择对其进行分割的方式。如果视频文件本身存储于例如一台服务器上，则逻辑分割的方式更为适用。在此情况下，步骤S204的判断结果为“否”，流程进行到步骤S205。如果视频文件本身存储于例如集群服务器上，则物理分割更为适用。在此情况下，步骤S204的判断结果为“是”，流程进行到步骤S206。
逻辑分割是指视频文件在物理上仍然为一个完整的文件，只是以逻辑的方式被分割成多个逻辑分段，每个逻辑分段以相应的偏移时间点作为该逻辑分段的起始点。因此，在步骤S205中，计算每个逻辑分段的起始点。在一个示例中，在如上所述视频文件被分割成4个视频段的情况下，对应地也具有4个逻辑分段的起始点，并且各个起始点之间的时间距离可以相等。
物理分割是指视频文件被分割成多个单独的文件。在一个示例中，所述多个单独的文件可以具有相同的大小，即视频文件可以是被平均分割的。在一个示例中，分割可以在格式封装层进行，由此不需要重新编码。与上述示例类似，视频文件可以被分割成4个单独的文件。
可选地，在进行逻辑分割的情况下，可以为所述多个逻辑分段分配一个存储地址。在一个示例中，该存储地址可以是一个本地的绝对路径。同时，由于采用逻辑分割的方式，该存储地址还需要连同所计算出的一系列逻辑分段的起始点，以指示相应的逻辑分段。
可选地，在进行物理分割的情况下，可以将所述多个单独的文件存储在例如远程服务器或云端上。在此情况下，可以为所述多个单独的文件中的每个分配相应的存储地址，诸如http地址。
针对不同的分割方式采用相应不同的存储方式，能够便于执行后续的读取步骤。
图3示出根据本公开实施例的读取视频段并执行目标检测的流程图。
如图3所示，在步骤S301中，可以根据确定出的用于每个视频段的目标检测速度读取所述视频段。
在一个示例中，可以在该步骤前预先获取已经分割的多个视频段。如上所述，视频文件可存在逻辑和物理分割两种分割方式，且相应地具有不同的存储地址类型，诸如存储于本地或者远程服务器。因此，可以据此获知视频文件所采用的分割方式并从相应的存储地址获取到所分割的视频段。对于采用逻辑分割的视频文件而言，可以从其绝对路径获取到该视频文件及其相应的逻辑分段起始点。对于采用物理分割的视频文件而言，可以获取到实际被分割出的多个单独的文件。
对于这两种方式，均可以相应地获得确定出的用于每个视频段的目标检测速度。根据本公开实施例，用于每个视频段的目标检测速度被设置为视频文件的读取速度。因此，在步骤S301中，以用于每个视频段的目标检测速度来读取所述多个视频段。
在步骤S302中，可以对每个视频段所包含的视频帧执行图像处理。由此，能够使视频段便于读取，且适于在后续的目标检测算法中使用。在一个示例中，可以将每个视频段进行解封装以产生编码的视频帧。可以将编码的视频帧输入解码器以进行解码来产生YUV数据。考虑到目标检测算法的深度学习模型可能需要BGRA或RGBA格式的视频帧，还可以将YUV数据进行颜色空间变换，获得BGRA或RGBA格式的视频帧。由此，实现对每个视频段所包含的视频帧的图像处理。
在步骤S303中，可以控制对每个视频段的读取以将当前视频帧输入至目标检测算法。由此，能够兼顾目标检测算法的算法能力来控制目标检测的执行。
可选地，可以根据如上所述的读取速度，计算当前时刻能够被输入至目标检测算法的视频帧的最大时间戳，并且在当前视频帧的时间戳小于或等于所述最大时间戳时，将当前视频帧输入至目标检测算法。这样做的目的在于，可以判断目标检测算法所能够消化的检测，由此控制目标检测的执行。
在一个示例中，假设两个视频帧之间的间隔是40ms，视频帧的最大时间戳是80ms，则能够被输入至目标检测算法的视频帧为0ms、40ms和80ms。即，如果当前帧小于或等于该时间戳，则进行输出；反之，则等待一段时间，即等待算法消化当前的检测。
在一个示例中，假设视频的默认帧率为fd，读取速度为m倍，读取视频的起始系统时间是start_sys_time(单位毫秒)，当前系统时间是cur_sys_time(单位毫秒)，则最大时间戳可以由如下函数获得：(int)((cur_sys_time-start_sys_time)/(1000/(fd*m)))*(1000/fd)。
图4示出根据本公开实施例的目标检测后处理的流程图。
根据本公开的实施例，在执行目标检测之后，可以判断在多个视频段的交界处是否存在针对同一目标检测对象的多张重复抓拍，并且，当存在多张重复抓拍时，选择多张重复抓拍中质量分数最高的一张。由此，能够避免因为视频分割造成的重复目标检测，去除重复抓拍。
如图4所示，在步骤S401中，可以在视频段的交界处构建时间阈值区间。在一个示例中，假设第一视频段的结束时间位置为a1，第二视频段的开始时间位置为b1，x为一时间阈值，则时间阈值区间可以构建为从a1–x到b1+x的区间。可以获取在该时间阈值区间内产生的所有抓拍。构造时间阈值区间使得能够在更大阈值范围上检查，由此能够提高去除重复抓拍的准确度。本领域技术人员可以理解，在此仅以两个视频段作为示例进行描述，在具有更多视频段的情况下原理相似。
在步骤S402中，可以判断在该时间阈值区间内是否只出现一次抓拍。
在一个示例中，可以首先设置一个空的特征库。提取在该时间阈值区间内所获得的所有抓拍的特征，并将特征存储到上述特征库中。之后，检查该特征库中是否存在有特征值。如果未检查到特征值，表示在时间阈值区间内所获得的所有抓拍都不包含目标检测对象，因此也不存在重复抓拍，则可以结束整个目标检测后处理。反之，如果检查到特征值，则获取该特征值(在下文中称为“已有特征值”)，同时将其从特征库中删除，并且继续检查特征库中是否还存在其余特征值。
如果此时未继续检查到特征值，表示所述已有特征值指向时间阈值区间内出现的唯一目标检测对象(即步骤S402中的“是”)，不存在重复抓拍的情况，则在步骤S403中，输出对应于所述已有特征值的该张抓拍即可；而如果此时继续检查到还存在其余特征值，表示时间阈值区间内不只出现一次抓拍(即步骤S402中的“否”)，可能存在重复抓拍的情况，因此进行到步骤S404。
在步骤S404中，将所述已有特征值与特征库中的其余特征值进行比较。
在一个示例中，可以通过计算特征值之间的相似距离的方法来比较特征值之间的相似度。据此，可以获得所述已有特征值与特征库中的其余特征值之间的比较结果。
在步骤S405中，可以根据比较结果判断所述已有特征值与特征库中的其余特征值是否针对同一目标检测对象。如果比较结果不满足预定阈值(即步骤S405中的“否”)，表示所述已有特征值与特征库中的其余特征值指向的不是同一目标检测对象，不存在重复抓拍的情况，因此结果与步骤S403相同，输出对应于所述已有特征值的该张抓拍即可。如果比较结果满足预定阈值(即步骤S405中的“是”)，表示所述已有特征值与特征库中的其余一个或多个特征值指向同一目标检测对象，存在重复抓拍的情况，因此在步骤S406中，可以选择多张重复抓拍中质量分数最高的一张进行输出。
本领域技术人员可以理解，图4仅以针对一个目标检测对象的重复抓拍为例进行描述。在需要对更多目标检测对象的重复抓拍进行处理时，其原理相似，故在此不再赘述。
通过上述过程，可以在执行目标检测之后，判断在多个视频段的交界处是否存在针对同一目标检测对象的多张重复抓拍，并且，当存在所述多张重复抓拍时，选择所述多张重复抓拍中质量分数最高的一张。由此，能够避免因为视频分割造成的重复目标检测，去除重复抓拍。
根据本公开的另一方面，还提供了一种视频文件的目标检测装置。图5示出根据本公开实施例的视频文件的目标检测装置的框图。如图5所示，视频文件的目标检测装置500可以包括：
视频分割模块501，被配置为将所述视频文件分割成多个视频段，其中，所述多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的；
读取速度设置模块502，被配置为将所述用于每个视频段的目标检测速度设置为所述视频文件的读取速度；以及
目标检测模块503，被配置为根据所述读取速度，读取所述多个视频段并针对每个视频段执行目标检测。
视频文件的目标检测装置500的上述模块501、502和503的操作可以分别与前面结合图1描述的步骤S101、S102、S103的操作对应，在此不再赘述。
可选地，视频分割模块501可以包括视频分割判断模块5010，被配置为：在将所述视频文件分割成所述多个视频段前，判断所述期望的目标检测速度是否大于由目标检测算法所提供的最大检测速度；以及响应于所述期望的目标检测速度大于由目标检测算法所提供的最大检测速度，将所述视频文件分割成所述多个视频段。
视频分割判断模块5010的操作可以与前面结合图2描述的步骤S202的操作对应，在此不再赘述。
可选地，所述多个视频段的数量可以基于期望的目标检测速度与由目标检测算法所提供的最大检测速度之间的倍数关系确定。
可选地，用于每个视频段的目标检测速度可以基于期望的目标检测速度与所述多个视频段的数量之间的倍数关系确定。
可选地，视频分割模块501可以被配置为：以逻辑分割的方式将视频文件分割成多个逻辑分段，其中，每个逻辑分段以相应的偏移时间点作为逻辑分段的起始点。
可选地，所述多个逻辑分段可以被分配一个存储地址。
可选地，视频分割模块501可以被配置为：以物理分割的方式将视频文件分割成多个单独的文件。
可选地，所述多个单独的文件中的每个可以被分配相应的存储地址。
可选地，目标检测模块503还可以被配置为：对所述多个视频段中的每个视频段所包含的视频帧执行图像处理。
可选地，目标检测模块503还可以被配置为：控制对每个视频段的读取以将当前视频帧输入至目标检测算法。
可选地，目标检测模块503还可以被配置为：根据读取速度计算当前时刻能够被输入至目标检测算法的视频帧的最大时间戳，并且在当前视频帧的时间戳小于或等于最大时间戳时，将当前视频帧输入至目标检测算法。
可选地，视频文件的目标检测装置500还可以包括目标检测后处理模块504，被配置为在执行所述目标检测之后，判断在所述多个视频段的交界处是否存在针对同一目标检测对象的多张重复抓拍，并且，当存在所述多张重复抓拍时，选择所述多张重复抓拍中质量分数最高的一张。
目标检测后处理模块504的操作可以与前面结合图4描述的步骤S405、S406的操作对应，在此不再赘述。
可选地，目标检测后处理模块504还可以被配置为：在交界处构建时间阈值区间，并且判断在阈值区间内是否存在针对同一目标检测对象的所述多张重复抓拍。
根据本公开的另一方面，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述视频文件的目标检测方法。
根据本公开的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行上述视频文件的目标检测方法。
根据本公开的另一方面，还提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述视频文件的目标检测方法。
参考图6，现将描述可以应用于本公开的电子设备600的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606、输出单元607、存储单元608以及通信单元609。输入单元606可以是能向电子设备600输入信息的任何类型的设备，输入单元606可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元607可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元608可以包括但不限于磁盘、光盘。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如视频文件的目标检测方法。例如，在一些实施例中，视频文件的目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的视频文件的目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频文件的目标检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (24)

1.一种视频文件的目标检测方法，包括：
将所述视频文件分割成多个视频段，其中，所述多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的，所述多个视频段的数量基于所述期望的目标检测速度与由目标检测算法所提供的最大检测速度之间的倍数关系确定，并且所述用于每个视频段的目标检测速度基于所述期望的目标检测速度与所述多个视频段的数量之间的倍数关系确定；
将所述用于每个视频段的目标检测速度设置为所述视频文件的读取速度；以及
根据所述读取速度，读取所述多个视频段并针对所述多个视频段并行地执行所述目标检测。
2.如权利要求1所述的方法，其中，所述将所述视频文件分割成多个视频段包括：
在将所述视频文件分割成所述多个视频段前，判断所述期望的目标检测速度是否大于由目标检测算法所提供的最大检测速度；以及，
响应于所述期望的目标检测速度大于由目标检测算法所提供的最大检测速度，将所述视频文件分割成所述多个视频段。
3.如权利要求1所述的方法，其中，所述将所述视频文件分割成多个视频段包括：
以逻辑分割的方式将所述视频文件分割成多个逻辑分段，其中，每个逻辑分段以相应的偏移时间点作为所述逻辑分段的起始点。
4.如权利要求3所述的方法，其中，为所述多个逻辑分段分配一个存储地址。
5.如权利要求1所述的方法，其中，所述将所述视频文件分割成多个视频段包括：以物理分割的方式将所述视频文件分割成多个单独的文件。
6.如权利要求5所述的方法，其中，为所述多个单独的文件中的每个分配相应的存储地址。
7.如权利要求1所述的方法，其中，所述读取所述多个视频段包括：对所述多个视频段中的每个视频段所包含的视频帧执行图像处理。
8.如权利要求1所述的方法，其中，所述针对每个视频段执行目标检测包括：控制对所述每个视频段的读取以将当前视频帧输入至目标检测算法。
9.如权利要求8所述的方法，其中，根据所述读取速度计算当前时刻能够被输入至所述目标检测算法的视频帧的最大时间戳，并且在所述当前视频帧的时间戳小于或等于所述最大时间戳时，将所述当前视频帧输入至所述目标检测算法。
10.如权利要求1所述的方法，还包括：在执行所述目标检测之后，判断在所述多个视频段的交界处是否存在针对同一目标检测对象的多张重复抓拍，并且，当存在所述多张重复抓拍时，选择所述多张重复抓拍中质量分数最高的一张。
11.如权利要求10所述的方法，其中，在所述交界处构建时间阈值区间，并且判断在所述阈值区间内是否存在针对所述同一目标检测对象的所述多张重复抓拍。
12.一种视频文件的目标检测装置，包括：
视频分割模块，被配置为将所述视频文件分割成多个视频段，其中，所述多个视频段的数量以及用于每个视频段的目标检测速度是根据期望的目标检测速度确定的，其中，所述多个视频段的数量基于所述期望的目标检测速度与由目标检测算法所提供的最大检测速度之间的倍数关系确定，并且所述用于每个视频段的目标检测速度基于所述期望的目标检测速度与所述多个视频段的数量之间的倍数关系确定；
读取速度设置模块，被配置为将所述用于每个视频段的目标检测速度设置为所述视频文件的读取速度；以及
目标检测模块，被配置为根据所述读取速度，读取所述多个视频段并针对所述多个视频段并行地执行目标检测。
13.如权利要求12所述的装置，所述视频分割模块包括视频分割判断模块，被配置为：
在将所述视频文件分割成所述多个视频段前，判断所述期望的目标检测速度是否大于由目标检测算法所提供的最大检测速度；以及
响应于所述期望的目标检测速度大于由目标检测算法所提供的最大检测速度，将所述视频文件分割成所述多个视频段。
14.如权利要求12所述的装置，其中，所述视频分割模块被配置为：
以逻辑分割的方式将所述视频文件分割成多个逻辑分段，其中，每个逻辑分段以相应的偏移时间点作为所述逻辑分段的起始点。
15.如权利要求14所述的装置，其中，所述多个逻辑分段被分配一个存储地址。
16.如权利要求12所述的装置，其中，所述视频分割模块被配置为：以物理分割的方式将所述视频文件分割成多个单独的文件。
17.如权利要求16所述的装置，其中，所述多个单独的文件中的每个被分配相应的存储地址。
18.如权利要求12所述的装置，其中，所述目标检测模块还被配置为：对所述多个视频段中的每个视频段所包含的视频帧执行图像处理。
19.如权利要求12所述的装置，其中，所述目标检测模块还被配置为：控制对所述每个视频段的读取以将当前视频帧输入至目标检测算法。
20.如权利要求19所述的装置，其中，所述目标检测模块还被配置为：根据所述读取速度计算当前时刻能够被输入至所述目标检测算法的视频帧的最大时间戳，并且在所述当前视频帧的时间戳小于或等于所述最大时间戳时，将当前视频帧输入至所述目标检测算法。
21.如权利要求12所述的装置，还包括目标检测后处理模块，被配置为在执行所述目标检测之后，判断在所述多个视频段的交界处是否存在针对同一目标检测对象的多张重复抓拍，并且，当存在所述多张重复抓拍时，选择所述多张重复抓拍中质量分数最高的一张。
22.如权利要求21所述的装置，其中，所述目标检测后处理模块还被配置为：在所述交界处构建时间阈值区间，并且判断在所述阈值区间内是否存在针对所述同一目标检测对象的所述多张重复抓拍。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-11中任一项所述的方法。
CN202011554049.3A 2020-12-24 2020-12-24 视频文件的目标检测方法、装置、电子设备及存储介质 Active CN112738626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011554049.3A CN112738626B (zh) 2020-12-24 2020-12-24 视频文件的目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011554049.3A CN112738626B (zh) 2020-12-24 2020-12-24 视频文件的目标检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112738626A CN112738626A (zh) 2021-04-30
CN112738626B true CN112738626B (zh) 2023-02-03

Family

ID=75615597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011554049.3A Active CN112738626B (zh) 2020-12-24 2020-12-24 视频文件的目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112738626B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106686108A (zh) * 2017-01-13 2017-05-17 中电科新型智慧城市研究院有限公司 一种基于分布式检测技术的视频监控方法
CN108921773A (zh) * 2018-07-04 2018-11-30 百度在线网络技术（北京）有限公司 人体跟踪处理方法、装置、设备及系统
CN110612721A (zh) * 2018-01-19 2019-12-24 深圳市大疆创新科技有限公司 视频处理方法及终端设备
CN111083561A (zh) * 2019-12-31 2020-04-28 深圳市商汤科技有限公司 视频处理方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2819418A1 (en) * 2013-06-27 2014-12-31 British Telecommunications public limited company Provision of video data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106686108A (zh) * 2017-01-13 2017-05-17 中电科新型智慧城市研究院有限公司 一种基于分布式检测技术的视频监控方法
CN110612721A (zh) * 2018-01-19 2019-12-24 深圳市大疆创新科技有限公司 视频处理方法及终端设备
CN108921773A (zh) * 2018-07-04 2018-11-30 百度在线网络技术（北京）有限公司 人体跟踪处理方法、装置、设备及系统
CN111083561A (zh) * 2019-12-31 2020-04-28 深圳市商汤科技有限公司 视频处理方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴粉侠 ; 李红.《基于边缘强度匹配的图像融合并行算法的研究》.《电子设计工程》.2014,全文. *

Also Published As

Publication number Publication date
CN112738626A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
CN110489306A (zh) 一种报警阈值确定方法、装置、计算机设备及存储介质
CN112948614B (zh) 图像处理方法、装置、电子设备及存储介质
CN113691733B (zh) 视频抖动检测方法、装置、电子设备和存储介质
KR20210156243A (ko) 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체
JP6368798B2 (ja) 監視装置、監視システムおよび監視方法
CN113810765B (zh) 视频处理方法、装置、设备和介质
CN113473086B (zh) 视频播放的方法、装置、电子设备、智慧高速大屏
CN112560772B (zh) 人脸的识别方法、装置、设备及存储介质
CN113377998A (zh) 数据加载的方法、装置、电子设备及存储介质
CN112738626B (zh) 视频文件的目标检测方法、装置、电子设备及存储介质
CN114627556B (zh) 动作检测方法、动作检测装置、电子设备以及存储介质
CN110751120A (zh) 一种检测方法、装置及电子设备
CN115866211A (zh) 一种设备位置跟踪方法、装置、电子设备及介质
US9372786B1 (en) Constructing state-transition functions for mobile devices
US11295457B2 (en) Tracking apparatus and computer readable medium
CN114740975A (zh) 目标内容的获取方法及相关设备
CN113900910A (zh) 应用程序监控方法、装置、存储介质和电子设备
CN112988105A (zh) 播放状态控制方法、装置、电子设备和存储介质
CN113627534A (zh) 识别动态图像的类型的方法、装置及电子设备
CN112799642A (zh) 用于处理数据的方法、装置、设备以及存储介质
WO2021193352A1 (ja) 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体
CN113411569B (zh) 检测静态画面的方法和装置
CN114445683A (zh) 属性识别模型训练、属性识别方法、装置及设备
CN117459719A (zh) 一种参考帧选择方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant