CN105554591A - 视频分析方法和设备 - Google Patents

Abstract

本发明公开了一种视频分析方法和设备。该方法包括：对视频文件进行切片处理，以获得视频切片；将所述视频切片分发到多个处理器，以由所述多个处理器利用分析模型对分到的视频切片进行解码和分析；以及综合所有视频切片的分析结果。上述视频分析方法和设备充分利用了多个处理器并行分布式计算的优势，充分利用了每个处理器的计算能力，分析速度快，效率高。

Description

视频分析方法和设备

技术领域

本发明涉及视频处理领域，具体涉及一种视频分析方法和设备。

背景技术

目前的视频分析技术已经发展为利用多个中央处理单元(CPU)采用多线程的方式进行视频分析。其中，以一个视频文件为单位来进行视频分析。这样，多个CPU虽然利用多线程的方式来进行数据处理，但是对于一个视频文件而言，数据处理是由多个CPU串行进行的。视频文件需要被完全解码，才能进行分析。

现有的视频分析设备分析速度慢、效率低并且耗时长。

发明内容

鉴于上述问题，提出了本发明以便提供一种至少部分地解决上述问题的视频分析方法和设备。

根据本发明一个方面，提供了一种视频分析方法，包括以下步骤：

对视频文件进行切片处理，以获得视频切片；

将所述视频切片分发到多个处理器，以由所述多个处理器对分到的视频切片进行解码和分析；以及

综合所有视频切片的分析结果。

根据本发明另一方面，还提供了一种视频分析设备，包括切分装置、分发装置和综合装置。其中，所述切分装置用于对视频文件进行切片处理，以获得视频切片。所述分发装置用于将所述视频切片分发到多个处理器，以由所述多个处理器对分到的视频切片进行解码和分析。所述综合装置用于综合所有视频切片的分析结果。

上述视频分析方法和设备充分利用了多个处理器分布式计算的优势，有效利用了每个处理器的计算能力，分析速度快，效率高。由此，真正实现了视频分析云计算。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的视频分析方法的流程图；

图2示出了根据本发明另一个实施例的视频分析方法的流程图；以及

图3示出了根据本发明一个实施例的视频分析设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明的一个方面，提供了一种视频分析方法。视频分析包括但不限于：视频的运动检测、视频中人数统计、根据视频进行越线检测、视频人脸识别、视频中人物的表情分析、视频中的抛洒物分析、视频的物品遗留分析、视频的逆向人流分析等。图1示出了根据本发明一个实施例的视频分析方法100的流程图。如图1所示，该视频分析方法100包括步骤S110、步骤S130和步骤S150。

在步骤S110中，对视频文件进行切片处理，以获得视频切片。这里，采用视频切片技术来对视频文件进行切片处理。视频切片包括视频文件中的多帧连续图像和该多帧连续图像的时间信息。将数据量巨大的视频文件切分成一个个视频切片，以分别解码和分析处理。在后续步骤中，以一个视频切片为单位进行视频分析。

具体地，首先可以对视频文件进行类型分析，以确定其类型。例如，根据视频标准查找视频文件中的数据，并根据所找到的数据确定视频文件的类型。例如，在视频文件中查找到3个0x000001BA，则视频文件为节目流(ProgramStream，PS)。然后，可以根据视频文件的类型，读取视频文件中的数据，将所述视频文件切分为视频切片。

可选地，根据视频文件的画面组(GroupOfPictureGOP)对视频文件进行切片处理。

GOP是一组连续的图像。在视频编码序列中，主要有三种编码帧：帧内编码图像帧(I帧)、预测编码图像帧(P帧)和双向预测编码图像帧(B帧)。GOP包括I帧以及在该I帧之后、在下一个相邻I帧之前的P帧和B帧。根据本发明的一个实施例，可以将1个GOP或数个连续的GOP作为1个视频切片。

根据GOP的定义，GOP可以作为一个独立的图像编解码单元。根据GOP来对视频文件进行切片处理能够保证后续操作的顺利进行，且简单易行。

可选地，根据视频文件的视频场景切换对视频文件进行切片处理。

与文本数据不同，视频数据不仅包括时间信息还包括空间信息。可以对视频内容进行景物变化检测。如果发生了景物变化，那么可以据此认为视频场景发生了切换。即可根据视频场景切换，将视频文件切分为视频切片。也就是说，不同的视频切片包含不同的景物。可以通过对视频文件进行特征检测来识别场景切换，例如颜色、光照、纹理等特征。

根据视频文件的视频场景切换对视频文件进行切片处理特别适合于场景切换频繁的视频文件。场景的切换意味着一个适于编解码的新图像序列的开始，保证了后续解码和分析操作的顺利进行。

在步骤S130中，将视频切片分发到多个处理器，以由多个处理器对分到的视频切片进行解码和分析。在此，将步骤S110所获得的视频切片分发到各个处理器。可以按照视频的视频切片的顺序将其依次分发给各个处理器。每个处理器以一个视频切片为单位进行视频处理。首先，对视频切片进行解码。例如，将视频切片解码为YUV格式。然后，针对YUV格式的视频切片，利用分析模型进行相应的视频分析。

处理器可以包括各种计算单元，例如CPU、图形处理单元(GPU)等。处理器可以是多核的。可选地，多个处理器包括数字信号处理器(DSP)，例如DM816x芯片。DSP虽然通用功能较弱，但其是特别适合于进行数字信号处理运算的微处理器，其主要应用是实时快速地实现各种数字信号处理算法。对于视频分析来说，DSP的处理能力大大高于CPU，但其成本和能耗却大大低于CPU。

处理器可以存在很多个，可选地，大于1000个。执行视频分析的分布式计算的处理器越多，则视频分析设备的计算能力越强，视频文件的分析速度越快。

多个处理器执行分布式计算。每个处理器执行的都是对视频切片的解码和分析操作，从这个角度而言，每个处理器执行的计算是相同的。只是各个处理器所操作的对象不同，每个处理器针对不同的视频切片进行解码和分析操作。每个处理器只需对自己所分到的视频切片进行处理，而无需考虑视频文件的其他视频切片。即使其他视频切片在其他处理器中尚未完成解码，只要该处理器已经对其所分到的视频切片完成了解码，那么即可进行接下来的分析处理。针对所分到的视频切片，多个处理器可以以并行的方式进行处理。换言之，多个处理器可以同时对各自分到的视频切片进行解码和分析，彼此互不干扰和影响。由此，有效地利用了各个处理器的计算能力。

可以理解，分析处理可以采用任何合适的分析模型，例如基于H.264/H.265标准的分析算法的分析模型，本发明对此不做限定。

在步骤S150中，综合所有视频切片的分析结果，作为最终分析结果。

例如，对于根据视频进行车牌识别的视频分析，则根据每个视频切片的车牌识别结果返回车牌号。又例如，对于人脸识别的视频分析，那么将分析每个视频切片所获得的人脸特征值作为最终分析结果。再例如，对于视频中人物的表情分析，那么可以综合根据每个视频切片分析处理所获得的疲劳或者痛苦特征值。另例如，对于视频人数统计分析，那么可以加和对每个视频切片进行分析所获得的其中的人数，以获得视频文件中所涉及的总人数。

上述视频分析方法充分利用了多个处理器执行分布式计算，真正实现了视频分析云计算。因为处理器能够对所分到的视频切片并行处理，所以有效利用了每个处理器的计算能力，分析速度快、效率高并且耗时短。

图2示出了根据本发明另一个实施例的视频分析方法200的流程图。如图2所示，该视频分析方法200包括步骤S205、步骤S210、步骤S230、步骤S240和步骤S250。其中步骤S210和步骤S250与上述视频分析方法100中的对应步骤类似，为了简洁，在此不再赘述。

在步骤S230之前，视频分析方法200可以包括步骤S205，检测多个处理器的计算能力。可以在硬件上电时，进行硬件设备自检，从而检测多个处理器的计算能力。由此，可以评估计算资源的可用性。

可选地，检测多个处理器的计算能力进一步包括：检测多个处理器的数目、多个处理器中的核心的数目和/或多个处理器中的核心的主频。处理器的数目越多，处理器中的核心数越多，核心的主频越高，则处理器的计算能力越强。

在步骤S230中，将视频切片分发到多个处理器可以根据多个处理器的计算能力。

处理器的数目显著影响计算能力。可选地，根据处理器的数目将视频切片分发到多个处理器。假如处理器的数目较少，而视频切片的数目较多，那么可以为每个处理器分多个视频切片。

在本发明的一些场景中，可以对很多个视频文件同时进行视频分析。这些视频文件的分辨率可以是不同的，例如分辨率为3840×2160和4096×2160像素的超高清数字视频、分辨率为1920×1080像素的全高清数字视频。可选地，将超高清数字视频分发给计算能力较高的处理器，例如其中核心较多、主频较高的处理器。而将全高清数字视频分发给计算能力较低的处理器，例如其中核心较少、主频较低的处理器。

检测处理器的计算能力并且根据该计算能力分发视频切片的处理任务，可以有效利用每个处理器的计算能力，让每一个处理器物尽其用。并且，由于处理器能够能者多劳，所以能够尽可能同时完成各自的处理任务，避免因为短板效应导致个别处理器等待的情况，提高了视频分析设备的分析速度。

在多个处理器利用分析模型对分到的视频切片进行解码和分析之后，方法200还可以进一步包括步骤S240，释放多个处理器中完成分析的处理器。及时释放处理器，避免无谓占用计算资源。当存在新的视频文件待分析时，即可利用已经释放的处理器。从而，使整个系统的资源被更有效的利用。

本领域普通技术人员可以理解，上述视频分析方法仅为示例，并不够构成对本发明的限制。例如，虽然在视频分析方法200中，步骤S205先于步骤S210执行，但其执行顺序并非受此限制。步骤S210可以先于步骤S205执行。步骤S205还可以与步骤S210同时执行，以节约时间成本。步骤S240和步骤S250这二者的执行顺序也可以变化为步骤S250先于步骤S240执行，或者与后者同时执行。

可选地，在由多个处理器利用分析模型对分到的视频切片进行解码和分析之前，上述方法100和方法200还可以包括训练步骤：启动多个处理器对训练数据进行学习，以训练上述分析模型。训练数据可以包括视频文件以及期望的分析结果。本领域普通技术人员可以理解，期望的分析结果视视频分析的不同而不同。例如，对于视频运动检测分析，那么可以将检测到物体大小或者阴影等作为期望的分析结果。在视频分析过程中，将该期望的分析结果作为对应的阀值或作为建模的参考值。该训练步骤在图1和图2中未示出。

将训练数据中的视频文件进行切片处理，以获得视频切片。将视频切片分发到多个处理器。在每个处理器中，将视频切片输入至分析模型。分析模型对视频切片进行解码和分析，以获得分析结果。综合所有视频切片的分析结果，以获得最终分析结果。对最终分析结果进行评估，将最终分析结果与训练数据中期望的分析结果进行比较。对于二者相差较大的情况，调整分析模型的参数。以视频物体检测分析为例，可以根据比较结果来调整景深阈值和相应的物体大小范围，以更好地检测出目标物。利用经调整的分析模型，再次对视频文件进行分析。如果最终分析结果与期望的分析结果仍然相差较大，那么再次调整分析模型的参数。重复上述过程，直至分析模型的最终分析结果与期望的分析结果大体一致。则将此时所获得的分析模型用于视频分析。

该训练步骤有效提供了分析模型的分析准确性。进而，相应地提高了上述视频分析方法的分析准确性。

根据本发明另一方面，还提供了一种视频分析设备。图3示出了根据本发明一个实施例的视频分析设备300的示意性框图。如图3所示，该视频分析设备300包括切分装置310、分发装置330和综合装置350。

切分装置310用于对视频文件进行切片处理，以获得视频切片。可选地，切分装置310根据视频文件的画面组或者视频场景切换对视频文件进行切片处理。分发装置330用于将视频切片分发到多个处理器，以由多个处理器利用分析模型对分到的视频切片进行解码和分析。综合装置350用于综合所有视频切片的分析结果。

多个处理器可以是数字信号处理器。多个处理器可以分别集成在多个板卡上。每个板卡上集成有至少一个处理器。板卡包括网络接口，用于与视频分析设备通信。

该视频分析设备300还可以包括处理器检测装置。处理器检测装置用于检测所述多个处理器的计算能力。处理器检测装置可以配置为检测多个处理器的数目、多个处理器中的核心的数目和/或多个处理器中的核心的主频。分发装置将视频切片分发到多个处理器是根据多个处理器各自的计算能力。

该视频分析设备300还可以包括释放装置。释放装置用于释放多个处理器中完成分析的处理器。

该视频分析设备300还可以包括训练装置，用于启动多个处理器对训练数据进行学习，以训练分析模型。其中，训练数据包括视频文件以及期望的分析结果。

本领域普通技术人员通过阅读上文关于视频分析方法的详细描述，能够理解上述视频分析设备的结构、实现以及优点，因此这里不再赘述。

在此提供的方法和设备不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用设备也可以与基于在此的示教一起使用。根据上面的描述，构造这类设备所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者装置的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种视频分析方法，包括：

对视频文件进行切片处理，以获得视频切片；

将所述视频切片分发到多个处理器，以由所述多个处理器利用分析模型对分到的视频切片进行解码和分析；以及

综合所有视频切片的分析结果。

2.如权利要求1所述的方法，其中，在所述将所述视频切片分发到多个处理器之前，所述方法进一步包括：

检测所述多个处理器的计算能力；

所述将所述视频切片分发到所述多个处理器是根据所述多个处理器的计算能力。

3.如权利要求2所述的方法，其中，所述检测所述多个处理器的计算能力进一步包括：

检测所述多个处理器的数目；

检测所述多个处理器中的核心的数目；和/或

检测所述多个处理器中的核心的主频。

4.如权利要求1至3任一项所述的方法，其中，所述对视频文件进行切片处理进一步包括：

根据视频文件的画面组或者视频场景切换对视频文件进行切片处理。

5.如权利要求1至3任一项所述的方法，其中，在所述由所述多个处理器利用分析模型对分到的视频切片进行解码和分析之前，所述方法进一步包括：

启动所述多个处理器对训练数据进行学习，以训练所述分析模型，其中所述训练数据包括视频文件以及期望的分析结果。

6.如权利要求1至3任一项所述的方法，其中，在所述由所述多个处理器利用分析模型对分到的视频切片进行解码和分析之后，所述方法进一步包括：

释放所述多个处理器中完成分析的处理器。

7.如权利要求1至3任一项所述的方法，其中，所述多个处理器是数字信号处理器。

8.一种视频分析设备，包括切分装置、分发装置和综合装置，其中，

所述切分装置用于对视频文件进行切片处理，以获得视频切片；

所述分发装置用于将所述视频切片分发到多个处理器，以由所述多个处理器利用分析模型对分到的视频切片进行解码和分析；以及

所述综合装置用于综合所有视频切片的分析结果。

9.如权利要求8所述的设备，其中，所述设备进一步包括：

检测装置，用于检测所述多个处理器的计算能力；

所述分发装置将所述视频切片分发到所述多个处理器是根据所述多个处理器的计算能力。

10.如权利要求9所述的设备，其中，所述设备进一步包括：

训练装置，用于启动所述多个处理器对训练数据进行学习，以训练所述分析模型，其中所述训练数据包括视频文件以及期望的分析结果。