CN111836102B - 视频帧的分析方法和装置 - Google Patents

Abstract

本发明实施例提供一种视频帧的分析方法和装置，本发明实施例中至少两路视频通道与同一分析节点连接，可以获得各路视频通道的视频帧，并对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象。将待分析视频通道的视频帧发送给分析节点进行分析，由于待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定，实现分析节点对包含待分析目标对象的视频帧所对应的视频通道进行视频帧分析，并且使用轮询的方式实现同一分析节点能处理多个视频通道的视频帧，提高分析节点的资源利用率。

Description

视频帧的分析方法和装置

技术领域

本发明涉及信息处理技术领域，尤其涉及视频帧的分析方法和装置。

背景技术

随着科学技术的发展，监控技术越来越多的被应用于公众场所、办公场所以及个人家庭等不同的场合。例如，在公众场所设置监控摄像头，并通过监控摄像头进行视频/图像采集，并将采集到的视频/图像数据传输至分析节点，由分析节点对视频/图像进行自动检测分析，并做出报警或其他动作。例如，通过分析监控摄像头采集的视频来判断工地上的员工是否佩戴安全帽，并根据分析结果进行相应的处理。又如，通过分析监控摄像头采集的视频来判断指定区域是否存在摊贩，并根据分析结果进行相应的处理等。随着待监控场景的增加，监控数据的路数也会跟着增加，而每路监控数据由对应的分析节点进行分析，因此需要配置更多的分析节点才能实现对监控数据的分析。然而，采用分析节点与待分析数据一一对应的方式，会造成资源浪费、资源利用率低的情况。

发明内容

为克服相关技术中存在的问题，本发明提供了视频帧的分析方法和装置。

根据本发明实施例的第一方面，提供一种视频帧的分析方法，适用于包括至少两路视频通道的监控系统，至少两路视频通道与同一分析节点连接，所述方法包括：

获得各路视频通道的视频帧；

对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象；

将待分析视频通道的视频帧发送给分析节点进行分析，所述待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定。

根据本发明实施例的第二方面，提供一种视频帧的分析装置，适用于包括至少两路视频通道的监控系统，至少两路视频通道与同一分析节点连接，所述装置包括：

视频帧获得模块，用于获得各路视频通道的视频帧；

对象检测模块，用于对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象；

视频帧处理模块，用于将待分析视频通道的视频帧发送给分析节点进行分析，所述待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明实施例中至少两路视频通道与同一分析节点连接，可以获得各路视频通道的视频帧，并对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象。将待分析视频通道的视频帧发送给分析节点进行分析，由于待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定，实现分析节点对包含待分析目标对象的视频帧所对应的视频通道进行视频帧分析，并且使用轮询的方式实现同一分析节点能处理多个视频通道的视频帧，提高分析节点的资源利用率，在分析节点数量不变的情况下，提高分析的视频路数。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入发明中并构成本发明的一部分，示出了符合本发明的实施例，并与发明一起用于解释本发明的原理。

图1是本发明根据一示例性实施例示出的一种监控系统的结构示意图。

图2是本发明根据一示例性实施例示出的一种视频帧的分析方法的流程图。

图3A是本发明根据一示例性实施例示出的一种轮询分析框架示意图。

图3B是本发明根据一示例性实施例示出的另一种视频帧的分析方法的示意图。

图3C是本发明根据一示例性实施例示出的另一种视频帧的分析方法的示意图。

图4是本发明视频帧的分析装置所在计算机设备的一种硬件结构图。

图5是本发明根据一示例性实施例示出的一种视频帧的分析装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在实际应用中，采用分析节点与待分析数据一一对应的方式，会造成资源浪费、资源利用率低的情况。而申请人经过研究发现，每路监控数据并不需要被实时分析，而在检测区域内出现待分析的目标对象时执行分析任务才有意义。例如，工地上不存在员工时，并不需要进行员工是否佩戴安全帽的分析任务。如果利用分析节点对实时采集的监控数据进行分析，造成资源利用率低。

鉴于此，本发明提供一种监控数据的分析方案，至少两路视频通道与同一分析节点连接，可以获得各路视频通道的视频帧，并对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象。将待分析视频通道的视频帧发送给分析节点进行分析，由于待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定，实现分析节点仅对包含待分析目标对象的视频帧所对应的视频通道进行视频帧分析，并且使用轮询的方式实现同一分析节点能处理多个视频通道的视频帧，提高分析节点的资源利用率，在分析节点数量不变的情况下，提高分析的视频路数，为用户创造更大价值。

以下结合附图对本发明实施例进行示例说明。

本发明的监控数据的分析方法，适用于包括至少两路视频通道的监控系统。为了方便理解，提供一种监控系统进行示例说明。如图1所示，是本发明根据一示例性实施例示出的一种监控系统的结构示意图。在该系统中，可以包括至少两个视频采集装置12、数据调度装置14以及分析节点16。每个视频采集装置可以提供一路视频数据。视频采集装置可以是摄像头等摄像设备，在一个例子中，视频采集装置可以是网络摄像机(也叫做IP摄像机，即IP Camera，简称IPC)。IPC集成了视频音频采集、信号处理、编码压缩、智能分析、缓冲存储及网络传输等多种功能。数据调度装置可以用于决定将哪个视频采集装置采集的数据传输给分析节点。分析节点是用于对视频帧进行分析的节点，基于不同的目的可以配置不同的分析节点，分析节点所提供的分析服务(所执行的分析任务)可以根据场景需求配置。例如，针对监控员工是否戴安全帽的场景，分析节点所执行的分析任务可以是识别视频数据中员工是否戴安全帽。针对车牌号识别场景中，分析节点所执行的分析任务可以是识别图像数据中车辆的车牌号码等。分析节点可以是集成在某个设备中的分析单元等功能模块，也可以是独立的设备。例如，监控系统可以是集成有视频采集装置、数据调度装置以及分析单元的视频监控一体机。又如，监控系统也可以由多个IPC、数据调度设备以及分析设备构成。视频采集装置的数量至少为两个，分析节点的数量可以为一个，也可以为多个。

接下来，对本发明视频帧的分析方法进行示例说明。

如图2所示，是本发明根据一示例性实施例示出的一种视频帧的分析方法的流程图，适用于包括至少两路视频通道的监控系统，至少两路视频通道与同一分析节点连接，所述方法包括：

在步骤202中，获得各路视频通道的视频帧；

在步骤204中，对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象；

在步骤206中，将待分析视频通道的视频帧发送给分析节点进行分析，所述待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定。

在一个例子中，图2所示视频帧的分析方法可以应用于上述监控系统的数据调度装置中。

示例的，数据调度装置包括检测单元和调度单元，步骤202和步骤204可以由检测单元执行，步骤206可以由调度单元执行。检测单元和调度单元可以设在同一端，即先确定待分析视频通道，再将待分析视频通道的视频帧发送给分析节点进行分析。检测单元和调度单元也可以设在不同端，例如，检测单元设在中心处理端，调度单元设置在分析节点所在端，检测单元检测到视频帧包含分析目标对象后，发送至分析节点所在端的调度单元，由调度单元确定待分析视频通道，再将待分析视频通道的视频帧发送给分析节点进行分析。

实际应用中，分析节点每次只能分析固定路数的数据。在一个示例中，分析节点每次只能分析一路数据，在另一个示例中，一个分析节点每次能同时分析多路数据。本实施例为了提高分析节点资源利用率，期望同一个分析节点在不同时候能分析不同路视频通道的数据，为了实现同一个分析节点能分析不同路视频通道的数据的同时，尽可能保证每路视频通道所对应场景的监控事件被监控到，在一个实施例中，是否将某视频通道的视频数据发送至分析节点进行分析，不仅要看是否轮询到该路视频通道，还需要看该路视频通道的数据是否满足预设的分析触发条件，在满足上述两个条件时才将该路视频通道的数据发送至分析节点进行分析。否则，直接进行下一个视频通道的判断。

在一个例子中，只有在视频通道的数据满足预设的分析触发条件时，才会在视频通道对应的第一存储区中存储数据，因此，可以依据是否轮询到该路视频通道以及该路视频通道对应的第一存储区中是否存储数据等，来决定是否将第一存储区的视频帧发送至分析节点。存储在第一存储区的视频帧即为待分析数据。例如，轮询判断各视频通道对应的第一存储区中是否存在视频帧，并在视频通道对应的第一存储区中存在视频帧、且分析节点存在空闲处理资源时，将所述第一存储区中的视频帧发送至所述分析节点。

同一个分析节点可以对应多路视频通道，而分析节点一次只能分析固定路数的数据，因此，从与分析节点连接的所有路视频通道中，依次选择一路或多路视频通道的数据进行处理，以实现轮询各路视频通道。按照预设次序轮询各个视频通道，还可以将当前轮询到的视频通道称为指定通道。而视频通道与视频通道的切换时机，可以是在预设通道切换条件满足。即，在预设通道切换条件满足时，依据预设次序判断下一个视频通道是否为待分析视频通道。以分析节点一次只能分析一路数据为例，预设通道切换条件可以是预先设置的结束当前视频通道的视频处理的条件。例如，当前视频通道对应的第一存储区中不存在视频帧，或，接收到分析节点反馈的针对当前视频通道的视频帧分析结果等。由于在依据视频帧获得分析结果后，短时间内分析结果不会变更，因此，可以在得到分析结果后，直接进行下一个视频通道的分析，尽可能保证每路视频通道所对应场景的监控事件被监控到。如，在将当前视频通道对应的第一存储区的视频帧发送至分析节点，分析节点分析完成，最后将分析结果输出，继续下一个视频通道的分析。以分析节点一次能分析多路数据为例，预设通道切换条件可以包括预先设置的结束当前视频通道的视频处理的条件、或分析节点存在空闲处理资源。

在该实施例中，是否切换进入下一视频通道视频帧的处理，可以考虑当前视频通道的视频帧是否分析完成、或者分析节点是否存在空闲处理资源，从而在能实现同一个分析节点能分析不同路视频通道的视频帧的同时，尽可能保证每路视频通道所对应场景的监控事件被监控到，提高资源利用率。

步骤202和步骤204是对视频通道的视频帧进行预检测过程，步骤206是数据调度过程。接下来对预检测过程进行介绍。示例的，可以依据视频通道的视频帧判断预设的分析触发条件是否满足，以决定是否将该路视频通道作为待分析视频通道。

关于预设的分析触发条件，是预先设置的用于确定将该路视频通道作为待分析视频通道的条件，条件判断过程可以认为是一个预检测过程，分析节点只会对待分析视频通道的视频帧进行分析处理。

在一个实施例中，预设的分析触发条件可以是：判定视频帧是否包含待分析目标对象。本实施例可以对视频采集装置采集的视频帧进行检测，在检测到存在待分析目标对象的视频帧后，判定该路视频通道为待分析视频通道。

示例的，在视频通道的视频帧包含待分析目标对象时，将该路视频通道的视频帧存储到该路视频通道对应的第一存储区，所述第一存储区所存储的视频帧中至少有包含待分析目标对象的视频帧。

在一个例子中，可以将检测到待分析目标对象前后获得的视频帧存储在第一存储区中，在另一个实施例中，可以将检测到待分析目标对象时以及后续获得的视频帧存储在第一存储区中，即可以存储以包含待分析目标对象的视频帧为首帧的多帧视频帧。待轮询到本视频通道时，可以将第一存储区中的视频帧发送给分析节点，由分析节点对视频帧进行分析。

在该实施例中，每次进行目标对象检测后，在检测到目标对象时，可以将存在待分析目标对象的视频帧作为首帧开始存储。相应的，存储区中存储的视频帧以所述包含待分析目标对象的视频帧为首帧开始存储。

不仅将存在待分析目标对象的视频帧进行存储，还将后续接收到的视频帧也进行存储，一方面，分析节点进行一次完整的分析需要多帧视频帧，另一方面，在当前所获取视频帧是存在待分析目标对象的数据时，表明之后所采集的一部分视频帧也可能是存在待分析目标对象的数据，因此，将当前所获取视频帧、以及之后采集的一部分视频帧都存储在第一存储区中，可以提高分析处理的及时性，并且减少目标对象检测的处理量。

检测到存在待分析目标对象的视频帧后，之后所采集的视频帧中可能存在不包含待分析目标对象的视频帧，又为了避免实时进行目标对象检测导致的资源浪费，在一个示例中，还配置有对象检测触发条件。在对象检测触发条件满足时，启动目标对象检测功能，对当前获取的视频帧进行目标对象检测。

对象检测触发条件可以是预先设置的用于触发对当前获取的视频帧进行目标对象检测的条件。在一个例子中，分析节点在执行一次完整分析时所需视频帧总数可以称为视频帧集，或者待分析数据集。为了能保证分析节点能及时执行一次完成分析任务，可以在检测到包含待分析目标对象的视频帧后，继续获取采集的视频帧，在所获取的视频帧达到分析节点执行一次完成分析任务所需视频帧后，再触发进行下一次目标对象检测。例如，对象检测触发条件可以是：在检测到包含待分析目标对象的视频帧后开始存储、且存储的视频帧的帧数达到预设帧数阈值。帧数阈值基于分析节点执行分析任务时所需视频帧的时间长度或数量确定。如，帧数阈值可以大于或等于分析节点执行一次完成分析任务所需视频帧的帧数。

实际应用中，基于不同的分析任务，对分析数据的要求可能不同。例如，在某些场景中，分析节点需要利用连续视频帧进行分析，而在某些场景中，分析节点仅需利用连续视频帧中的部分视频帧进行分析。例如，部分视频帧是按指定帧间隔从连续视频帧中抽取的视频帧。而具体选取哪种类型的视频帧由分析节点所执行分析任务而定。本实施例获得的视频帧可以为连续视频帧，也可以为连续视频帧中选取的部分视频帧。

在一个实施例中，第一存储区中的视频帧可以为连续视频帧，第一存储区中的视频帧的帧数阈值基于分析节点执行分析任务时所需视频帧的时间长度确定。例如，在检测到包含待分析目标对象的视频帧后，可以将时间长度为T的连续视频帧存储到第一存储区中。其中，T大于或等于所述时间长度。存储的连续视频帧可以包括检测到包含待分析目标对象的视频帧后所采集的视频帧，也可以包括检测到包含待分析目标对象的视频帧之前所采集的视频帧。示例的，对象检测触发条件可以是：以检测到存在待分析目标对象的视频帧为起点时间，T时间到达。在检测到存在待分析目标对象的视频帧时，将该视频帧作为目标视频帧存储在第一存储区中，并将之后T时间段内的视频采集装置采集的数据存储在第一存储区中。可见，可以以检测到包含待分析目标对象的视频帧为起点时间，从视频采集装置中获取时长为T的视频数据并存储在第一存储区中。在存储的视频数据的时间长度为T时，触发进行下一次目标对象检测。

在另一个实施例中，所述第一存储区中的视频帧为连续视频帧中选取的部分视频帧，第一存储区中的视频帧的帧数阈值基于分析节点执行分析任务时所需视频帧的数量确定。部分视频帧可以是从连续视频帧中按指定间隔抽取的视频帧，甚至可以是从连续视频帧中抽取的包含待分析目标对象的视频帧，以保证每帧视频帧都包括待分析目标对象。可以理解的是，抽取条件可以根据需求设定。例如，在检测到包含待分析目标对象的视频帧后，可以抽取N张视频帧存储到第一存储区中。其中，N大于或等于帧数阈值。存储的N张视频帧可以包括检测到包含待分析目标对象的视频帧后所采集的视频帧，还可以包括检测到包含待分析目标对象的视频帧之前所采集的视频帧。示例的，所述对象检测触发条件可以是：以检测到存在待分析目标对象的视频帧为起点，从视频采集装置所采集连续视频帧中抽取N张图像。相应的，在检测到存在待分析目标对象的视频帧时，将该视频帧作为目标视频帧存储在该路视频通道对应的第一存储区中，并将之后从视频采集装置采集的数据中抽取的(N-1)张图片存储在第一存储区中。在存储的图像的张数为N时，触发进行下一次目标对象检测。

在另一个实施例中，对象检测触发条件还可以是：接收到分析节点反馈的分析结果，即在分析节点对本视频通道所对应第一存储区中的视频帧进行分析且分析完成后，可以触发执行下一次目标对象检测。

视频帧存在待分析目标对象是触发分析节点进行分析的触发条件。分析节点的分析处理是对视频帧中待分析目标对象的分析处理，待分析目标对象是分析节点对视频帧进行分析的基础，如，待分析目标对象可以是分析节点所需分析的对象，在视频帧中存在待分析目标对象时执行分析操作才有意义。

例如，针对监控员工是否戴安全帽的场景，视频中存在人时，分析节点执行分析任务(识别视频数据中人员是否戴安全帽)才有意义，因此，待分析目标对象可以是人。又如，针对车牌号识别场景中，视频中存在车辆时，分析节点执行分析任务(识别图像数据中车辆的车牌号码)才有意义，因此，待分析目标对象可以是车辆。可见，目标对象基于分析节点所执行分析任务而确定，在此不一一列举。

关于如何检测是否存在待分析目标对象的数据，在一个实施例中，可以直接判断当前获取的视频帧是否存在待分析目标对象。例如，采用人物检测方法判断当前获取的视频数据中是否存在人，又如，采用车辆识别方法判断当前获取的视频数据中是否存在车辆等。在当前获取的视频帧存在待分析目标对象时，从当前获取的视频帧开始，存储T时间的连续视频帧，或者，从当前获取的视频帧开始，从连续视频帧中抽取N张视频帧。

实际应用中，同一个目标对象在同一个地方停留的时间较长，则针对没有变化的同一目标对象进行分析的实际意义不大，鉴于此，为了减轻分析节点的处理负担以及尽快进行下一个视频通道的判断，在另一个实施例中，还提供另一种检测手段，可以通过以下步骤检测是否存在待分析的目标对象的数据：

第一存储区中上一次存储的视频帧的帧数满足所述帧数阈值后，将当前获得的视频帧与第一存储区中最后一帧视频帧对比，根据两帧视频帧的差异判断当前获得的视频帧是否存在待分析目标对象。

其中，存储区中存储有包含待分析目标对象的视频帧。在分析节点执行分析任务时需要一组视频帧集，所以第一存储区可以存储一组视频帧集。为了减少分析次数，将当前获取的视频帧与第一存储区中视频帧集的最后一帧视频帧对比，进而通过两类视频帧的差异判断当前获取的视频帧是否为存在待分析目标对象的数据。如何根据差异判断当前获取的视频帧是否存在待分析目标对象，可以由分析节点的分析任务进行预先配置。例如，若根据差异判定当前获取的视频帧包括新的目标对象，则判定当前获取的视频帧存在待分析目标对象。该实施例可以避免同一目标对象的重复分析。又如，若两类视频帧的差异程度大于预设阈值，可以判定当前获取的视频帧存在待分析目标对象据。该实施例可以避免对没有发生变化或变化较小的视频帧进行重复分析，实现同一目标对象在发生较大变化时，仍可以对变化的目标对象进行分析。仍以识别员工是否戴安全帽为例，当前获取的视频帧为存在新人员的数据时，可以触发存储操作，以便后续进行分析操作。当前获取的视频帧相较于之前的数据发生某些变化时，也可以触发存储操作，以便后续进行分析操作。例如，同一个员工，可能一开始没戴安全帽，一段时间后又戴了安全帽。

相应的，在一个例子中，以第一存储区中存储的视频帧集是以目标视频帧(目标视频帧中包含待分析目标对象)为首帧开始存储为例，则第一存储区中上一次存储的视频帧的帧数满足所述帧数阈值时，按照以下方式确定下一次存储的包含待分析目标对象的目标视频帧：将当前获取的视频帧与第一存储区中的最后一帧视频帧对比，根据两帧视频帧的差异判断当前获取的视频帧是否存在待分析目标对象。如果判定当前获取的视频帧存在待分析目标对象，则将当前获取的视频帧作为下一次存储的目标视频帧，否则继续进行目标对象检测。进一步的，如果当前获取的视频帧存在待分析目标对象，还可以对第一存储区的存储空间进行判断，如果没有存储空间，可以舍弃当前获取的视频帧。

分析节点在执行一次完整分析时所需视频帧总数可以称为视频帧集，或者待分析数据集。为了能保证分析节点能执行一次完成分析任务，视频通道对应的第一存储区的存储空间至少能存储视频帧集。为了保证能存储视频帧集，需要清除第一存储区中已发送至分析节点的视频帧。在一个实施例中，如果检测到存在待分析目标对象的视频帧，可以将从视频采集装置获取的视频帧进行存储，另外，如果轮询到当前视频通道、可以从第一存储区中将已存储的视频帧发送至分析节点，实现一边写入第一存储区，一边从第一存储区中读取视频帧，读取同时清除已读取视频帧。如果未轮询到当前视频通道，在检测到存在待分析目标对象的视频帧时，将视频采集装置采集的视频帧存储到第一存储区中。

而针对将当前获取的视频帧与第一存储区中的最后一帧视频帧对比的实施例，若第一存储区中最后一张视频帧还未发送至分析节点，则可以直接将当前获取的视频帧与第一存储区中的最后一帧视频帧对比。而为了应对第一存储区中最后一张视频帧已发送至分析节点的情况，可以预先定义发送视频帧给分析节点时，在第一存储区中暂时保留视频帧集中的最后一帧视频帧，以便后续将当前获取的视频帧与第一存储区中的最后一帧视频帧对比，在开始存储新的视频帧时，可以将保留的视频帧删除。

以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本发明公开的范围。

以下以具体实施例进行示例说明。

如图3A所示，是本发明根据一示例性实施例示出的一种轮询分析框架示意图。在该示意图中，假设有m个IPC提供m路视频帧，将每个IPC进行排序，按预设次序逐个遍历IPC，判断与该IPC的IPC通道对应的第一存储区中是否存在视频帧，所述视频帧是在检测到存在待分析目标对象的视频帧后、进行下一次目标对象检测前所获取的视频帧。例如，所述视频帧以目标视频帧为首帧开始存储，所述目标视频帧中存在待分析的目标对象。若当前IPC通道对应的第一存储区中不存在视频帧，则进行下一个IPC通道的分析。若当前IPC通道对应的第一存储区中存在视频帧，在分析节点的状态为空闲时，将从第一存储区中获取的视频帧发送给分析节点进行分析。分析节点完成分析，最后将分析结果输出，继续下一个IPC通道的分析。在分析节点的状态为忙碌时，则等待，直到空闲时将从第一存储区中获取的视频帧发送给分析节点进行分析。以此类推，在对所有IPC通道进行判断后，又重新依次判断。

在一个实施例中，不同视频通道的视频帧的预检测操作可以由不同线程同步执行。如图3B所示，是本发明根据一示例性实施例示出的另一种视频帧的分析方法的示意图，该实施例以视频帧为连续视频帧为例进行示例说明。在该示意图中，主要从每条视频通道的视频帧的预检测及存储操作的角度进行示意。在这个流程中，多个IPC的实时流被同时送往多个DSP检测线程，由DSP检测线程做基本的目标对象检测操作，判断是否满足触发条件。例如，分析当前获取的视频数据是否是存在待分析目标对象的数据，如果不是，则继续对下一次获取的视频帧进行目标对象检测；如果是，则开始存储获取的视频数据，存储时间长度为T的视频，该时间长度取决于分析节点的分析需要。在一个实施例中，可以基于分析节点执行分析任务时所需视频的时间长度确定一个时间范围。用户可以从时间范围内选择一个时间作为T，实现T的可配置。接着如果轮询到该IPC通道，则判断第一存储区是否存在视频帧，若存在，则判断分析节点是否空闲，如果不空闲则等待，直到空闲。等待时间可以根据需求配置。例如，可以根据分析节点一次完整分析所花费时间而确定。当分析节点空闲后，将存储的视频帧发送给分析节点，分析节点完成分析，最后将分析结果输出，继续下一个IPC通道的分析。

本实施例提出一种轮询策略，在有限的分析资源的情况下实现更多路的视频数据被智能分析，基于该方法可以有效提高分析资源的利用率，在不影响用户使用效果的情况下为用户创造更大的价值。

在监控系统中还可以包括多个分析节点，不同分析节点可以执行不同分析任务。例如，分析节点1执行员工是否戴安全帽检测的任务，分析节点2执行车辆车牌号检测的任务等。不同分析节点还可以共享同一路视频通道，即在同一次轮询中，在判定第一存储区中存在视频帧时，可以将第一存储区的视频帧发送至不同分析节点。在某些例子中，不同分析节点所需视频帧集可能不同，因此，可以将不同分析节点所对应视频帧集存储在不同存储区，进而从相应存储区中获取视频帧并发送至分析节点。

实际应用场景中，某些场景可能并不存在本实施例所指待分析目标对象，例如，通过分析监控摄像头采集的视频来判断是否发生火灾等场景，针对这类无法进行预检测的场景，本实施例采用时间轮询的方式对各个视频采集装置采集的视频帧进行调配和处理。

在一个实施例中，所述系统还包括与所述分析节点执行不同分析任务的另一分析节点，所述另一分析节点与至少两路视频通道连接，所述方法还包括：

获得各路视频通道的视频帧；其中，获得的视频帧可以为连续视频帧，也可以为连续视频帧中选取的部分视频帧。

将各路视频通道的视频帧存储到视频通道对应的第二存储区中；

轮询各路视频通道，并将轮询到的视频通道对应的第二存储区中的视频帧，发送给存在空闲处理资源的另一分析节点。

在该实施例中，视频帧为视频采集装置采集后未进行目标对象检测的数据。每个视频通道配置有预设通道切换条件，在预设通道切换条件满足时，依据预设次序对下一个视频通道进行分析处理。预设通道切换条件可以是预先设置的结束当前视频通道的视频帧处理的条件。例如，预设通道切换条件可以包括：在将第二存储区中的视频帧发送至分析节点后，且接收到分析节点反馈的分析完成的消息，或该视频通道的处理时间达到预设的轮询分析时间等。如，每个视频通道配置一个轮询分析时间，轮询分析时间到达后分析下一个视频通道。

在一个实施例中，所述第二存储区中的视频帧为连续视频帧，第二存储区中的视频帧的帧数阈值基于所述另一分析节点执行分析任务时所需视频帧的时间长度确定。

在另一个实施例中，所述第二存储区中的视频帧为连续视频帧中选取的部分视频帧，第二存储区中的视频帧的帧数阈值基于所述另一分析节点执行分析任务时所需视频帧的数量确定。

在一个实施例中，与两个分析节点连接的视频通道与同一视频源连接。示例的，可以为同一视频源配置与分析节点数量相同的存储区，以便后续能从相应存储区中获取视频帧。

视频源可以是提供视频的视频采集装置，同一视频采集装置采集的视频数据可以被不同分析节点分析。由于不同分析节点所需视频帧可能不同，所以针对统一来源的视频数据，利用不同的存储区存储不同分析节点对应的视频帧，以便在轮询到该视频通道时，可以从与分析节点对应的存储区中获取视频帧，并发送至该分析节点进行分析。

以下以视频帧为连续视频帧中选取的部分视频帧为例进行示例说明。

如图3C所示，是本发明根据一示例性实施例示出的另一种视频帧的分析方法的示意图。在该示意图中，主要从每条视频通道的视频帧的预检测及存储操作的角度进行示意。该系统包括分析节点A和分析节点B，两个分析节点所执行的分析任务不同，针对分析节点A采用触发轮询策略，针对分析节点B采用时间轮询策略。分析节点A和分析节点B与同一路目标视频通道(IPC-m)连接。可以理解的是，图3C以分析节点B对应连接两个视频通道(IPC-m和IPC-p)为例进行说明。

针对分析节点A的处理流程中，设备从多个IPC的实时码流中抓取待分析的图片，图片被同时送往多个DSP检测线程，由DSP检测线程做基本的目标检测，判断是否满足触发条件。例如，分析当前抓取的视频帧是否是存在待分析目标对象的数据，如果不是，则继续对下一次获取的视频帧进行目标对象检测；如果是，则开始存储待分析的图片。在第一存储区可以存储N1张图片。接着如果轮询到该IPC通道，则判断第一存储区是否存在待分析的图片，若存在，则判断分析节点A是否空闲，如果不空闲则等待，直到空闲。当分析节点A空闲后，将待分析的图片发送给分析节点A，分析节点A完成分析，最后将分析结果输出，继续下一个通道的分析。

针对分析节点B的处理流程中，IPC的图片被依次存储。然后被依次轮询送往分析节点B分析，每次送往分析节点B分析时都会判断分析节点B是否空闲，如果不空闲则等待，直到空闲。当分析节点B空闲后，将待分析的图片发送给分析节点B，分析节点B完成分析，最后将分析结果输出，继续下一个通道的分析。

而针对与分析节点A和分析节点B同时连接的IPC-m，判断从IPC-m中获取的视频帧是否包括目标对象，并在视频帧包括目标对象时，从IPC-m采集的连续视频帧中抽取图片并存储在与IPC-m、以及分析节点A对应的第一存储区(简称m触发存储区)中，以便后续遍历到IPC-m时，能从m触发存储区中获取视频帧并发送至分析节点A。将从IPC-m中抓取的图片存储在与IPC-m、以及分析节点B对应的第二存储区(简称m时间存储区)中，以便后续遍历到IPC-m时，能从m时间存储区中获取视频帧并发送至分析节点B。

与前述视频帧的分析方法的实施例相对应，本发明还提供了视频帧的分析装置及其所应用的电子设备的实施例。

本发明视频帧的分析装置的实施例可以应用在计算机设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，是本发明视频帧的分析装置所在计算机设备的一种硬件结构图，除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外，实施例中视频帧的分析装置431所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图5所示，是本发明根据一示例性实施例示出的一种视频帧的分析装置的框图，适用于包括至少两路视频通道的监控系统，至少两路视频通道与同一分析节点连接，所述装置包括：

视频帧获得模块52，用于获得各路视频通道的视频帧；

对象检测模块54，用于对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象；

视频帧处理模块56，用于将待分析视频通道的视频帧发送给分析节点进行分析，所述待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定。

示例的，视频帧获得模块、对象检测模块以及视频帧处理模块可以设于图1中的数据调度装置。

在一个实施例中，获得的视频帧为连续视频帧，或为连续视频帧中选取的部分视频帧。

在一个实施例中，所述装置还包括数据存储模块(图5未示出)，用于：

在视频通道的视频帧包含待分析目标对象时，将该路视频通道的视频帧存储到该路视频通道对应的第一存储区，所述第一存储区所存储的视频帧中至少有包含待分析目标对象的视频帧。

所述视频帧处理模块56用于：

轮询判断各视频通道对应的第一存储区中是否存在视频帧，并在视频通道对应的第一存储区中存在视频帧、且分析节点存在空闲处理资源时，将所述第一存储区中的视频帧发送至所述分析节点。

在一个实施例中，轮询过程中从当前视频通道切换至下一视频通道的条件包括：当前视频通道对应的第一存储区中不存在视频帧，或，接收到分析节点反馈的针对当前视频通道的视频帧分析结果。

在一个实施例中，所述第一存储区中的视频帧为连续视频帧，第一存储区中的视频帧的帧数阈值基于分析节点执行分析任务时所需视频帧的时间长度确定。

在一个实施例中，所述第一存储区中的视频帧为连续视频帧中选取的部分视频帧，第一存储区中的视频帧的帧数阈值基于分析节点执行分析任务时所需视频帧的数量确定。

在一个实施例中，对象检测模块54用于：

第一存储区中上一次存储的视频帧的帧数满足所述帧数阈值后，将当前获得的视频帧与第一存储区中最后一帧视频帧对比，根据两帧视频帧的差异判断当前获得的视频帧是否存在待分析目标对象。

在一个实施例中，所述系统还包括与所述分析节点执行不同分析任务的另一分析节点，所述另一分析节点与至少两路视频通道连接，所述装置还包括(图5未示出)：

数据获得模块，用于获得各路视频通道的视频帧；

数据存储模块，用于将各路视频通道的视频帧存储到视频通道对应的第二存储区中；

轮询处理模块，用于轮询各路视频通道，并将轮询到的视频通道对应的第二存储区中的视频帧，发送给存在空闲处理资源的另一分析节点。

在一个实施例中，所述第二存储区中的视频帧为连续视频帧，第二存储区中的视频帧的帧数阈值基于所述另一分析节点执行分析任务时所需视频帧的时间长度确定，或，

所述第二存储区中的视频帧为连续视频帧中选取的部分视频帧，第二存储区中的视频帧的帧数阈值基于所述另一分析节点执行分析任务时所需视频帧的数量确定。

在一个实施例中，与两个分析节点连接的视频通道与同一视频源连接。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上所述任一项视频帧的分析方法。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

相应的，本发明实施例还提供一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令用于实现如上所述任一项视频帧的分析方法。

本发明实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员在考虑发明及实践这里申请的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种视频帧的分析方法，其特征在于，适用于包括至少两路视频通道的监控系统，至少两路视频通道与同一分析节点连接，所述方法包括：

获得各路视频通道的视频帧；

对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象；

在视频通道的视频帧包含待分析目标对象时，将检测到待分析目标对象时的视频帧以及后续获得的视频帧存储到该路视频通道对应的第一存储区；以及，在对象检测触发条件满足时，继续检测当前获取的视频帧是否包含待分析目标对象；其中，所述对象检测触发条件包括在检测到包含待分析目标对象的视频帧后开始存储、且存储的视频帧的帧数达到预设帧数阈值；

将待分析视频通道的视频帧发送给分析节点进行分析，所述待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定。

2.根据权利要求1所述的方法，其特征在于，获得的视频帧为连续视频帧，或为连续视频帧中选取的部分视频帧。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在视频通道的视频帧包含待分析目标对象时，将该路视频通道的视频帧存储到该路视频通道对应的第一存储区，所述第一存储区所存储的视频帧中至少有包含待分析目标对象的视频帧；

所述将待分析视频通道的视频帧发送给分析节点进行分析，包括：

轮询判断各视频通道对应的第一存储区中是否存在视频帧，并在视频通道对应的第一存储区中存在视频帧、且分析节点存在空闲处理资源时，将所述第一存储区中的视频帧发送至所述分析节点。

4.根据权利要求3所述的方法，其特征在于，轮询过程中从当前视频通道切换至下一视频通道的条件包括：当前视频通道对应的第一存储区中不存在视频帧，或，接收到分析节点反馈的针对当前视频通道的视频帧分析结果。

5.根据权利要求3所述的方法，其特征在于，所述第一存储区中的视频帧为连续视频帧，第一存储区中的视频帧的帧数阈值基于分析节点执行分析任务时所需视频帧的时间长度确定，或，

所述第一存储区中的视频帧为连续视频帧中选取的部分视频帧，第一存储区中的视频帧的帧数阈值基于分析节点执行分析任务时所需视频帧的数量确定。

6.根据权利要求5所述的方法，其特征在于，视频通道的视频帧的检测过程包括：

第一存储区中上一次存储的视频帧的帧数满足所述帧数阈值后，将当前获得的视频帧与第一存储区中最后一帧视频帧对比，根据两帧视频帧的差异判断当前获得的视频帧是否存在待分析目标对象。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述系统还包括与所述分析节点执行不同分析任务的另一分析节点，所述另一分析节点与至少两路视频通道连接，所述方法还包括：

获得各路视频通道的视频帧；

将各路视频通道的视频帧存储到视频通道对应的第二存储区中；

轮询各路视频通道，并将轮询到的视频通道对应的第二存储区中的视频帧，发送给存在空闲处理资源的另一分析节点。

8.根据权利要求7所述的方法，其特征在于，所述第二存储区中的视频帧为连续视频帧，第二存储区中的视频帧的帧数阈值基于所述另一分析节点执行分析任务时所需视频帧的时间长度确定，或，

所述第二存储区中的视频帧为连续视频帧中选取的部分视频帧，第二存储区中的视频帧的帧数阈值基于所述另一分析节点执行分析任务时所需视频帧的数量确定。

9.根据权利要求7所述的方法，其特征在于，与两个分析节点连接的视频通道与同一视频源连接。

10.一种视频帧的分析装置，其特征在于，适用于包括至少两路视频通道的监控系统，至少两路视频通道与同一分析节点连接，所述装置包括：

视频帧获得模块，用于获得各路视频通道的视频帧；

对象检测模块，用于对各路视频通道的视频帧分别进行检测，以判断视频帧是否包含待分析目标对象；在视频通道的视频帧包含待分析目标对象时，将检测到待分析目标对象时的视频帧以及后续获得的视频帧存储到该路视频通道对应的第一存储区；以及，在对象检测触发条件满足时，继续检测当前获取的视频帧是否包含待分析目标对象；其中，所述对象检测触发条件包括在检测到包含待分析目标对象的视频帧后开始存储、且存储的视频帧的帧数达到预设帧数阈值；

视频帧处理模块，用于将待分析视频通道的视频帧发送给分析节点进行分析，所述待分析视频通道从包含待分析目标对象的视频帧所对应的视频通道中轮询确定。

Images