CN110505534A - 监控视频处理方法、装置及存储介质 - Google Patents

Abstract

本申请公开了监控视频处理方法、装置及存储介质。该方法包括：初始化存储状态标志位为第一状态值；解码原始视频文件得到视频帧序列和视频帧序列的关键帧组，关键帧组至少包括第一个关键帧；如果视频帧序列中的当前帧是第二个关键帧，且在第二个关键帧与第一个关键帧之间存在差异时，改变存储状态标志位为第二状态值；并在存储状态标志位为第二状态值时，允许复制关键帧存储队列内的所有视频帧和当前帧的数据流到视频摘要文件，以及清空关键帧存储队列，关键帧存储队列用于临时存储从第一个关键帧开始到第二个关键帧之前截止的所有视频帧。根据本申请实施例，在两个关键帧存在差异时生成视频摘要文件，有效地提高了摘要视频文件的处理效率。

Description

监控视频处理方法、装置及存储介质

技术领域

本申请一般涉及计算机应用领域，尤其涉及监控视频处理方法、装置及存储介质。

背景技术

数据中心机房部署视频监控，对进出数据中心机房的人员进行监控，例如在重要的业务机房内部也部署摄像装置，以防止被恶意操作或误操作，安防工作人员通过视频监控发现异常并及时制止。

但是，摄像装置产生的大量视频数据，对存储空间有着较高要求。为了节省存储空间，例如，可以按照时间设置将摄像装置实时采集的视频数据，保存一段时间后，删除或覆盖。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种监控视频处理方法、装置及存储介质，通过视频摘要技术高效地处理视频数据，以优化监控视频的存储空间。

第一方面，本申请实施例提供了一种监控视频处理方法，该方法包括：

初始化存储状态标志位为第一状态值；

解码原始视频文件得到视频帧序列和该视频帧序列的关键帧组，该关键帧组至少包括第一个关键帧；

如果视频帧序列中的当前帧是第二个关键帧，且在第二个关键帧与第一个关键帧之间存在差异时，改变存储状态标志位为第二状态值；

并在存储状态标志位为第二状态值时，允许复制关键帧存储队列内的所有视频帧和当前帧的数据流到视频摘要文件，以及清空关键帧存储队列，该关键帧存储队列用于临时存储从第一个关键帧开始到第二个关键帧之前截止的所有视频帧。

第二方面，本申请实施例提供了一种监控视频处理方法，该方法包括：

任务管理组件配置待处理视频任务的白名单列表，并基于白名单列表生成并发布待处理视频任务，待处理视频任务包含原始视频文件；

至少一个摘要优化组件根据优先策略读取待处理视频任务，并按照如第一方面描述的处理方法执行待处理视频任务，以将原始视频文件优化成视频摘要文件。

第三方面，本申请实施例提供了一种监控视频处理装置，该装置包括：

初始化模块，用于初始化存储状态标志位为第一状态值；

视频解码模块，用于解码原始视频文件得到视频帧序列和该视频帧序列的关键帧组，该关键帧组至少包括第一个关键帧；

视频帧处理模块，用于如果视频帧序列中的当前帧是第二个关键帧，且在第二个关键帧与第一个关键帧之间存在差异时，改变存储状态标志位为第二状态值；

并在存储状态标志位为第二状态值时，允许复制关键帧存储队列内的所有视频帧和当前帧的数据流到视频摘要文件，以及清空关键帧存储队列，关键帧存储队列用于临时存储从第一个关键帧开始到第二个关键帧之前截止的所有视频帧。

第四方面，本申请实施例提供了一种监控视频处理装置，该装置包括：

任务管理组件，用于至少配置白名单列表，并基于白名单列表生成并发布待处理视频任务，该待处理视频任务包含至少一个原始视频文件；

至少一个摘要优化组件，用于根据优先策略读取待处理视频任务，并按照如第一方面描述的处理方法执行待处理视频任务，以将原始视频文件优化成视频摘要文件。

第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：

该计算机程序被处理器执行时实现如本申请实施例描述的方法。本申请实施例提供的数据中心监控视频处理方法、装置及其存储介质，通过识别原始视频文件中当前帧是否为相邻两个关键帧的第二个关键帧，来更改存储状态标志位，从而触发将关键帧存储队列里的所有帧的数据流和当前帧的数据流存储到摘要视频文件中，避免了对普通帧进行帧解码处理，从而提升视频摘要文件的处理效率，有效地节省了存储空间。

进一步地，本申请提供的实施例还通过锚点扫描技术节省了大量的服务器访问资源，进一步提升处理速度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的监控视频处理方法的流程示意图；

图2示出了本申请又一实施例提供的监控视频处理方法的流程示意图；

图3示出了本申请又一实施例提供的监控视频处理方法的流程示意图；

图4示出了本申请实施例提供的关键帧差异性判断的流程示意图；

图5示出了本申请实施例提供的摘要优化处理方法的流程示意图；

图6示出了本申请又一实施例提供监控视频处理方法的流程示意图；

图7示出了本申请又一实施例提供监控视频处理方法的流程示意图；

图8示出了本申请实施例提供的监控视频处理装置的结构示意图；

图9示出了本申请又一实施例提供的监控视频处理装置的结构示意图；

图10示出了本申请又一实施例提供的监控视频处理装置的结构示意图；

图11示出了本申请又一实施例提供的监控视频处理装置的结构示意图；

图12示出了本申请又一实施例提供的监控视频处理系统的结构示意图；

图13示出了本申请实施例提供的监控视频处理消息和数据的流向示意图；

图14示出了适于用来实现本申请实施例提供的计算机装置1400的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关公开，而非对该公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与公开相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

技术术语解释：

数据中心：是指用于安置计算机系统及相关部件的设施，例如电信和储存系统。

原始视频：是指未进行摘要优化的完整视频。

视频摘要：是指对原始视频经过摘要优化处理，保留原始视频的关键内容，其存储空间占用远远小于原始视频。

全盘扫描：是指按照指定路径进行全量磁盘文件扫描来获取视频文件。

锚点扫描：是指无磁盘扫描操作，通过文件步长构造扫描任务来获取视频文件。

黑白名单列表：是指黑名单列表指示需要保证视频内容的完整性的重点摄像头，白名单列表指示可以摘要优化的摄像头。

优化率：是指统计时间范围内视频摘要占用总空间与原始视频占用总空间的比例。

压缩率：是指统计时间范围内总活动帧与原始帧总数的比例。

数据流：是指视频中每一帧编码后的二进制数据。

关键帧：也叫I帧，它是帧间压缩编码的最重要帧。

在数据中心监控视频处理过程中，现有技术将各个图像采集装置采集得到的视频数据进行直接存储，其对存储空间提出较高的要求，其存储成本极高。另外，如果安防工作人员需要在监控视频中定位安全隐患问题的发生位置，需要完整地查看图像采集装置采集的原始监控视频内容，人为判断安全隐患问题。

现有技术中存储原始监控视频的方式，其存储成本太高，另外，其存储内容较多，也不利于安防工作人员定位安全隐患问题。因此，本申请创新地提出一种数据中心监控视频处理方法、装置、设备及其介质，可以通过避免对普通帧进行帧解码处理，来提升视频摘要文件的处理效率，并获得有效节省存储空间的技术效果；同时还可以进一步地缩小视频的查看范围，节省安防工作人员定位安全隐患问题的时间。

请参考图1，图1示出了本申请实施例提供的监控视频处理方法的流程示意图。如图1所示，该方法包括：

步骤101，初始化存储状态标志位为第一状态值；

步骤102，解码原始视频文件得到视频帧序列和视频帧序列的关键帧组，该关键帧组至少包括第一个关键帧。

步骤103，如果视频帧序列中的当前帧是第二个关键帧，且在第二个关键帧与第一个关键帧之间存在差异时，改变存储状态标志位为第二状态值；并在存储状态标志位为第二状态值时，允许复制关键帧存储队列内的所有视频帧和当前帧的数据流到视频摘要文件，以及清空关键帧存储队列。关键帧存储队列用于临时存储从第一个关键帧开始到第二个关键帧之前截止的所有视频帧。

获取待处理视频任务可以通过订阅消息的方式从消息队列中获取任务消息，响应于任务消息，去获取待处理视频任务。

待处理视频任务是预先按照任务文件名、视频文件格式和任务的全局条件等构造得到的。其中全局条件是指设置视频的开始时间和结束时间。待处理视频任务包含满足全局条件的原始视频文件。例如可以是一个待处理视频任务由一个任务ID标识，其可以关联一个原始视频文件，也可以是一个待处理视频任务关联多个原始视频文件。例如，相同区域的不同布置位置的多个图像采集装置获得的多个原始视频文件。

在获取原始视频文件之后，利用与原始视频文件的编码制式相对应的解码工具对原始视频文件直接进行解码操作，可以得到原始视频文件的视频帧序列和关键帧。例如，可以通过FFmpeg工具对视频文件进行解码得到视频帧序列和关键帧。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。通过FFmpeg中与原始视频文件编码格式对应的解码器来执行解码，即可以得到原始视频文件的关键帧。为了区别不同待处理视频任务之间的视频帧序列和关键帧，这里定义当前处理任务的原始视频文件的视频帧序列为视频帧序列和关键帧。其中，第一个关键帧可以是视频帧序列的首帧，也可以是任意两个关键帧按照视频帧序列的帧号依次排列的前一个关键帧。第二个关键帧是在第一个关键帧之后的其他关键帧。

对两个关键帧之间的差异进行判断，在存在差异时，改变存储状态标志位为第二状态值。其中第一状态值，为存储状态标志位的初始值，例如可以是假。可以采用二进制数值表示，或其他等同的方式来表示。第二状态值，例如可以是真，也可以采用二进制数值表示，或其他等同的方式来表示。

并在存储状态标志位为第二状态值时，调用FFmpeg工具提供的编码库将关键帧存储队列中所有视频帧对应的数据流和相邻两个关键帧的第二个关键帧对应的数据流复制到视频摘要文件，从而生成视频摘要文件。其中关键帧存储队列用于临时存储从第一个关键帧开始到第二个关键帧之前截止的所有视频帧。例如，视频帧序列为{F₀，F₁，F₂，F₃，F₄，F₅}，其中，F₀为第一个关键帧，F₄为第二个关键帧，其余的帧均为普通帧。当F₀是相邻两个关键帧的第一个关键帧时，关键帧存储队列中存储的是{F₀，F₁，F₂，F₃}，当F₄是相邻两个关键帧的第一个关键帧时，则关键帧存储队列中存储的是{F₄，F₅}。

本申请提供的实施例，在对原始视频文件的相邻两个关键帧的差异进行判断时，并在存在差异时，修改存储状态标志位为第二状态值，在第二状态值时允许执行将关键帧存储队列中所有视频帧的数据流和当前帧的数据流复制到视频摘要文件。本申请提供的实施例，利用视频编码协议里确定的关键帧的方式，相比现有技术中处理视频文件每一帧后再提取关键帧的方式，其有效地提升了处理速度；同时，其还采用流复制机制避免了对普通帧进行解码得到图像的处理，有效地提高了生成视频摘要文件的处理效率。

因此，相对于现有技术直接存储图像采集装置的视频数据，其提高了视频摘要文件的处理效率，并有效地节省了存储空间。

请参考图2，图2示出了本申请又一实施例提供的监控视频处理方法的流程示意图。如图2所示，该方法包括：

步骤201，初始化存储状态标志位为第一状态值。

步骤202，解码原始视频文件得到视频帧序列和视频帧序列的关键帧组，该关键帧组至少包括第一个关键帧。

步骤203，定义视频帧序列的当前帧；

步骤204，判断当前帧是否为关键帧；如果当前帧不是任何一个关键帧(即当前帧是普通帧)，则跳转到步骤205；

步骤205，判断存储状态标志位的取值是第一状态值还是第二状态值；

步骤205a，如果存储状态标志位为第一状态值，则记录当前帧到关键帧存储队列。

步骤205b，如果存储状态标志位为第二状态值，则复制当前帧的数据流到视频摘要文件。

本申请实施例，识别原始视频文件中当前帧是否为关键帧，在当前帧是普通帧(不是任何一个视频帧序列中的关键帧)时，根据存储状态标志位的取值，控制将当前帧记录到关键帧存储队列，或者将当前帧复制到摘要视频文件。关键帧存储队列存储的视频帧可能会被丢弃，也可能会被存储到视频摘要文件。是否存储到视频摘要文件，是由存储状态标志位为第二状态值来控制的，大部分存储在关键帧存储队列中的视频帧是被丢弃的，从而有效地节省了存储空间。

请参考图3，图3示出了本申请又一实施例提供的监控视频处理方法的流程示意图。如图3所示，该方法包括：

步骤301，初始化存储状态标志位为第一状态值。

步骤302，解码原始视频文件得到视频帧序列和视频帧序列的关键帧组，该关键帧组至少包括第一个关键帧。

步骤303，定义视频帧序列的当前帧；

步骤304，判断当前帧是否为关键帧；如果是关键帧，进入步骤305。

步骤305，判断当前帧是否为第一个关键帧；如果当前帧是第一个关键帧，则跳转到步骤305a；如果当前帧不是第一个关键帧，则跳转到步骤305b。

步骤305a，解码当前帧得到第一图像，进入步骤306；

步骤306，定义第一图像为第二图像，清空关键帧存储队列，记录当前帧到关键帧存储队列；

步骤305b，判断当前帧与第一个关键帧之间是否存在差异。如果存在差异，则进入步骤307a；如果不存在差异，则进入步骤307b。

步骤307a，改变存储状态标志位为第二状态值，清空关键帧存储队列，进入步骤308；

步骤308，复制关键帧存储队列内的所有视频帧和当前帧的数据流到视频摘要文件。

步骤307b，保持存储状态标志位为第一状态值，清空关键帧存储队列；

步骤309，记录当前帧到关键帧存储队列。

本申请提供的实施例，识别原始视频文件中当前帧是否为关键帧，在当前帧是关键帧时，如果是第一个关键帧，则将第一个关键帧记录到关键帧存储队列中。如果不是第一个关键帧，则将当前帧与第一个关键帧进行差异性比较，并在当前帧与第一个关键帧之间存在差异时，改变存储状态标志位为第二状态值，并在第二状态值的条件下，才允许复制关键帧存储队列内的所有视频帧和当前帧的数据流到视频摘要文件。本申请实施例，在两个关键帧之间存在差异时，将当前帧复制到视频摘要文件，当前帧之后的普通帧，则直接复制到视频摘要文件。本申请实施例，在确定当前帧为普通帧，且存储状态标志位为第二状态值时，无需对普通帧进行解码，而是直接继承关键帧的状态，直接将与之对应的数据流复制到视频摘要文件，减少了计算量，提升了视频摘要文件的处理效率。

进一步地参考图4，图4示出了本申请实施例提供的关键帧差异性判断的流程示意图。如图4所示，其可以包括以下步骤：

步骤401，如果当前帧是任何一个关键帧，则解码当前帧得到第一图像；进入步骤402。

步骤402，判断第一关键帧解码是否得到第二图像，在第一个关键帧解码得到第二图像时，进入步骤402a；在第一个关键帧解码未得到第二图像时，进入步骤402b。

步骤402a，在第一个关键帧解码得到第二图像时，计算与第一图像和第二图像之间的第一图像矩阵，进入步骤403；

步骤403，对第一图像矩阵进行二值化和平滑处理，得到第二图像矩阵，进入步骤404；

步骤404，计算第二图像矩阵的活跃度值，进入步骤405。

步骤405，确定活跃度值是否大于第一阈值，如果大于进入步骤405a，如果小于等于进入步骤405b。

步骤405a，在活跃度值大于第一阈值时，改变存储状态标志位为第二状态值；

步骤405b，在活跃度值小于等于第一阈值时，保持存储状态标志位为第一状态值。

步骤402b，在第一个关键帧解码未得到第二图像时，定义第一图像作为第二图像，清空关键帧存储队列，记录当前帧到关键帧存储队列。

假设当前帧Fc解码后得到第一图像Pc，前一关键帧Fp解码后得到第二图像Pp。对两个图像中每个像素对应位置求差取绝对值后，得到差分图像的第一图像矩阵Pdiff，即P_diff＝|P_p-P_c|。

然后对差分图像进行二值化处理，例如，设置差分图像Pdiff中像素值小于等于经验值时，将像素值修改为0，其表示黑色像素值；像素值大于经验值时，将像素值修改为250，其表示白色像素值。其中经验值，例如可以是20。对第一图像矩阵Pdiff中每个像素进行二值化处理后得到第二图像矩阵Pbin。例如，Pdiff对应的位置的像素值为Pdiff(x，y)，其中x，y用于表示二维矩阵的坐标。当Pdiff(x，y)≤20时，则Pbin(x，y)＝0；当Pdiff(x，y)＞20，则Pbin(x，y)＝250。

在对第二图像矩阵Pin按照预设的窗口大小进行中值滤波，得到平滑处理后的第三图像矩阵Pmedian。其中，窗口大小可以是3。

平滑处理后的第三图像矩阵Pmediam中所有像素求和得到Vsum，然后，根据下述公式计算图像的活跃度值Vact：

如果活跃度值Vact大于第一阈值，则设置存储状态标志位FlagSave为真。如果活跃度值Vact小于等于第一阈值，则设置存储状态标志位FlagSave为假。其中第一阈值为经验值，例如，0.001。

在第二个关键帧和第一个关键帧分别对应的解码图像存在差异时(即活跃度值Vact大于经验值)，改变存储状态标志位为第二状态值。

在第二个关键帧和第一个关键帧解码得到的图像不存在差异时(活跃度值Vact小于等于经验值)，维持存储状态标志位的取值为第一状态值。

本申请实施例提供的监控视频处理方法，通过直接利用视频编码里的关键帧信息，通过解码步骤可以直接获取关键帧，其相对于现有技术的关键帧的判断，降低了计算量，使得本申请提供的方法可以达到1分钟处理15分钟视频的速度。本申请实施例还通过流复制技术直接将数据流复制到视频摘要文件，避免了对普通帧进行解码得到图像的处理，有效地提高了视频摘要文件的处理效率。

请参考图5，图5示出了本申请实施例提供的摘要优化处理方法的流程示意图。

步骤501：初始化上一关键帧解码后的图像Pp为空，上一关键帧帧组队列Qfp为空，初始化视频摘要文件FileOut。初始化存储状态标志位FlagSave为假false。

步骤502，对输入的原始视频文件FileIn(例如，MP4视频格式)进行解析，获取原始视频文件所有解码前的视频帧序列F(例如，H.264格式编码的视频帧)，进入步骤503；

步骤503：设置视频帧序列F的第一帧为当前帧Fc，进入步骤504；

步骤504：判断当前帧Fc是否是最后一帧，如果是最后一帧跳转步骤511，如果不是则跳转步骤505；

步骤505：判断当前帧Fc是否为关键帧，如果是关键帧，跳转步骤505a；如果不是关键帧，跳转步骤505b；

步骤505a：解码当前帧Fc得到第一图像Pc，进入步骤506；

步骤506：判断前一个关键帧Fp是否解码得到第二图像Pp；如果得到第二图像Pp，则跳转步骤506a；如果没有得到第二图像Pp，则跳转步骤510a；

步骤506a，计算第二图像Pp和第一图像Pc每个像素对应的位置的绝对值，得到第一图像矩阵，进入步骤506b；

步骤506b，将第一图像矩阵转换成第二图像矩阵，进入步骤506c；

步骤506c，对第二图像矩阵进行中值滤波处理，得到第三图像矩阵，进入步骤506d；

步骤506d，计算第三图像矩阵的所有像素的和，进入步骤506e；

步骤506e，计算活跃度值Vact＝Vsum/255，进入步骤506f；

步骤506f，判断活跃度值是否大于阈值，如果大于跳转步骤506g，如果小于等于跳转506h。

步骤506g，将存储状态标志位设置为真，进入步骤507；

步骤506h，将存储状态标志位设置为假，进入步骤509a；

步骤507，复制关键帧存储队列中所有视频帧的数据流到视频摘要文件，进入步骤508；

步骤508，清空关键帧存储队列，复制当前关键帧Fc的数据流到视频摘要文件；返回步骤510c；

步骤509a，清空关键帧存储队列，进入步骤509b。

步骤509b，记录当前帧到关键帧存储队列。然后，进入步骤510c。

步骤505b：判断存储状态标志位是否为真；如果为真，跳转到步骤510a。如果为假，跳转到步骤509b。

步骤510a，将第一图像Pc定义为第二图像Pp；

步骤510b，清空关键帧存储队列，将当前帧存储到关键帧存储队列；

步骤510c，将当前帧Fc的后一个视频帧Fa作为当前帧，即Fc＝Fa；返回步骤504；

步骤511：结束算法，保存视频摘要文件FileOut。

在获取/data/ceph/1/12：00：00.mp4视频文件后，开始按照如图5所示的流程示意图，对该视频文件进行解码处理，并依次执行相关步骤的操作，最终保存处理结果到输出文件/data/ceph/out/1/12：00：00.mp4。

本申请实施例提供的完整的视频帧的处理方法，在视频帧为普通帧时，通过存储状态标志位的取值不同来控制普通帧的处理；在视频帧为关键帧时，通过两个关键帧之间是否存在差异来控制是否启动生成视频摘要文件，从而有效地提高了视频摘要文件的处理效率。

请参考图6，图6示出了本申请又一实施例提供监控视频处理方法的流程示意图。如图6所示，该方法包括：

步骤610，任务管理组件配置待处理视频任务的白名单列表，并基于白名单列表生成并发布待处理视频任务，该待处理视频任务包含至少一个原始视频文件；

步骤620，至少一个摘要优化组件根据优先策略读取所述待处理视频任务，并按照如图1描述的处理方法执行待处理视频任务，以将原始视频文件优化成视频摘要文件。

本申请实施例提供的监控视频处理方法，可以通过任务管理组件对多机房分布式部署的监控视频任务进行统一管理，并通过黑白名单列表确定需要进行摘要优化处理的设备范围。例如，黑名单列表作为重点区域，该列表范围内的图像采集装置采集到的视频数据需要完整保留。白名单列表则为需要进行摘要优化处理的范围。

请参考图7，图7示出了本申请又一实施例提供监控视频处理方法的流程示意图。如图7所示，该方法包括：

步骤710，任务管理组件配置待处理视频任务的白名单列表，并基于白名单列表生成并发布待处理视频任务，该待处理视频任务包含原始视频文件。

步骤711，消息队列组件接收任务管理组件发布的待处理视频任务的任务消息；

步骤712，至少一个摘要优化组件根据优先策略读取待处理视频任务的任务消息；

步骤713，目标摘要优化组件响应于任务消息，按照如图1描述的处理方法执行待处理视频任务，以将原始视频文件优化成视频摘要文件。

在任务管理组件配置待处理视频任务的白名单列表时，还配置待处理视频任务的扫描类型。其中扫描类型包括全盘扫描和/或锚点扫描，则任务管理组件根据扫描类型，按照指定路径和/或文件步长构造的文件名获取符合全局条件的原始视频文件。

本申请实施例提供的任务管理组件可以提供配置扫描类型的接口，以提供给客户灵活配置。例如可以是全盘扫描，或者是锚点扫描，或者是全盘扫描和锚点扫描相结合的方式。

其中，锚点扫描是以时间流的方式进行的。视频存储的文件名是包含时间戳的，并且以预定间隔时间对应生成的文件，例如，上一次任务处理的时间是15:00:00，将任务处理的时间与摄像头和其采集的最后一个原始视频文件的生成时间关联处理。当次任务执行时，则以预定间隔时间开始，生成任务，从而减少了全盘扫描的重复时间。例如，预定间隔时间可以是15分钟。当次任务处理的时间则为15:15:00，以该时间为文件步长，构造任务对应的文件名。

本申请实施例通过上述方法对视频文件进行系统化的处理，其通过消息队列组件解耦任务管理组件与摘要优化组件，使得二者互不感知，待处理视频任务经由消息队列组件和数据库服务来连接。例如，这些组件可以采用docker化部署，从而提供随时启停的高效处理机制。

为了详细解释任务管理组件与摘要优化组件之间的交互操作，下面以锚点扫描获取原始视频文件为例展开描述：

假设存在2个摄像头，1号摄像头定义为白名单列表的内容，2号摄像头定义为黑名单列表的内容。

1号摄像头采集的视频文件按照锚点扫描得到以下原始视频文件，11:45:00.mp4，12:00:00.mp4，12:15:00.mp4，12:30:00.mp4，12:45:00.mp4。

假定上次1号摄像头最后处理到11:45:00.mp4，根据文件名步长、本次任务截止时间和白名单列表，任务管理组件决定处理1号摄像头的12:00:00.mp4，12:15:00.mp4，12:30:00.mp4这三个文件。然后，对每个文件打包成任务消息

{″device_id″：″1″，″file_name″：″12:00:00.mp4″}

{″device_id″：″1″，″file_name″：″12:15:00.mp4″}

{″device_id″：″1″，″file_name″：″12:30.00.mp4″}

再将任务消息发送到消息队列组件。

消息队列组件接收到这三个任务，等待处理；

多个摘要优化组件根据优化策略从消息队列组件中拉取任务消息，其中优化策略例如可以是基于空闲方式来确定的，空闲的摘要优化组件优先执行获取待处理视频任务，

例如{″device_id″：″1″，″file_name″：″12:00:00.mp4″}，然后，拼接路径为/data/ceph/1/12:00:00.mp4，并在″/data/ceph/1/12:00:00.mp4″路径下读取这个文件，开始优化处理。

本申请实施例提供的监控视频处理方法，不仅可以用于数据中心的监控视频，还可以应用于其他安装监控摄像头的场景，例如，仓库/车库等需要监控管理的应用场景。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

请参考图8，图8示出了本申请实施例提供的数据中心监控视频处理装置的结构示意图。

如图8所示，该装置800包括：

初始化模块801，用于初始化存储状态标志位为第一状态值；

视频解码模块802，用于解码原始视频文件得到视频帧序列和视频帧序列的关键帧组，该关键帧组至少包括第一个关键帧；

视频帧处理模块803，用于如果视频帧序列中的当前帧是第二个关键帧，且在第二个关键帧与第一个关键帧之间存在差异时，改变存储状态标志位为第二状态值；并在存储状态标志位为第二状态值时，允许复制关键帧存储队列内的所有视频帧和当前帧的数据流到视频摘要文件，以及清空关键帧存储队列。该关键帧存储队列用于临时存储从第一个关键帧开始到第二个关键帧之前截止的所有视频帧。

视频帧处理模块803还用于：

如果当前帧是第二个关键帧，且在第二个关键帧和第一个关键帧之间不存在差异时，则保持存储状态标志位为第一状态值，并在存储状态标志位为第一状态值时，允许清空关键帧存储队列，记录当前帧到关键帧存储队列；

如果当前帧不是任何一个关键帧，且在存储状态标志位为第一状态值时，允许记录当前帧到关键帧存储队列；

如果当前帧不是任何一个关键帧，且在存储状态标志位为第二状态值时，允许复制当前帧的数据流到视频摘要文件；

如果当前帧是第一个关键帧，则解码当前帧得到第一图像；定义第一图像为第二图像，清空关键帧存储队列，记录当前帧到关键帧存储队列。

请参考图9，图9示出了本申请又一实施例提供的数据中心监控视频处理装置的结构示意图。如图9所示，该装置除了包括与图8相同的模块，该装置还包括：

帧解码模块901，用于如果当前帧是任何一个关键帧，解码当前帧得到第一图像。

第一计算模块902，用于在第一个关键帧解码得到第二图像时，计算与第一图像和第二图像之间的第一图像矩阵。

图像处理模块903，用于对第一图像矩阵进行二值化和平滑处理，得到第二图像矩阵。

第二计算模块904，其用于计算第二图像矩阵的活跃度值。

状态设置模块905，用于在活跃度值大于第一阈值时，则将存储状态标志位从第一状态改变为第二状态；或者，在活跃度值小于等于第一阈值时，则保持存储状态标志位为第一状态。

视频帧处理模块803，还用于在第一个关键帧解码未得到第二图像时，定义第一图像作为第二图像，清空关键帧存储队列，记录当前帧到关键帧存储队列。

请参考图10，图10示出了本申请又一实施例提供的数据中心监控视频处理装置的结构示意图。

如图10所示，该装置1000除了包括与图9相同的模块，该装置还包括：元数据分析模块906，其用于根据原始视频文件和视频摘要文件的重要信息生成二进制meta文件。

请参考图11，图11示出了本申请又一实施例提供的数据中心监控视频处理装置的结构示意图。

如图11所示，该装置1100包括：

任务管理组件1001，用于至少配置白名单列表，并基于白名单列表生成并发布待处理视频任务，待处理视频任务包含原始视频文件；

至少一个摘要优化组件1002，用于根据优先策略读取待处理视频任务，并按照如图1描述的处理方法执行待处理视频任务，以将原始视频文件优化成视频摘要文件。

请参考图12，图12示出了本申请又一实施例提供的数据中心监控视频处理系统的结构示意图。如图12所示，在图11的基础上，该系统还包括：

消息队列组件1003，其用于接收任务管理组件发布的待处理视频任务的任务消息，该任务消息被摘要优化组件读取，以便摘要优化组件响应于任务消息，来执行待处理视频任务。

任务管理组件配置白名单列表，例如可以根据图像采集装置的编号、采集位置等方式从多个图像采集装置确定部分或全部作为白名单列表的内容。

任务管理组件还可以同时配置白名单列表和黑名单列表，其中黑名单列表规定重点场景或机房的图像采集装置，其采集的视频数据尽量保存完整性。

任务管理组件还具备其他的功能，以更好地适应数据中心监控视频的处理。例如，任务管理组件还用于提供异常任务补偿处理，即在摘要优化组件执行待处理视频任务失败或异常时，任务管理组件可以在空闲状态下执行补偿处理。

任务管理组件还用于自动执行任务清理，即定时清理数据库、消息队列组件、云存储设备内过期记录、损坏记录等。

任务管理组件还具备统计功能，其可以对统计时间范围内的任务处理情况，存储情况进行统计汇总。例如可以统计系统处理总文件数量、成功任务总数量、失败任务总数量、摘要存储占用空间、及优化率、原始帧总数及压缩率等等。

为了更清楚地描述本申请实施例提供的数据中心监控视频装置的工作原理。请参考图13，图13示出了本申请实施例提供的数据中心监控视频处理消息和数据的流向示意图。

任务管理组件获取所有图像采集装置的任务处理情况，例如包括最后一次的任务文件名、视频文件格式等，并构造出本次待处理视频任务的全局条件，该全局条件例如可以设置所有图像采集装置的准实时视频开始时间、结束时间。

任务管理组件根据预先配置扫描类型生成待处理视频任务，同时构造黑白名单列表。其中扫描类型包括全盘扫描和锚点扫描，其中：全盘扫描是对CEPH云存储的指定路径进行全量磁盘文件扫描；锚点扫描是无磁盘扫描操作，通过文件步长构造文件名，从数据库中获取待处理视频任务，一般可以配置为混合方式。

全盘扫描可以理解为对指定路径进行全盘扫描，首先过滤出所有带有摄像头ID的目录，然后对每个摄像头目录过滤符合全局条件的视频文件，最后将所有待处理的视频文件及其信息打包成任务包；

锚点扫描可以理解为根据预先设置全局条件、当前设备列表以及黑白名单列表，通过文件步长对所有摄像头的视频任务进行逐个构造，；

在将构造出来的任务包进行持久化并发布到消息队列组件之后，待摘要优化组件获取订阅消息，对待处理视频任务进行处理后，然后将处理后的视频摘要文件存储到云存储。

这里的云存储可以是CEPH云存储，其主要用于存储所有图像采集装置不断生成的原始视频、视频摘要、分布式分离配置文件和统一日志等。例如可以通过摘要优化组件中元数据分析模块根据原始视频文件和视频摘要文件的重要信息生成二进制meta文件，将meta文件存储至CEPH云存储。

本申请实施例，通过消息队列组件解耦任务管理组件和摘要优化组件，可以支持大规模的视频优化服务。采用消息队列方式，即使在摘要优化组件宕机时，消息不会丢失，从而提高了视频处理的安全性。

应当理解，在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

下面参考图14，图14示出了适于用来实现本申请实施例提供的计算机装置1400的结构示意图。

如图14所示，计算机装置1400包括中央处理单元(CPU)1401，其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。在RAM 1403中，还存储有装置1400操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。

以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。

特别地，根据本公开的实施例，上文参考流程图图9描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的装置中限定的上述功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括初始化模块、视频解码模块和视频帧处理模块。其中，这些组件、单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，初始化模块还可以被描述为“用于初始化存储状态标志位为第一状态值的模块”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当前述程序被一个或者一个以上的处理器用来执行描述于本申请的监控视频处理方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种监控视频处理方法，其特征在于，该方法包括：

初始化存储状态标志位为第一状态值；

解码原始视频文件得到视频帧序列和所述视频帧序列的关键帧组，所述关键帧组至少包括第一个关键帧；

如果所述视频帧序列中的当前帧是第二个关键帧，且在所述第二个关键帧与所述第一个关键帧之间存在差异时，改变所述存储状态标志位为第二状态值；

并在所述存储状态标志位为第二状态值时，允许复制关键帧存储队列内的所有视频帧和所述当前帧的数据流到视频摘要文件，以及清空所述关键帧存储队列，所述关键帧存储队列用于临时存储从所述第一个关键帧开始到所述第二个关键帧之前截止的所有视频帧。

2.根据权利要求1所述的监控视频处理方法，其特征在于，在解码原始视频文件得到视频帧序列和所述视频帧序列的关键帧之后，该方法还包括：

如果所述当前帧是所述第二个关键帧，且在所述第二个关键帧和所述第一个关键帧之间不存在差异时，则保持所述存储状态标志位为所述第一状态值，并在所述存储状态标志位为所述第一状态值时，允许清空所述关键帧存储队列，记录所述当前帧到所述关键帧存储队列；

如果所述当前帧不是任何一个所述关键帧，且在所述存储状态标志位为第一状态值时，允许记录所述当前帧到所述关键帧存储队列；

如果所述当前帧不是任何一个所述关键帧，且在所述存储状态标志位为所述第二状态值时，允许复制所述当前帧的数据流到所述视频摘要文件；

如果所述当前帧是所述第一个关键帧，则解码所述当前帧得到第一图像，并定义所述第一图像为第二图像，清空所述关键帧存储队列，记录所述当前帧到所述关键帧存储队列。

3.根据权利要求1所述的监控视频处理方法，其特征在于，该方法还包括以下步骤：

如果所述当前帧是任何一个所述关键帧，则解码所述当前帧得到所述第一图像；

并在所述第一个关键帧解码得到第二图像时，计算与所述第一图像和所述第二图像之间的第一图像矩阵；

对所述第一图像矩阵进行二值化和平滑处理，得到第二图像矩阵；

计算所述第二图像矩阵的活跃度值；

在所述活跃度值大于第一阈值时，则改变所述存储状态标志位为所述第二状态值；或者，

在所述活跃度值小于等于所述第一阈值时，则保持所述存储状态标志位为所述第一状态值；

在所述第一个关键帧解码未得到第二图像时，定义所述第一图像作为所述第二图像，清空所述关键帧存储队列，记录所述当前帧到所述关键帧存储队列。

4.根据权利要求1所述的监控视频处理方法，其特征在于，所述视频帧序列中的当前帧通过以下步骤更新：

在记录所述当前帧到所述关键帧存储队列之后，或者在复制所述当前帧的流数据到所述视频摘要文件之后，更新所述当前帧的后一帧为新的当前帧；

直到所述新的当前帧为所述视频帧序列的最后一帧时停止遍历，并保存所述视频摘要文件。

5.根据权利要求4所述的监控视频处理方法，其特征在于，在保存所述视频摘要文件之后，该方法还包括：

根据所述原始视频文件和所述视频摘要文件的重要信息生成二进制meta文件。

6.一种监控视频处理方法，其特征在于，该方法包括：

任务管理组件配置待处理视频任务的白名单列表，并基于所述白名单列表生成并发布所述待处理视频任务，所述待处理视频任务包含至少一个原始视频文件；

至少一个摘要优化组件根据优先策略读取所述待处理视频任务，并按照如权利要求1-5中任一项描述的处理方法执行所述待处理视频任务，以将所述原始视频文件优化成视频摘要文件。

7.根据权利要求6所述的监控视频处理方法，其特征在于，该方法还包括：

消息队列组件接收所述任务管理组件发布的所述待处理视频任务的任务消息；

摘要优化组件读取所述任务消息，响应于所述任务消息，执行所述待处理视频任务。

8.根据权利要求6所述的监控视频处理方法，其特征在于，该方法还包括：

在所述任务管理组件配置所述待处理视频任务的白名单列表时，还配置所述待处理视频任务的扫描类型，所述扫描类型包括全盘扫描和/或锚点扫描，所述任务管理组件根据所述扫描类型，按照指定路径和/或文件步长构造的文件名获取符合全局条件的所述原始视频文件。

9.一种监控视频处理装置，其特征在于，该装置包括：

初始化模块，用于初始化存储状态标志位为第一状态值；

视频解码模块，用于解码原始视频文件得到视频帧序列和所述视频帧序列的关键帧组，所述关键帧组至少包括第一个关键帧；

视频帧处理模块，用于如果所述视频帧序列中的当前帧是第二个关键帧，且在所述第二个关键帧与第一个关键帧之间存在差异时，改变所述存储状态标志位为第二状态值；

并在所述存储状态标志位为第二状态值时，允许复制关键帧存储队列内的所有视频帧和所述当前帧的数据流到视频摘要文件，以及清空所述关键帧存储队列，所述关键帧存储队列用于临时存储从所述第一个关键帧开始到所述第二个关键帧之前截止的所有视频帧。

10.根据权利要求9所述的监控视频处理装置，其特征在于，所述视频帧处理模块还用于：

如果所述当前帧是所述第二个关键帧，且在所述第二个关键帧和所述第一个关键帧之间不存在差异时，则保持所述存储状态标志位为所述第一状态值，并在所述存储状态标志位为第一状态值时，允许清空所述关键帧存储队列，记录所述当前帧到所述关键帧存储队列；

如果所述当前帧不是任何一个所述关键帧，且在所述存储状态标志位为第一状态值时，允许记录所述当前帧到所述关键帧存储队列；

如果所述当前帧不是任何一个所述关键帧，且在所述存储状态标志位为所述第二状态值时，允许复制所述当前帧的数据流到所述视频摘要文件；

如果所述当前帧是所述第一个关键帧，则解码所述当前帧得到第一图像；定义所述第一图像为第二图像，清空所述关键帧存储队列，记录所述当前帧到所述关键帧存储队列。

11.根据权利要求9所述的监控视频处理装置，其特征在于，该装置还包括：

帧解码模块，用于如果所述当前帧是任何一个所述关键帧，则解码所述当前帧得到第一图像；

第一计算模块，用于在所述第一个关键帧解码得到第二图像时，计算与所述第一图像和所述第二图像之间的第一图像矩阵；

图像处理模块，用于对所述第一图像矩阵进行二值化和平滑处理，得到第二图像矩阵；

第二计算模块，用于计算所述第二图像矩阵的活跃度值；

状态设置模块，用于在所述活跃度值大于第一阈值时，则将所述存储状态标志位从所述第一状态改变为所述第二状态；或者，

在所述活跃度值小于等于所述第一阈值时，则保持所述存储状态标志位为所述第一状态；

所述视频帧处理模块，用于在所述第一个关键帧解码未得到第二图像时，定义所述第一图像作为所述第二图像，清空所述关键帧存储队列，记录所述当前帧到所述关键帧存储队列。

12.根据权利要求9所述的监控视频处理装置，其特征在于，该装置还包括：

元数据分析模块，其用于根据所述原始视频文件和所述视频摘要文件的重要信息生成二进制meta文件。

13.一种监控视频处理装置，其特征在于，该装置包括：

任务管理组件，用于至少配置白名单列表，并基于所述白名单列表生成并发布所述待处理视频任务，所述待处理视频任务包含原始视频文件；

至少一个摘要优化组件，用于根据优先策略读取所述待处理视频任务，并按照如权利要求1-5中任一项描述的处理方法执行所述待处理视频任务，以将所述原始视频文件优化成视频摘要文件。

14.根据权利要求13所述的监控视频处理装置，其特征在于，该装置还包括：

消息队列组件，其用于接收所述任务管理组件发布的所述待处理视频任务的任务消息，所述任务消息被所述摘要优化组件读取，以便所述摘要优化组件响应于所述任务消息，来执行所述待处理视频任务。

15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。