CN105915862A - 一种视频处理方法 - Google Patents

Abstract

本发明提供了一种视频处理方法，对于包含视频监控系统以及音频监控系统的安全监控系统，音频监控系统当探测到异常声音变化时，记录下异常事件发生的时间并写入音频监控码流，同时分析声音的方位，从而调整视频监控摄像头以取得最佳监控角度，打开视频监控，记录下异常事件发和的时间以便和音频监控码流同步，进行视频编码存储；对比前后图像的不同来确定异常事件所对应的图像块并试图进行分析，如果能够成功分析出异常事件类型为监控目标事件，则根据设定的处理方式处理；如果未能检测到为监控目标事件，则记录异常事件以备监控人员后期检索查询。

Description

一种视频处理方法

技术领域

本发明涉及安全监控领域，具体是一种视频处理方法。

背景技术

随着社会发展，科技的进步，监控早已成为社会不可或缺的一部分。监控在社会安全，交通管理，智能城市等各方各面扮演着越来越重要的角色。

时至今日，视频监控仍是监控领域的绝对主角，比如公路上随处可见的交通探头，小区的闭路监控系统等等。

在视频监控系统中，对于摄像头摄录的视频，需要进行存储以备后期检索查询，由于视频原始码流数据量巨大，这就需要对原始码流进行视频编码处理。

普通的视频编码标准针对消费娱乐目的的高清晰度视频编解码，在这种情况下，由于原始视频图像巨大的数据量(一帧图像原始数据往往需几兆甚至几十兆)，为了达到实时编码，往往需要专用的编码芯片进行处理，既便如此，编码后产生的压缩码流仍将占据相当大的存储空间。专用视频编码芯片功能复杂、开发周期长、后期无法进行功能扩展、运行功耗高，并且需要巨大的存储空间以及高吞吐的数据总线。而监控系统实时性很高，并且需要长时间不停顿监控记录。所以普通的视频高清编码并不适合于监控系统。所以在实际的监控系统中，其编码标准也与普通的视频编码标准有不同，摄像质量往往较低。然而低像素的监控质量有时候会对后期的检索查询产生一定的不良影响，比如很多时候公路监控探头监控视频中根本看不清车牌号码。

同时，视频监控也有其固有的缺点，如在黑夜或者雾霭天气中效果会大大折扣，其监控范围存在很大的盲区。

越来越多的现象表明，单纯的视频监控已经越来越无法满足持续增长的监控需求了。

发明内容

为了克服上述技术问题，本发明提供了一种视频处理方法，其特征在于：

对于包含视频监控系统以及音频监控系统的安全监控系统，

音频监控系统当探测到异常声音变化时，记录下异常事件发生的时间并写入音频监控码流，同时分析声音的方位，从而调整视频监控摄像头以取得最佳监控角度，打开视频监控，记录下异常事件发和的时间以便和音频监控码流同步，进行视频编码存储；

对比前后图像的不同来确定异常事件所对应的图像块并试图进行分析，如果能够成功分析出异常事件类型为监控目标事件，则根据设定的处理方式处理；如果未能检测到为监控目标事件，则记录异常事件以备监控人员后期检索查询。

附图说明

图1示出了基于音频检测的音视频协同监控方法流程图；

图2示出了音频控制下的视频监控方法流程图；

图3示出了基于音视检测的音视频协同监控装置；

具体实施方式

音频监控的发展由于各种各样的原因一直落后于视频监控，但是音频监控却有着许多视频监控所无法比拟的优点，所以音频监控也越来越受到重视。

相比起视频图像，音频监控需要处理的数据量要小很多，所以音频编码处理速度较快，甚至可以直接使用ARM等嵌入式CPU进行编码处理，开发周期相对较短。由于是软件，后期功能扩展性强。并且，音频监控不存在盲区，即使黑夜或者严重雾霭天气照样正常工作。

可见音频监控完全弥补了视频监控的缺点。正是由于音频监控的这些特点，使得音频监控在监控领域显得越来越重要。

音频在很多情况下能够独挡一面，但是更多的情况下，单独音频监控或者视频监控都无法很好的发挥监控效果，这时候就需要音频和视频监控协同进行。

对于监控而言，每种监控都有其固定的监控目标事件，比如说某段易肇事交通路段的监控目标事件是交通事故。但是对于任何监控，我们无法预先知道所有可能的异常事件类型并且根据异常事件类型来设定监控目标事件，也即我们无法保证在监控范围内发生的所有异常事件都是监控目标事件，比方说虽然交通事故是监控目标事件，但是还有会监控到许多其它异常事件，比方说车辆经过、行人跑过、以及某些犯罪活动。而这些异常事件虽然不是监控目标事件，但是在诸如警方破案时又都会起很大的作用，也就是说，在这些场合，除了监控目标事件外，其它很多异常事件都需要进行记录，到了夜深人静，公路上没车没人，这时候显然不需要进行监控记录。

正是由于监控的这种特点，本专利提出了一种由音频监控控制的音视频协同监控方法，使用音频监控探测周边环境的变化，如果周边情况风平浪静，只采用简单的音频监控，关闭视频监控，以节省运行功耗和数据存储空间；当音频监控探测到周边声音的显著变化，计算出异常声音来源的大致方向，调整视频监控探头取得最佳的视频监控方向，打开视频监控器并记录当前时间的视频监控信息，同时还会根据异常事件发生前的图像及异常事件发生中的图像、异常事件发生后的图像变化找到异常事件，根据监控事件的特点分析异常事件的类型是否为监控目标事件，如果是，则执行设定的操作，如报警，否则，记录一个异常信号。

音频控制下的音视频监控过程如附图1所示。

其中音频监控始终进行以保证监控持续性(在某些应用场合，也可只在检测到异常声音时才进行音频监控编码记录)，双声道(在某些应用场合，也可以增加更多的声道提高监控性能，但会提高监控成本)音频采样PCM值后一路送至音频编码器进行编码，另一路进行声音变化探测。视频监控在正常情况下处于关闭状态，如果发生异常事件，必定伴随着声音的显著变化，当探测到这种声音变化时，记录下异常事件发生的时间并写入音频监控码流。同时分析声音的方位，从而调整视频监控摄像头以取得最佳监控角度，打开视频监控，记录下异常事件发和的时间以便和音频监控码流同步，进行视频编码存储；同时，对比前后图像的不同来确定异常事件所对应的图像块并试图进行分析，如果能够成功分析出异常事件类型为监控目标事件，则根据设定的处理方式处理，如报警；如果未能检测到为监控目标事件，则记录异常事件以备监控人员后期检索查询。

对于音频控制下的视频监控部分更详细的描述流程图如附图2所示：

上图流程图中，音频监控为立体声双声道，实际应用中，可以根据实际情况增加选择更多声道。

首先定义几个名词：

1.音频帧：音频编码的处理单元，包含若干声道若干PCM值(例如AAC音频标准双声道编码，其每个音频帧包含两个声道，每个声道各1024个PCM值。声道数根据不同情况可以不同，但是对于同一种音频标准，每帧中每声道的PCM值个数为固定值，AAC标准固定为1024点)。在这里，音频帧可进一步分为正常声音帧及异常声音帧。

2.正常声音帧：指未检测到异常声音的音频帧。这种音频帧表示没有异常事件发生时的背景声音。

3.异常声音帧：指检测到音频变化的音频帧，意味着出现了异常事件(异常事件分为监控目标事件和非监控目标事件，每种监控应用都有监控目的，比如说，无人值守机房防盗监控系统，机房正常运行无人进入为正常事件，有人非法侵入为监控目标事件，轻微地震引起物品摔落为非监控目标事件)，这种情况下需要开启视频监控并进行异常事件分析。

4.E_curr_l：当前帧左声道PCM能量值。

5.E_curr_r：当前帧右声道PCM能量值。

6.E_curr：当前帧PCM能量值，即左右声道PCM能量平均值，E_curr＝(E_curr_l+E_curr_r)/2。

7.E_back：背景声音能量平均值，即正常声音帧的能量平均值。可以采用前M个正常声音帧的平均值用于计算背景声音能量平均值E_back，M值可根据实际情况监控目标事件的快慢设定以达到最佳效果，比如说100。

8.Threshold：异常声音帧门限值，如果当前帧E_curr对比E_back超过门限值，则意味着检测到了明显声音变化，也即意味着异常事件的发生。由于不同使用场合背景声音能量平均值不同、监控目标事件不同，其值会有所变化，需要根据实际情况而定。

9.T：异常事件发生时刻。音频监控和视频监控共用一个时钟，一旦检测到异常事件发生，需要记录下发生时刻信息，并同时记录到音频监控码流和视频监控码流以保证音视频同步，以便在未来查询时能迅速知道异常时刻发生时刻。

10.L_max：一般来说，异常事件一旦发生，往往需要持续一段时间，所以一旦检测到异常事件，打开视频监控后，可以直接连续监控L_max帧，L_max帧之后，停止视频监控，并且重新进行异常事件检测。L_max的长度选择需要根据监控应用场合及监控目标事件的长度而选择，比如说监控公路车祸的监控系统，车祸的发生往往是一瞬间，可以设定一点较短的L_max值。

11.L:视频编码计数器，保证一旦检测到异常事件，需要持续视频监控记录L_max帧。

如附图2所示的整个视频监控过程如以下步骤表示：

1.E_curr初始化为0或已知当前背景声音能量平均值。

2.双声道音频PCM采样输入，

3.计算左声道音频帧能量值E_curr_l，计算右声道音频帧能量值E_curr_r。

4.计算当前帧双声道音频能量值E_curr＝(E_curr_l+E_curr_r)/2。

5.判断E_curr/E_back是否超过门限值Threshold，如果超过门限值，则检测到异常事件，进入下一步进行异常事件处理，否则更新E_curr，回到步骤2重新检测。

6.记录下异常事件的发生时间T，并将视频帧监控计数器L清零，准备进行异常事件检测和视频监控。

7.能过双声道能量差和时间差，相位差等信息分析异常声音方位。

8.调整摄像头以取得最佳的监控角度，并开启视频监控探头开始进行视频监控图像摄取和编码。

9.如果当前视频监控记录帧数达到L_max帧，则退出视频监控，进入监控后处理步骤13。

10.摄像头摄取视频图像进行编码。

11.通过对比异常事件前、中、后的视频图像帧的差别来找到异常事件物体相关的图像块。

12.根据预设的监控目标事件特征，对异常事件物体相关图像块进行分析以确定是否为监控目标事件，同时，更新计数器L，回到步骤9。

13.如果在异常事件分析过程中，成功检测到该异常事件为监控目标事件，则按预设的方式进行处理，比如报警；否则仅仅记录为一个异常事件发生。

14.将异常事件发生时间T和视频编码码流存储到存储器，重新回到步骤2，进行全新的一次音频监控。

如附图3所示，监控系统包括音视频监控同步模块，音频监控模块和视频监控模块。

考虑到音频和视频监控的同步以及异常事件发生时刻的确定，两者需要共用一个时钟信号源，即图中的音视频监控同步模块。音频视监控同步模块会送出相同的时钟信息进入音频监控模块和视频监控模块。

左右声道PCM值一路送至音频监控模块进行连续性的音频监控(在某些不需要音频连续性监控的情况下，也可以只在探测到异常事件时才进行音频监控编码记录)，并将音频监控编码码流连同时间信息一同记录到存储模块A；另一路则送入视频监控模块进行异常声音检测。

在视频监控模块中，视频监控控制模块控制整个视频监控过程。在视频监控模块中，首先在能量计算模块中对输入的音频帧直接计算当前帧的能量值E_curr，并且在未检测到异常声音的情况下，更新背景声音能量值E_back，在接下来的异常声音检测模块中进行E_curr及E_back数值的对比处理。一旦检测到异常声音，则代表异常事件发生，则在异常事件方向检测模块中，根据E_curr_l，E_curr_r，并结合左右声道时间差，相位差等额外信息，判断异常事件发生的方向，并通知视频监控控制模块，调整视频监控探头的方向，开始进行异常事件分析和视频编码记录。在视频异常事件分析模块中，会根据异常事件前、中、后视频图像帧的差别来找到异常事件所对应的图像块，结合监控目标事件特征库中设定的记录监控目标特点，对异常事件所对应的图像块进行分析处理对比以确认是否为监控目标事件，如果是监控目标事件，则根据设定的处理方式进行报警或者其它相应处理；如果未能检测到是监控目标事件，则仅仅报告异常事件发生。不管是否监控目标事件，在异常事件发生后，视频编码模块都会对L_max帧视频图像进行编码并存储入存储模块B。其中存储模块A和存储模块B可以是同一模块，以可以为不同模块。

Claims (1)

1.一种视频处理方法，其特征在于：

对于包含视频监控系统以及音频监控系统的安全监控系统，

音频监控系统当探测到异常声音变化时，记录下异常事件发生的时间并写入音频监控码流，同时分析声音的方位，从而调整视频监控摄像头以取得最佳监控角度，打开视频监控，记录下异常事件发和的时间以便和音频监控码流同步，进行视频编码存储；

对比前后图像的不同来确定异常事件所对应的图像块并试图进行分析，如果能够成功分析出异常事件类型为监控目标事件，则根据设定的处理方式处理；如果未能检测到为监控目标事件，则记录异常事件以备监控人员后期检索查询。