CN102929887A - 一种基于声音特征识别的快速录像检索方法及系统 - Google Patents

Abstract

本发明公开了一种基于声音特征识别的快速录像检索方法及系统，方法包括如下步骤：(1)采集监控场景声音数据；(2)提取监控场景声音数据的特征信息；(3)对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；(4)在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。本发明方法及系统可以在事后调阅录像时，通过检索声音数据特征信息实现快速监控场景声音数据，获得监控场景声音数据的通道号和时间信息，进一步获得对应的事件发生的完整录像。

Description

一种基于声音特征识别的快速录像检索方法及系统

技术领域

本发明属于视频监控领域，尤其涉及一种基于声音特征识别的快速录像检索方法及系统。

背景技术

网络视频监控平台是安防系统的重要组成部分，它使用户能够通过IP网络实现视频监控及视频图像的录制。网络视频监控平台能够将视频信息数字化，并通过有线或者无线IP网络进行传输。网络视频监控平台已经成为当前视频监控领域的主流技术，在网络视频监控中，可以把监控场景的视频数据传输到监控中心，使被监控场景的情况一目了然，同时可以存储被监控场景的视频数据和声音数据，这样可以为事后某件事件的调查取证提供查询依据。

当前网络视频监控系统的应用，一般是视频采集设备将采集的视频数据通过网络输入到后端监控中心，存储在存储服务器中，如网络数字硬盘录像机NVR等，以往的存储主要依靠时间，报警类别，定时，手动等，实现多种情况的录像存储。事后通过调阅录像来回放事发现场，这种全程回放需要消耗大量的时间，不利于案件的迅速侦破。一种较好的方法是，应用人脸识别或者车牌识别等算法获得监控场景的特征信息，以此作为检索关键字实现监控场景视频数据存储，事后通过检索该关键字可以快速定位录像，从而获得事件发生的完整录像。然而在某些情况下，比如遮挡、光线暗或者强光等发生时，获取的监控场景视频数据质量较差，难以应用图像处理技术提取监控场景特征信息。

当前声音检测系统在视频监控中的应用也越来越广泛。异常声音检测与识别技术在智能视频监控系统中已得到初步应用。异常声音检测与识别技术可以有效克服传统视频监控存在视场盲区的不足。因此具有较大的市场应用前景。不过在网络视频监控系统中，应用声音信号特征提取算法实现声音信号分类，以及基于此的检索还是一个空白。声音信号分类也叫做声音信号识别，可以设计模式识别系统。一个模式识别系统至少包括特征提取和分类器这两个环节，特征提取可以从信号中提取一些参量并形成特征向量，分类器可以把特征向量映射为某个类别号。

发明内容

本发明实施例的目的在于提供一种基于声音特征识别的快速录像检索方法及系统，旨在解决实际监控场景中，视频录像不能发现异常发生的弊端，在遮挡、光线暗或者强光等发生时，获取的监控场景视频数据质量较差或者感兴趣区域被遮挡，难以应用图像处理技术提取监控场景特征信息的问题。

另外还可以解决传统视频监控录像检索中，仅仅依靠时间点、报警类别等检索存储的录像，需要全程回放录像消耗大量的时间，不能及时采取有效措施的问题。

一种基于声音特征识别的快速录像检索方法，包括如下步骤：

(1)采集监控场景声音数据；

(2)提取监控场景声音数据的特征信息；

(3)对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；

(4)在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

步骤(1)中，采集监控场景声音数据可以利用麦克风等现有的音频采集或输入设备。所述的监控场景声音数据是按照时间段或数据量划分的多个音频数据文件，对于采集得到的每个监控场景声音数据依据声音特征提取技术获得监控场景声音数据特征信息；就声音特征提取技术而言可以利用现有技术，根据需要以及监控场景的特点进行提取，例如提取说话人说话特征信息，汽车行驶声声音特征信息，撞击声声音特征信息等。

作为优选，在步骤(2)中，根据特征信息对监控场景声音数据进行分类；例如根据不同的特征信息分成人说话、汽车行驶声或撞击声等不同的类别。这样可以在后期的检索过程中直接针对某类特征信息的监控场景声音数据进行检索，加快检索速度，缩小检索范围。

作为优选，步骤(2)中，根据特征信息对监控场景声音数据进行分类时，采用自动分类，首先可以利用人工神经网络等理论建立分类器，即分类数学模型，对该分类器进行训练后，利用分类器对监控场景声音数据进行自动分类。

步骤(3)中，建立以监控场景声音数据分类信息、通道号(对应特定的音频采集设备以及特定的视频采集设备)、时间信息为索引关键字的文件头，存储与其相匹配的监控现场录像。

步骤(3)中所述的数据库泛指相关的数据的集合，数据库各部分的数据可以存放在相同或不同的硬件介质中。

只要具有相同的通道号和时间信息，监控现场录像和监控场景声音两者之间就可以认为是匹配的，即两者是采集自同一时间、地点的视频数据和音频数据。因此只要有确定的监控场景声音数据的特征信息或分类信息，再根据其通道号和时间信息就可以找出同一时间、地点的视频数据(录像)。

步骤(4)是为了实现在数据库中寻找预期的录像，检索之前，可以是提供指定的样本声音数据(例如某些异常声音信号)，在数据库中寻找与样本声音数据相匹配的录像，首先提取该样本声音数据的特征信息，在所述的数据库中直接确定与样本声音数据的特征信息相匹配的监控场景声音数据，根据该监控场景声音数据的通道号和时间信息进一步检索录像，获得特定时间、地点的视频数据。

步骤(4)中也可以是检索之前不提供样本声音数据，而仅仅是在数据库中进行泛泛的浏览或检索，为了缩小检索范围，可以人为的在数据库中确定需要检索的某类监控场景声音数据(如碰撞声一类中检索)，然后在该分类中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像，即可获得特定时间、地点的视频数据。

本发明实施例的另一目的在于提供一种基于声音特征识别的快速录像检索系统，该系统包括：

声音数据采集模块，用于采集监控场景声音数据；

声音数据分类模块，用于提取监控场景声音数据的特征信息，

存储录像检索模块，用于对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；而后在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

所述的声音数据采集模块，采集监控场景声音数据时可以利用麦克风等现有的音频采集或输入设备。监控场景声音数据是按照时间段或数据量划分的多个音频数据文件，对于采集得到的每个监控场景声音数据依据声音特征提取技术获得监控场景声音数据特征信息；就声音特征提取技术而言可以利用现有技术，根据需要以及监控场景的特点进行提取，例如提取说话人说话特征信息，汽车行驶声声音特征信息，撞击声声音特征信息等。

作为优选，所述声音数据分类模块包括：

声音数据提取单元，用于提取监控场景声音数据的特征信息；

声音数据分类单元，用于根据特征信息对监控场景声音数据进行分类。

所述的声音数据分类单元，可以根据特征信息对监控场景声音数据进行分类；例如根据不同的特征信息分成人说话、汽车行驶声或撞击声等不同的类别。这样可以在后期的检索过程中直接针对某类特征信息的监控场景声音数据进行检索，加快检索速度，缩小检索范围。根据特征信息对监控场景声音数据进行分类时，优选采用自动分类，例如利用人工神经网络等理论建立分类器，即分类数学模型，对该分类器进行训练后，利用分类器对监控场景声音数据进行自动分类。

作为优选，所述存储录像检索模块包括：

声音信息存储单元，用于对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；

存储录像检索单元，在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

作为优选，所述存储录像检索单元包括：

间接查询子单元，用于检索之前提供指定的样本声音数据，提取该样本声音数据的特征信息，在所述的数据库中确定与样本声音数据的特征信息相匹配的监控场景声音数据；

直接查询子单元，用于检索之前不提供样本声音数据时，在数据库中确定需要检索的某类监控场景声音数据，然后在该分类中以所述的特征信息为索引检索监控场景声音数据。

存储录像检索子单元，用于根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

传统的网络视频监控系统，一般是视频采集设备将采集的视频数据通过网络输入到后端监控中心，存储在存储服务器中，如网络数字硬盘录像机NVR等，以往的存储主要依靠时间，报警类别，定时，手动等，实现多种情况的录像存储。事后回放录像时可以依据时间信息、报警类别等实现录像检索。本发明及系统首先通过声音采集设备拾取监控场景声音数据，依据声音特征提取技术获得监控场景声音特征信息，通过声音分类算法实现监控场景声音数据的自动分类。同时将分类信息、通道号、时间信息等记入存储服务器检索信息。事后调阅录像时通过检索声音数据特征信息实现快速监控场景声音数据，获得监控场景声音数据的通道号和时间信息，进一步获得对应的事件发生的完整录像。

附图说明

图1是本发明提供的基于声音特征识别的快速录像检索系统的结构框图。

图2是本发明提供的基于声音特征识别的快速录像检索方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，本发明一种基于声音特征识别的快速录像检索系统，包括

声音数据采集模块41，用于采集监控场景声音数据；

声音数据分类模块42，用于提取监控场景声音数据的特征信息，

存储录像检索模块43，用于对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；而后在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

作为本发明实施例的一个优选方案，声音数据分类模块42包括：

声音数据提取单元421，用于提取监控场景声音数据的特征信息；

声音数据分类单元422，用于根据特征信息对监控场景声音数据进行自动分类。

作为本发明实施例的一个优选方案，存储录像检索模块43包括：

声音信息存储单元431，用于对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；

存储录像检索单元432，在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

作为本发明实施例的一个优选方案，存储录像检索单元进一步包括：

间接查询子单元，用于检索之前提供指定的样本声音数据，提取该样本声音数据的特征信息，在所述的数据库中确定与样本声音数据的特征信息相匹配的监控场景声音数据；

直接查询子单元，用于检索之前不提供样本声音数据时，在数据库中确定需要检索的某类监控场景声音数据，然后在该分类中以所述的特征信息为索引检索监控场景声音数据。

存储录像检索子单元，用于根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

图2示出了本发明实施例提供的基于声音特征识别的快速录像检索方法的实现流程，包括：

步骤S101，采集监控场景声音数据；

声音采集设备采集监控场景声音数据，并将获取的声音数据发送到监控中心存储服务器上。网络视频监控系统一般有多个前端音视频采集设备，通过不同的通道连入存储服务器上。例如对于16路网络数字硬盘录像机NVR来说，就可以连接最多16路前端音视频采集设备，每一路前端音视频采集设备都可以通过其相应的通道将采集的数据发送到存储服务器上，存储服务器按照预设的策略实现存储。

步骤S102，提取监控场景声音数据的特征信息；

依据现有的声音特征提取技术获得监控场景声音数据特征信息。一般网络视频监控现场环境比较复杂，信噪比低，应用声音特征提取算法提取场景声音特征信息有一定的难度，因此需要做预处理和声音增强，为增强特征提取的有效性，一般应针对一种声音数据采用多种特征提取算法，保存较好的特征，舍弃不明显的特征。比如，针对社区门口监控现场，各前端音视频采集设备实时采集现场音视频数据，发送到监控中心存储服务器上，后端声音处理部分应用声音特征提取算法提取监控场景声音特征信息。比如，提取说话人说话特征信息，汽车行驶声声音特征信息，撞击声声音特征信息等。

根据监控场景声音数据特征信息实现声音数据自动分类包括特征提取和分类器这两个环节，特征提取可以从信号中提取一些参量并形成特征向量，分类器可以把特征向量映射为某个类别号。获得声音数据特征信息后，建立声音数据分类器，输入特征信息，经过分类器训练，实现声音数据的自动分类。比如，针对社区门口监控现场，声音数据一般包括：人说话声、环境噪声、汽车行驶声、喇叭声、人走路声、撞击声等，可以分别提取其特征信息，依据特征信息实现声音数据的自动分类，也即模式识别。

步骤S103，对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；

将声音数据分类信息、通道号、时间信息等记入监控中心存储服务器检索信息。传统网络视频监控系统一般根据时间信息、报警类别、定时、手动等，实现多种形式的录像存储。事后通过时间信息、报警类别等可以实现检索存储录像。本发明实施例加入一种新的检索形式，即将监控场景声音数据分类信息、通道号、时间信息等建立文件头，建立索引关系实现对监控场景录像的存储，当然每段录像文件也对应的带有通道号和时间信息。

步骤S104，在数据库中以特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在数据库中检索并确定相匹配的录像。

若检索之前提供指定的样本声音数据，提取该样本声音数据的特征信息，在所述的数据库中确定与样本声音数据的特征信息相匹配的监控场景声音数据；比如，针对社区门口监控现场，提供样本声音数据(异常信号)，比如撞击声特征信息作为检索关键字，在数据库中检索监控场景声音数据，可以快速检索到所有撞击声的监控场景声音数据，获得其当前分类信息以及对应的通道号、时间信息等。再根据检索到的监控场景声音数据的通道号和时间信息在数据库中确定相匹配的录像。

若检索之前不提供样本声音数据，则在数据库中确定需要检索的某类监控场景声音数据，例如在分类为撞击声的监控场景声音数据中检索，当检索到异常或预期信号后，同时获得其对应的通道号、时间信息等，从而进一步获得事件发生的完整录像。

本发明方法可以在调阅录像时，通过检索声音数据的特征信息实现快速检索，获得监控场景声音数据的分类信息、通道号、时间信息，进一步获得事件发生的完整录像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于声音特征识别的快速录像检索方法，其特征在于，包括如下步骤：

(1)采集监控场景声音数据；

(2)提取监控场景声音数据的特征信息；

(3)对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；

(4)在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

2.如权利要求1所述的基于声音特征识别的快速录像检索方法，其特征在于，步骤(2)中，根据特征信息对监控场景声音数据进行分类。

3.如权利要求2所述的基于声音特征识别的快速录像检索方法，其特征在于，步骤(2)中，建立分类器，对该分类器进行训练后，利用分类器对监控场景声音数据进行自动分类。

4.如权利要求2所述的基于声音特征识别的快速录像检索方法，其特征在于，步骤(4)中，若检索之前提供指定的样本声音数据，提取该样本声音数据的特征信息，在所述的数据库中确定与样本声音数据的特征信息相匹配的监控场景声音数据；

若检索之前不提供样本声音数据，则在数据库中确定需要检索的某类监控场景声音数据，然后在该分类中以所述的特征信息为索引检索监控场景声音数据。

5.一种基于声音特征识别的快速录像检索系统，其特征在于，该系统包括：

声音数据采集模块，用于采集监控场景声音数据；

声音数据分类模块，用于提取监控场景声音数据的特征信息，

存储录像检索模块，用于对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；而后在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

6.如权利要求5所述的基于声音特征识别的快速录像检索系统，其特征在于，所述声音数据分类模块包括：

声音数据提取单元，用于提取监控场景声音数据的特征信息；

声音数据分类单元，用于根据特征信息对监控场景声音数据进行分类。

7.如权利要求6所述的基于声音特征识别的快速录像检索系统，其特征在于，所述存储录像检索模块包括：

声音信息存储单元，用于对所有监控场景声音数据匹配相应的通道号和时间信息，连同带有通道号和时间信息的录像构建数据库；

存储录像检索单元，在所述的数据库中以所述的特征信息为索引检索监控场景声音数据，根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

8.如权利要求7所述的基于声音特征识别的快速录像检索系统，其特征在于，所述存储录像检索单元包括：

间接查询子单元，用于检索之前提供指定的样本声音数据，提取该样本声音数据的特征信息，在所述的数据库中确定与样本声音数据的特征信息相匹配的监控场景声音数据；

直接查询子单元，用于检索之前不提供样本声音数据时，在数据库中确定需要检索的某类监控场景声音数据，然后在该分类中以所述的特征信息为索引检索监控场景声音数据。

存储录像检索子单元，用于根据检索到的监控场景声音数据的通道号和时间信息在所述的数据库中检索并确定相匹配的录像。

Images