CN107483879A - 视频标记方法、装置及视频监控方法和系统 - Google Patents

Abstract

本发明公开了一种视频标记方法、装置及视频监控方法和系统，采用如下方式对视频文件进行标记：提取视频文件之音频信号的声音特征；然后将提取的声音特征与音频事件库中各音频事件进行匹配；当提取的声音特征与至少一个音频事件匹配成功时，表明该视频文件中有该音频事件发生，在视频文件对应位置对发生的该音频事件进行事件标记。本发明实施例可以通过预先设置音频事件，然后通过提取视频文件中音频信号的声音特征与各音频事件进行匹配从而判断是否需要进行相应的标记，并不需要人工查看视频内容从而决定是否标记，对视频文件进行标记的效率和准确率都可以得到较大的提升。

Description

视频标记方法、装置及视频监控方法和系统

技术领域

本发明涉及通信领域，尤其涉及一种视频标记方法、装置及视频监控方法和系统。

背景技术

目前，在监控等其他领域的视频录制中，对于录制的视频文件，都是采用事后手动进行标记的方式。一般过程为：先进行视频录制得到视频文件，然后在视频编辑器中打开一段已录制好的视频，通过人工查看视频找到需要打时间点标记的时刻，在标记栏时间轴上的相应时刻，添加标记指示器，然后添加文字标签。这种方式存在以下问题：

整个对视频文件进行标记的过程需要人工查看，并作出是否需要进行标记，以及具体在视频文件的哪个位置标记。不仅效率低，而且是否需要进行标记的判断结果和具体的标记位置都会受人工影响，可能会同时导致标记的准确性差。

发明内容

本发明实施例为解决：现有对视频标记时采用人工实现，导致效率低、准确性差的问题，提供一种视频标记方法、装置及视频监控方法和系统。

为了解决上述问题，本发明一实施例提供了一种视频标记方法，包括：

提取视频文件之音频信号的声音特征；

将提取的声音特征与音频事件库中各音频事件进行匹配；所述音频事件基于事件发生时产生的音频信号的声音特征而建立；

如与至少一个所述音频事件匹配成功，在所述视频文件对应位置对发生的该音频事件进行事件标记。

为了解决上述问题，本发明另一实施例提供了视频监控方法，包括：

进行监控视频录制；

在视频录制过程中，通过如上所述的视频标记方法对录制得到的视频文件进行事件标记；

对视频文件完成一个事件标记后，将事件标记部分的视频文件进行告警显示。

为了解决上述问题，本发明另一实施例提供了视频标记装置，包括：

特征提取模块，用于提取视频文件之音频信号的声音特征；

处理模块，用于将所述声音特征与音频事件库中各音频事件进行匹配；所述音频事件基于事件发生时产生的音频信号的声音特征而建立；

标记模块，用于在与至少一个所述音频事件匹配成功，在所述视频文件对应位置对发生的该音频事件进行事件标记。

为了解决上述问题，本发明另一实施例提供了一种视频监控系统，包括监测处理装置和如上所述的视频标记装置；

所述视频标记装置用于对视频监控过程中录制的视频进行事件标记，并在对视频文件完成一个事件标记后，向所述监测处理装置告警；

所述监测处理装置用于在收到告警后，将所述事件标记部分的视频文件进行告警显示。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行前述的任一项的视频标记方法或视频监控方法。

本发明的有益效果是：

根据本发明实施例提供的视频标记方法、装置、视频监控方法和系统以及计算机存储介质，采用如下方式对视频文件进行标记：提取视频文件之音频信号的声音特征；然后将提取的声音特征与音频事件库中各音频事件进行匹配；本发明实施例中的音频事件是预先基于事件发生时产生的音频信号的声音特征而建立的。当提取的声音特征与至少一个音频事件匹配成功时，表明该视频文件中有该音频事件发生，在视频文件对应位置对发生的该音频事件进行事件标记。本发明实施例可以通过预先设置音频事件，然后通过提取视频文件中音频信号的声音特征与各音频事件进行匹配从而判断是否需要进行相应的标记，并不需要人工查看视频内容从而决定是否标记，对视频文件进行标记的效率和准确率都可以得到较大的提升。

附图说明

图1为本发明实施例一提供的视频标记方法参流程示意图；

图2为本发明实施例二提供的视频监控方法参流程示意图；

图3为本发明实施例三提供的视频标记装置结构程示意图；

图4为本发明实施例三提供的另一视频标记装置结构程示意图；

图5为本发明实施例三提供的另一视频标记装置结构程示意图；

图6为本发明实施例三提供的监控系统结构程示意图；

图7为本发明实施例四提供的监控系统结构程示意图；

图8为本发明实施例二提供的视频监控方法参流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明中一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。

实施例一：

本实施例通过预先设置音频事件，然后提取待处理的视频文件中音频信号的声音特征与各音频事件进行匹配从而自动判断是否需要进行相应的标记，并不需要人工查看视频内容从而决定是否标记，可以大大提升对视频文件进行标记的效率和准确率。具体的，本实施例提供的视频标记方法参见图1所示，包括：

S101：提取视频文件之音频信号的声音特征。

本实施例中的视频文件包括音频信号和同步录制的视频信号。本实施例中的S101可以在等视频文件录制结束后进行。也可以在视频文件录制过程中进行，在视频文件录制过程进行时，可以提升对视频文件进行标记的处理的及时性，基本可以实现实时标记，这对于一些领域，尤其是视频监控领域，早一分钟或早一秒看到标记的告警内容，对于后续告警事件态势的影响可能都会很不一样。因此在视频文件录制过程中执行S101对于视频监控领域有着重大意义。

S102：将提取的声音特征与音频事件库中各音频事件进行匹配。

本实施例中的音频事件基于事件发生时产生的音频信号的声音特征而建立。例如对于烟雾报警事件，则会产生烟雾报警器的声音，提取该声音的声音特征则可得到一个烟雾报警的音频事件。又例如，对于一起抢劫或暴力或侵略性事件，对应的可能会有大喊救命等求救声，提取这些声音的声音特征则可得到一个抢劫或暴力或侵略性事件的音频事件。除了上述示例，对于不同事件发生一般有其对应的一种或多种声音的产生，例如，枪击事件会对应的有枪声。而在其他的一些事件则可能会对应产生例如玻璃破碎音声、哭喊声、汽车喇叭声等等。本实施例不再赘述。本领域技术人员应当理解，本实施例中的音频事件可以根据具体的需求灵活配置。

S103：判断提取的声音特征是否与至少一个音频事件匹配成功，如是，转至S104；否则，转至S105；

S104：在视频文件对应位置对发生的该音频事件进行事件标记。

S105：当前无音频事件发生，可以继续等待下一次检测。

本实施例通过图1所示的过程，预先设置音频事件，并自动提取视频文件中声音信号的声音特征完成与各音频事件匹配，如与其中一个匹配成功，则代表视频文件中发生了该音频事件，自动在视频文件的相应位置进行事件标记。该判断以及标记过程完全不需要人工参与，既能提升效率，又能提升标记的准确率。

进一步的，本实施例的上述过程还可以在视频录制过程中进行，基本可以实现对录制的视频文件完成实时的标记处理，相对现有需在视频文件录制完成后事后进行标记处理的方式，可以大大提升标记处理的时效，这尤其对于视频监控领域，能及时制止一些恶意事件或甚至可避免一些恶意事件的发生，保证用户的财产和生命安全。

本实施例中，提取音频信号的声音特征并与音频事件进行匹配可以采用以下过程进行：

将音频信号变换到时频域后，提取该音频信号的背景信号和前景信号，具体可以通过基于人类听力的神经机理的行为建模分离出背景信号和前景信号；这样可以消除背景信号的影响。

从前景信号中提取声音特征集合，然后从音频事件库中读取音频事件，计算提取的声音特征集合与各音频事件的相似度，当与某一音频事件的相似度大于设定的相似度阈值时，则判定与该音频事件匹配成功，也即判定视频文件中发生了该音频事件。需在视频文件对应位置对发生的音频事件进行事件标记。本实施例中对视频文件进行标记包括进行以下标记中的至少一种：

在视频文件的关键视频帧位置标记音频事件发生的开始时间；本实施例中的关键视频帧是指在检测出发生音频事件的那一时刻的视频帧；

获取并标记发生的音频事件之声源相对拾音器的方向和/或距离信息；本实施例中在进行声源定位时，可以在得到明确的声源方向(也可用角度表征)和/或距离后才进行标记，以避免不清楚的声源信息反而导致后续的处理的误导；

获取并标记发生的音频事件对应的严重度级别；

获取并标记所述音频事件的名称。

本实施例中针对每一个音频事件都可以设置对应的严重度级别，例如对于一个音频事件，其为非恶性和非危险事件时，可以设置其严重度级别为一般，用系数0表征；对于一个为恶性音频事件，设置其严重度级别为较为严重，用系数1表征；对于一个为危险音频事件，设置其严重度级别为很严重，用系数2表征。在进行严重度级别标记时，可以直接标记各严重度级别对应的系数。

对于一个事件，其严重度可能不仅与事件本身相关，可能还与事件发生的位置(例如酒店、商铺、学校、住宅区、家庭内)以及事件持续的时间紧密关联。

因此，本实施例在获取音频事件对应的严重度级别时，还包括获取根据录制视频文件的位置信息(也即音频事件发生的位置)和/或当前音频事件发生后的持续时间，结合获取到的位置信息和/或持续时间确定音频事件当前对应的严重度级别。这样确定的严重度级别考虑的因素更为全面，得到的结果也更为准确。

本实施例中，为了便于后续监测人员查看和处理，在视频文件对应位置进行事件标记包括对音频事件对应的严重度级别进行标记时，可以根据预先设置的严重度级别与标记格式对应关系表，选择与当前音频事件的严重度级别对应的标记格式进行标记。本实施例中的标记格式包括但不限于文字框和文字采用的颜色/格式不同。下面仅以一种示例进行说明。参见表1所示。

表1

基于上述对应关系表针对不同严重度级别的音频事件采用不同的标记格式进行标记，后续在对标记部分的视频进行显示时，对该标记就能以不同的格式进行显示，对于用户来说就起到不同的提示作用，更利于用户针对不同严重度级别的事件作出正确、快速的反应。

本实施例中，对视频文件进行标记的判断过程可以是周期性的，对此本实施例预先设置一个检测周期，例如10秒，也即每隔10秒检测一次；也可以设置为30秒，1分钟等等，应当理解，检测周期的取值具体可以根据具体需求灵活设定。这样每一个检测周期，都会从录制的视频文件中提取音频信号，并提取声音特征与各音频事件进行匹配。而这就会存在以下情况。例如，假设发生一起抢劫事件恐吓声、哀求声、哭嚎声、求救声持续若干秒，且中间无明显的长时间的中断。也即可能一段时间内持续发生的是一个音频事件或相关联的音频事件。因此本实施例可以设置事件合并规则，对于上述类似情况可以整合成一个音频事件，提升检测、标记的智能性和准确性。例如，该合并规则可以设置为以下规则中的任意一种：

检测为相同的音频事件时进行合并(不限制持续时间)；

在M个音频检测周期内，检测为相同的音频事件时进行合并，M大于等于2；例如假设检测周期为1分钟，M取10，则允许10分钟内相同的音频事件合并；

检测为相关联的音频事件时进行合并(不限制持续时间)；

在N个音频检测周期内，检测为相关联的音频事件时进行合并，N大于等于2。

对应的，本实施例中，当在某一个检测周期内第一次检测到某一音频事件发生时，在视频文件中先标记该事件发生的开始时间，对于结束时间可以先不标记，等下一个检测周期的检测结果，如果下一检测周期没有检测到音频事件发生，或者没有检测到相同或相关联的音频事件发生，则标记该音频事件的结束时间为该下一检测周期的开始时间。

综上，在本实施例中，在相邻检测周期所提取的音频信号的声音特征都与至少一个音频事件匹配成功时，也即在两个相邻检测周期内都有音频事件发生时，则根据以上预设的事件合并规则判断是否对相邻两个检测周期内发生的音频事件进行合并；如需要合并，将前一个检测周期内音频事件的开始时间作为当前检测周期内音频事件的开始时间，结束时间仍先不标记，等待后续检测结果；如不需要合并，则设置前一个检测周期内的音频事件的结束时间为当前检测周期的开始时间，设置当前检测周期内的音频事件的开始时间为当前检测周期的开始时间。

在合并后，对于音频事件的持续时间发生了变化，因此其对应的严重度等级也可能会发生变化，因此本实施例中在对发生的音频事件进行合并后，可重新获取该音频事件对应的严重度等级是否发生变化，如是，则进行对应的更新。因此，在本实施例中，对视频文件进行的标记还可以包括音频事件的结束时间和/或持续时间。而对于开始时间和结束时间这一段的视频文件可以称为标签视频。在后续报警显示时，可以针对性的针对这一段标签视频进行显示。

实施例二:

本实施例基于实施例一提供的视频标记方法，还提供了一种视频监控方法，参见图2所示，包括：

S201：进行监控视频录制,具体可以通过图像采集器(例如摄像头)和拾音器进行视频采集和同步的音频采集。

S202：在视频录制过程中，通过如实施例一所述的视频标记方法对录制得到的视频文件进行事件标记。

S203：检测到对视频文件完成一个事件标记时，将事件标记部分的视频文件进行告警显示。这样监控人员就可以最及时的查看到发生了音频事件部分的视频内容，并及时作出对应的处理。需要注意的是，根据上述记载可知，该事件可能仍在发生，尚未结束；也可能事件已经结束，这根据该事件持续时间、事件检测周期而定。

本实施例中，将标记部分的视频文件进行告警显示具体可以向后台服务器发送告警。如果对应显示设备之前本来就是显示本实施例中图像采集器的实时视频，则该显示设备当前显示的就是标记部分的视频内容，且对应的事件标记会进行相应的显示。如果对应显示设备当前显示的不是本实施例中图像采集器的实时视频，可以向该显示设备发送告警消息和事件标记部分的视频链接，用户通过点击视频链接后即可播放这部分视频，且本实施例中还可以提供随时切换到实时视频的功能。

本实施例中，由于对于发生的音频事件(例如抢劫、枪击等等)可能需要进行对应的报警处理。因此本实施例在显示设备上显示时，还可以提供报警选项栏，该报警选项栏可以与视频进度条上的时间点标记集成在一起，当用户点击后即可弹出报警选项。同时考虑到对于重点事件用户需要多次查看以进行确定，因此本示例还可以提供回看功能并也可以集成在视频进度条上的某一位置(具体可用相应的标记体现，例如集成在时间点标记上)，用户需要回看只要点击相应位置的标识即可。

通过本实施例的方案，可以在监控过程中及时、准确的查看到发生的音频事件，并作出及时准确的反应，保证了用户的财产和生命的安全。

实施例三：

本实施例提供了一种视频标记装置，参见图3所示，包括：

特征提取模块31，用于提取视频文件之音频信号的声音特征；本实施例中的视频文件包括音频信号和同步录制的视频信号。

处理模块32，用于将声音特征与音频事件库中各音频事件进行匹配；音频事件基于事件发生时产生的音频信号的声音特征而建立。对于不同事件发生一般有其对应的一种或多种声音的产生，例如，枪击事件会对应的有枪声。而在其他的一些事件则可能会对应产生例如玻璃破碎音声、哭喊声、汽车喇叭声等等。本实施例不再赘述。本领域技术人员应当理解，本实施例中的音频事件可以根据具体的需求灵活配置。

标记模块33，用于在与至少一个音频事件匹配成功，在视频文件对应位置对发生的该音频事件进行事件标记。

本实施例中的特征提取模块31、处理模块32和标记模块33的上述功能可以通过处理器实现，也可以各自独立构造实现。特征提取模块31自动提取视频文件中声音信号的声音特征经由处理模块32完成与各音频事件匹配，标记模块33在有匹配成功的音频事件时(代表视频文件中发生了该音频事件)，自动在视频文件的相应位置进行事件标记。整个过程不需要人工参与，标记效率和准确率都能得到较大的保证。

参见图4所示，本实施例中的视频标记装置还可包括视频录制模块34，用于进行视频录制；视频录制模块34具体包括视频采集器和拾音器。此时的视频标记装置本身就可以作为一种监控设备，其与监控平台配合即可完成各种场景下的视频监控。

特征提取模块31具体可在用于在视频录制模块34进行视频录制过程中，提取视频文件之音频信号的声音特征，然后经由处理模块32和标记模块完成后续的标记处理流程。这样可以提升对视频文件进行标记的处理的及时性，基本可以实现实时标记，这对于视频监控领域，早一分钟或早一秒看到标记的告警内容，对于后续告警事件态势的影响可能都会很不一样。

本实施例中，特征提取模块31提取音频信号可以采用以下过程进行：

将音频信号变换到时频域后，提取该音频信号的背景信号和前景信号，从前景信号中提取声音特征集合。特征提取模块31具体可以通过基于人类听力的神经机理的行为建模分离出背景信号和前景信号；这样可以消除背景信号的影响。

处理模块32从音频事件库中读取音频事件，计算特征提取模块31提取的声音特征集合与各音频事件的相似度，当与某一音频事件的相似度大于设定的相似度阈值时，则判定与该音频事件匹配成功，也即判定视频文件中发生了该音频事件。需在视频文件对应位置对发生的音频事件进行事件标记。

本实施例中，标记模块33对视频文件进行标记时可包括进行以下标记中的至少一种：

在视频文件的关键视频帧位置标记音频事件发生的开始时间；本实施例中的关键视频帧是指在检测出发生音频事件的那一时刻的视频帧；

获取并标记发生的音频事件之声源相对拾音器的方向和/或距离信息；本实施例中在进行声源定位时，可以在得到明确的声源方向(也可用角度表征)和/或距离后才进行标记，以避免不清楚的声源信息反而导致后续的处理的误导；

获取并标记发生的音频事件对应的严重度级别；

获取并标记所述音频事件的名称。

本实施例中针对每一个音频事件都可以设置对应的严重度级别，例如对于一个音频事件，其为非恶性和非危险事件时，可以设置其严重度级别为一般严重，用系数0表征；对于一个为恶性音频事件，设置其严重度级别为比较严重，用系数1表征；对于一个为危险音频事件，设置其严重度级别为很严重，用系数2表征。在进行严重度级别标记时，可以直接标记各严重度级别对应的系数。

对于一个事件，其严重度可能不仅于事件本身相关，可能还与事件发生的位置(例如酒店、商铺、学校、住宅区、家庭内)以及事件持续的时间紧密关联。

因此，本实施例在获取音频事件对应的严重度级别时，还包括获取根据录制视频文件的位置信息(也即音频事件发生的位置)和/或当前音频事件发生后的持续时间，结合获取到的位置信息和/或持续时间确定音频事件当前对应的严重度级别。这样确定的严重度级别考虑的因素更为全面，得到的结果也更为准确。

本实施例中，为了便于后续监测人员查看和处理，在视频文件对应位置进行事件标记包括对音频事件对应的严重度级别进行标记时，可以根据预先设置的严重度级别与标记格式对应关系表，选择与当前音频事件的严重度级别对应的标记格式进行标记。本实施例中的标记格式包括但不限于文字框和文字采用的颜色/格式不同。

本实施例中，参见图5所示还可包括缓存模块35，其可用于存储音频事件库，该音频事件库具体可以从其他服务器(例如监控服务器)上获取，也可以直接接收用户的设置获取。缓存模块35还用于缓存视频录制模块34，采集的音频数据和视频数据，以及缓存标记模块所标记的各种数据。

本实施例中，对视频文件进行标记的判断过程可以是周期性的，对此本实施例预先设置一个检测周期，例如10秒，也即每隔10秒检测一次；也可以设置为30秒，1分钟等等，应当理解，检测周期的取值具体可以根据具体需求灵活设定。这样每一个检测周期，特征提取模块31都会从录制的视频文件中提取音频信号及其提取声音特征，处理模块32将声音特征与各音频事件进行匹配。而这就会存在多个检测周期内匹配到相同或相关联的音频事件。因此本实施例可以设置事件合并规则，对于上述类似情况标记模块33可以将其整合成一个音频事件，提升检测、标记的智能性和准确性。例如，标记模块33具体可以根据以下合并规则中的任意一种进行处理：

检测为相同的音频事件时进行合并(不限制持续时间)；

在M个音频检测周期内，检测为相同的音频事件时进行合并，M大于等于2；例如假设检测周期为2分钟，M取5，则允许10分钟内相同的音频事件合并；

检测为相关联的音频事件时进行合并(不限制持续时间)；

在N个音频检测周期内，检测为相关联的音频事件时进行合并，N大于等于2。

对应的，本实施例中，当处理模块32在某一个检测周期内第一次检测到某一音频事件发生时，标记模块33在视频文件中先标记该事件发生的开始时间，对于结束时间可以先不标记，等下一个检测周期的检测结果，如果下一检测周期没有检测到音频事件发生，或者没有检测到相同或相关联的音频事件发生，则标记该音频事件的结束时间为该下一检测周期的开始时间。

综上，在本实施例中，处理模块32在相邻检测周期所提取的音频信号的声音特征都与至少一个音频事件匹配成功时，也即在两个相邻检测周期内都有音频事件发生时，则标记模块33根据以上预设的事件合并规则判断是否对相邻两个检测周期内发生的音频事件进行合并；如需要合并，将前一个检测周期内音频事件的开始时间作为当前检测周期内音频事件的开始时间，结束时间仍先不标记，等待后续检测结果；如不需要合并，则设置前一个检测周期内的音频事件的结束时间为当前检测周期的开始时间，设置当前检测周期内的音频事件的开始时间为当前检测周期的开始时间。

在合并后，对于音频事件的持续时间发生了变化，因此其对应的严重度等级也可能会发生变化，因此本实施例中标记模块33在对发生的音频事件进行合并后，可重新获取该音频事件对应的严重度等级是否发生变化，如是，则对标记进行相应的更新。因此，在本实施例中，标记模块33对视频文件进行的标记还可以包括音频事件的结束时间和/或持续时间。而对于开始时间和结束时间这一段的视频文件可以称为标签视频。

参见图6所示，本实施例还提供了一种视频监控系统，包括监测处理装置61和如上的视频标记装置62；

视频标记装置62用于对视频监控过程中录制的视频进行事件标记，并在对视频文件完成一个事件标记后，向监测处理装置61告警；对于报警这一过程也即为事件标记激活过程，该过程可以通过视频标记装置62中设置的标记激活模块完成。

监测处理装置61用于在收到告警后，将标记部分的视频文件进行告警显示。需要注意的是，根据上述记载可知，该事件可能仍在发生，尚未结束；也可能事件已经结束，这根据该事件持续时间、检测周期等因素而定。

本实施例中的监测处理装置可以通过后台服务器结合对应的显示设备实现，后台服务器保存存储介质，用于存储音频事件库，还用于存储来自视频标记装置62发过来的视频数据、报警信息等。

本实施例中的视频标记装置62还可进一步包括交互单元，该交互单元可以是显示单元，可以接收可查看来自标记模块的标签视频以及实时视频，或者接收或下发各种交互消息。

视频标记装置62将标记部分的视频文件发给监测处理装置61进行告警。如果监测处理装置61之前本来就是显示本实施例中图像采集器的实时视频，则监测处理装置61当前显示的就是标记部分的视频内容，且对应的事件标记会进行相应的显示。如果监测处理装置61当前显示的不是本实施例中图像采集器的实时视频，可以向监测处理装置61发送告警消息和事件标记部分的视频链接，用户点击链接后即可播放这部分视频，且本实施例中还可以提供随时切换到实时视频的功能。

本实施例中，由于对于发生的音频事件(例如抢劫、枪击等等)可能需要进行对应的报警处理。因此本实施例在监测处理装置61显示时，还可以提供报警选项栏，该报警选项栏可以与视频进度条上的时间点标记集成在一起，当用户点击后即可弹出报警选项。同时考虑到对于重点事件用户需要多次查看以进行确定，因此本示例还可以提供回看功能并也可以集成在视频进度条上的某一位置，用户需要回看只要点击相应位置的标识即可。

本实施例还可进一步结合监测处理装置61和视频标记装置62组成监控系统，利用视频标记装置62的可对视频实现实时标记的功能，可以在监控过程中及时、准确的查看到发生的音频事件，并作出及时准确的反应，保证了用户的财产和生命的安全。

实施例四：

为了更好的理解本发明，下面结合一个具体的监控场景对本发明做进一步示例说明。

图7为本实施例提供的应用场景监控系统组成架构示意图，包括：

摄像头与拾音器模块71(也称为监控模块或监控设备)、音频事件对象72、网络、后台服务器73(监测处理装置61的核心部分)、管理台74以及显示部件75(可以是显示器或单独的显示终端，如手机、pad等)。

摄像头与拾音器模块71，可以是内置拾音器的摄像头，也可以是外置拾音器的摄像头，如果是外置的则需要实现音视频同步。

摄像头与拾音器模块71还包括特征提取模块、处理模块、标记模块和缓存模块，其中，特征提取模块和处理模块用于根据采集到的音频信号检测音频事件对象72；标记模块，用于根据检测到的音频事件对象72，获取视频事件标记的时间点标记的标记属性，并编辑实时视频，进行时间点标记，并在标签视频帧上增加醒目的文本框批注；缓存模块缓存音频事件库、采集到的音视频信号、事件标记等。特征提取模块，先分离音频信号的前景信号和背景信号，对前景信号进行特征提取，处理模块再将前景信号与缓存模块中事件检测模型库的音频事件进行比较，若相似度超过设定阈值，则检测发生该一类或多类音频事件。接着标记模块可进行声源定位，获取声源距离和声源方向。然后判定严重程度。处理模块还用于先判断是否整合音频事件，若是则整合音频事件，获取开始时刻、结束时刻和持续时长，对音频检测结论、声源角度、声源距离进行整合，重新判别严重级别。一个整合时间段内的一次音频事件只生成一个时间点标记，包含标记开始时刻和标记结束时刻。保存到缓存模块，并同步保存到后台服务器73的数据库。摄像头与拾音器模块71通过网络与后台服务器73相连。向后台服务器发送告警，若之前正在显示该摄像头的实时视频的，则继续显示，此时应显示的是带标记属性的标签视频；若之前没有显示该摄像头的实时视频的，则向该后台服务器发送告警消息和视频链接，点击后显示带标记属性的标签视频，可随时切换为实时视频。在视频进度条上出现该时间点标记，点击标记可选择报警还是回退查看，若选择报警则拨打指定报警电话并分享标注了时间和位置的标签视频。

另外，通过管理台74(可包含音频事件管理模块、音频事件严重级别判定管理模块、合并规则管理模块)可以录入和管理特定事件的音频特征，录入和管理严重级别判定规则，以及合并规则等等。实施例二

下面以图7所示的系统结构，结合一抢劫音频事件为例进行说明。例如：

某住宅小区内，一男子尾随一年轻女子进电梯，手持凶器实施抢劫，女子被吓得大叫并带着哭腔说“你别过来，包给你”，持续了约1分钟，男子强行抢过包后开始翻包，趁着这个空档，女子飞快按下最近楼层的电梯键，电梯门一开飞快跑出去。还好，电梯间里有摄像头和拾音器，录制了视频文件，并通过网络实时显示在小区物管保安室的监控屏幕上。利用本发明实施例提供的快速标记实现监控的过程如下所示：

监控设备(含摄像头与拾音器)设置在电梯内，监控设备在当前检测周期内对拾音器采集的数据经音频事件匹配检测后，检测发生的音频事件为“电梯内抢劫”。预登记该音频事件E1并记录对应的时间点标记S1的标记属性，包括标记开始时刻(即当前时刻)、严重级别、声源距离、声源方向。比如，标记开始时间：19:50:00，标记属性：抢劫|比较严重|1米以内|右上方。

在上一检测周期没有检测到音频事件，所以不需要进行音频事件整合。将音频事件E1进行正式登记，将从标记开始时刻到标记结束时刻的时间段内的视频称为标签视频，也可以把标签视频进行适当地时间滑动，比如将标签视频的开始时刻往前推n秒且结束时刻往后推n秒，以便更完整地了解事件发生的经过。标签视频的开始时刻是19:50:00前n秒，假设n为5，则开始时刻为19:49:55，结束时间为空，表示音频事件还在发生，没有结束。

向小区物管的后台服务器发送警报，在小区物管保安室内的该摄像头对应的显示屏幕上，当前视频帧的中央显示文字批注“比较严重警报：19:50:00开始，抢劫，右上方，1米以内，并采用加边框的橙色三号字体，并显示进度条，在19:50:00处有采用橙色字体的批注为“抢劫”的时间点标记并高亮显示。点击进度条上的时间点标记，将弹出两个按钮“报警”、“视频回退到标记”，若点击“报警”将按指定方式向指定报警电话进行报警并分享标签视频的链接；若点击“视频回退到标记”则视频将回退到19:49:55开始的视频，观看中可点击右键选择“观看实时视频”则视频将恢复到实时视频。

若检测周期设置为10秒，下一检测周期开始时刻则19:50:11，仍然按照之前的步骤进行音视频采集和音频事件检测，该监控设备的拾音器采集的数据经音频事件检测后，仍检测为“抢劫”。对该音频事件进行预登记为E2，并记录当前时刻、严重级别、声源距离、声源方向。比如，标记开始时间：19:50:11，标记属性：抢劫|比较严重|1米以内|右上方。

根据事件整合判定规则，对E2和E1进行事件合并。更新音频事件E1的事件标记S1的标记，例如持续时间，根据严重级别判定规则重新判定严重级别。

重复上述检测过程，直到又过了1分9秒钟到19:51:09。

下一检测周期开始时刻则19:51:10，仍然按照之前的步骤进行音视频采集和音频事件检测，该摄像头的拾音器采集的数据经音频事件检测后，没有检测到任何事件。且由于上一次音频事件E1的时间点标记S1的标记结束时刻为空，所以设置S1的标记结束时刻为19:51:09。小区物管保安室里该摄像头对应的显示屏幕上播放着正常视频，视频的中央无文字批注，显示着进度条，在19:50:00处有采用橙色字体的批注为“抢劫:持续1分09秒”的时间点标记，已不再高亮显示。点击进度条上的该时间点标记，将弹出两个按钮“报警”、“视频回退到标记”，若点击“报警”将拨打指定报警电话并分享时间点标记S1的标签视频的链接；若点击“视频回退到标记”则视频将回退到19:49:55开始的视频，观看中可点击右键选择“观看实时视频”则视频将恢复到实时视频。

对于以上过程，请参见图8所示，包括：

S801：一个事件检测周期开始，T1时刻，按照上述对视频标记方法检测音频事件(也即进行音频事件的匹配)；

S802：判断是否检测到音频事件，如否，转至803；否则，转至S805；

S803：判断上一次音频事件E0的标记结束时刻是否为空，如是，转至S804，否则，转至S801(等待下一个事件检测周期的到来)；

S804：将上一次音频事件E0的标记结束时间设置为T1的前一秒，重新判定E0的严重度级别，更新事件E0的事件标记S0，激活标记S0，转至S811；

S805：预登记音频事件E1，记录对应的事件标记S1的开始时间T1和标记属性；

S806：判断是否与上一次音频事件E0整合；如是，转至S807；否则，转至S808；

S807：将音频事件E1与音频事件E0进行整合，重新判定E0的严重度级别，更新事件标记S0，删除E1，激活标记S0，转至S811；

S808：判断音频事件E0的标记结束时刻是否为空，如是则转至S809；否则，转至S810；

S809：记录音频事件E0的时间点标记的结束时刻为T1的前一秒，重新判定E0的严重度级别，更新事件标记S0；

S810：正式登记音频事件E1，事件标记S1开始时间为T1，结束时间为空，激活标记E1；

S811：判断是否正在播放该摄像头的视频；如是，转至S814；否则，转至S812；

S812：在显示屏幕上显示告警消息和当前音频事件的标签视频链接(显示方式可以有多种，比如，在屏幕右侧区域显示并按照事件开始时间从前往后排序，若监控人员一直没有查看音频事件的标签视频链接，可能一段时间后会出现多条事件告警消息，对于多次更新标记属性的同一音频事件，其告警消息需要合并)；

S813；判断是否点击某音频事件的标签视频链接，如是，转至S814，否则转至S812继续显示以等待监控人员点击查看标签视频(或者也可以设置为当接收到严重级别为很严重的音频事件的告警消息时显示屏幕主动切换到该音频事件的标签视频)；

S814：播放标签视频，并在屏幕上同时显示对应音频事件的事件标记属性以及起始时间，并显示进度条，在进度条上对应音频事件的时间点标记的开始时刻显示音频事件标记；

S815：点击当前音频事件的事件标记，弹出“报警”、“视频回退到该标记”按钮；

S816：判断是否点击“报警”，如是，转至S817；否则，转至S818；

S817：通过电话或短信或其他指定方式向指定终端报警，分享音频事件的标签视频链接。

S818:判断是否点击“视频回退到该标记”，如是，转至S819，否则转至S816继续判断；

S819：播放视频回退到当前音频事件的时间点标记的标签视频；

S820：观看中选择了“观看实时视频”，切换到实时视频；

流程结束。

通过本发明实施例提供的视频快速标记方法以及监控方法，可以在视频监控中快速定位到视频中正在发生特定行为或特定事件的瞬间，方便视频监控人员快速发现问题，提高视频监控人员的工作效率。

以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化、结合或修饰，均仍属于本发明技术方案的保护范围。

Claims (12)

1.一种视频标记方法，包括：

提取视频文件之音频信号的声音特征；

将提取的声音特征与音频事件库中各音频事件进行匹配；所述音频事件基于事件发生时产生的音频信号的声音特征而建立；

如与至少一个所述音频事件匹配成功，在所述视频文件对应位置对发生的该音频事件进行事件标记。

2.如权利要求1所述的视频标记方法，其特征在于，所述提取视频文件之音频信号的声音特征在视频录制过程中进行。

3.如权利要求1所述的视频标记方法，其特征在于，提取所述音频信号的声音特征并与音频事件进行匹配包括：

将所述音频信号变换到时频域提取其前景信号；

从所述前景信号中提取声音特征集合，计算该声音特征集合与所述音频事件的相似度，得到的相似度大于设定的相似度阈值时，匹配成功。

4.如权利要求1-3任一项所述的视频标记方法，其特征在于，在所述视频文件对应位置对发生的所述音频事件进行事件标记包括进行以下标记中的至少一种：

在所述视频文件的关键视频帧位置标记所述音频事件发生的开始时间；

获取并标记发生的所述音频事件之声源相对拾音器的方向和/或距离信息；

获取并标记发生的所述音频事件对应的严重度级别；

获取并标记所述音频事件的名称。

5.如权利要求4所述的视频标记方法，其特征在于，获取所述音频事件对应的严重度级别包括：

根据录制所述视频文件的位置信息和/或当前音频事件发生后的持续时间，确定所述音频事件当前对应的严重度级别。

6.如权利要求5所述的视频标记方法，其特征在于，在所述视频文件对应位置进行事件标记包括对音频事件对应的严重度级别进行标记时，还包括：根据严重度级别与标记格式对应关系表，选择与当前音频事件模型的严重度级别对应的标记格式进行标记。

7.如权利要求1-3任一项所述的视频标记方法，其特征在于，提取视频文件之音频信号的声音特征为根据预设的检测周期进行提取；

所述方法还包括：

在相邻检测周期所提取的音频信号的声音特征都与至少一个音频事件匹配成功时，根据预设的事件合并规则判断是否对所述相邻两个检测周期内发生的音频事件进行合并；如是，将前一个检测周期内音频事件的开始时间作为当前检测周期内音频事件的开始时间；否则，设置前一个检测周期内的音频事件的结束时间和当前检测周期内的音频事件的开始时间为当前检测周期的开始时间。

8.一种视频监控方法，包括：

进行监控视频录制；

在视频录制过程中，通过如权利要求1-7任一项所述的视频标记方法对录制得到的视频文件进行事件标记；

对视频文件完成一个事件标记后，将事件标记部分的视频文件进行告警显示。

9.一种视频标记装置，其特征在于，包括：

特征提取模块，用于提取视频文件之音频信号的声音特征；

处理模块，用于将所述声音特征与音频事件库中各音频事件进行匹配；所述音频事件基于事件发生时产生的音频信号的声音特征而建立；

标记模块，用于在与至少一个所述音频事件匹配成功，在所述视频文件对应位置对发生的该音频事件进行事件标记。

10.如权利要求9所述的视频标记装置，其特征在于，还包括视频录制模块，用于进行视频录制；

所述特征提取模块用于在所述视频录制模块进行视频录制过程中，提取视频文件之音频信号的声音特征。

11.如权利要求9或10所述的视频标记装置，其特征在于，所述标记模块用于在所述视频文件对应位置对发生的所述音频事件进行以下标记中的至少一种：

在所述视频文件的关键视频帧位置标记所述音频事件发生的开始时间；

获取并标记发生的所述音频事件之声源相对拾音器的方向和/或距离信息；

获取并标记发生的所述音频事件对应的严重度级别；

获取并标记所述音频事件的名称。

12.一种视频监控系统，其特征在于，包括监测处理装置和如权利要求9-11任一项所述的视频标记装置；

所述视频标记装置用于对视频监控过程中录制的视频进行事件标记，并在对视频文件完成一个事件标记后，向所述监测处理装置告警；

所述监测处理装置用于在收到告警后，将所述事件标记部分的视频文件进行告警显示。