CN106683361A - 声音监控方法及装置 - Google Patents
声音监控方法及装置 Download PDFInfo
- Publication number
- CN106683361A CN106683361A CN201710059225.8A CN201710059225A CN106683361A CN 106683361 A CN106683361 A CN 106683361A CN 201710059225 A CN201710059225 A CN 201710059225A CN 106683361 A CN106683361 A CN 106683361A
- Authority
- CN
- China
- Prior art keywords
- feature
- target sound
- signal
- monitoring device
- sound signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/012—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using recorded signals, e.g. speech
Landscapes
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
Abstract
一种声音监控方法,应用于监控设备中,所述监控设备与声音采集设备相通信,所述方法包括:利用所述声音采集设备获取目标声音信号;提取所述目标声音信号的特征;将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;根据所述音频类型发出警示信息。本发明还提供一种声音监控装置。本发明能识别声音的音频类型,实现对目标事件的有效预警和预防。
Description
技术领域
本发明涉及监控技术领域,尤其涉及一种声音监控方法及装置。
背景技术
现有技术中的声音监控系统在判断某位置持续出现较大声响时,所述声音监控系统向中央服务器传送警示信息,以便采取相应措施。但所述声音监控系统不能对声音的类型进行甄别,且所述声音监控系统不能与手机等移动终端连接,移动性弱。
如何设计一种能实时分析,检测与人类情感,健康,安全等行为等相关的音频类型,实现对目标事件的有效预警和预防的智能系统是急需解决的问题。
发明内容
鉴于以上内容,有必要提供一种声音监控方法及装置,本发明能识别声音的音频类型,实现对目标事件的有效预警和预防。
一种声音监控方法,应用于监控设备中,所述监控设备与声音采集设备相通信,所述方法包括:
利用所述声音采集设备获取目标声音信号;
提取所述目标声音信号的特征;
将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;
根据所述音频类型发出警示信息。
根据本发明优选实施例,所述将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型包括:
在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,将所述声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
根据本发明优选实施例,所述方法还包括:
在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,将所述目标声音信号发送给与所述监控设备相通信的移动终端,以使所述移动终端的用户确认是否发出所述警示信息。
根据本发明优选实施例,所述根据所述音频类型发出警示信息包括:
直接启动与所述监控设备相通信的报警装置;或
将所述警示信息发送给与所述监控设备相通信的移动终端,当接收到所述移动终端的用户发送的报警指令时,将所述报警指令发送给所述报警装置以启动所述报警装置。
根据本发明优选实施例,所述警示信息包括以下一种或者多种:所述目标声音信号、所述目标声音信号的发生区域、所述目标声音信号的发生时间段、在所述发生时间段内所述目标声音信号对应的视频。
一种声音监控装置,运行于监控设备中,所述监控设备与声音采集设备相通信,所述装置包括:
获取模块,用于利用所述声音采集设备获取目标声音信号;
提取模块,用于提取所述目标声音信号的特征;
确定模块,用于将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;
报警模块,用于根据所述音频类型发出警示信息。
根据本发明优选实施例,所述确定模块用于将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型包括:
在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,将所述目标声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
根据本发明优选实施例,所述装置还包括:
发送模块,用于在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,将所述目标声音信号发送给与所述监控设备相通信的移动终端,以使所述移动终端的用户确认是否发出所述警示信息。
根据本发明优选实施例,所述报警模块用于根据所述音频类型发出警示信息包括:
直接启动与所述监控设备相通信的报警装置;或
将所述警示信息发送给与所述监控设备相通信的移动终端,当接收到所述移动终端的用户发送的报警指令时,将所述报警指令发送给所述报警装置以启动所述报警装置。
根据本发明优选实施例,所述警示信息包括以下一种或者多种:所述目标声音信号、所述目标声音信号的发生区域、所述目标声音信号的发生时间段、在所述发生时间段内所述目标声音信号对应的视频。
由以上技术方案可以看出,本发明利用所述声音采集设备获取目标声音信号;提取所述目标声音信号的特征;将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;根据所述音频类型发出警示信息。本发明还提供一种声音监控装置。本发明能识别声音的音频类型,实现对目标事件的有效预警和预防。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明实现声音监控方法的应用环境图。
图2是本发明声音监控方法的第一较佳实施例的流程图。
图3是本发明声音监控方法的第二较佳实施例的流程图。
图4是本发明声音监控装置的第一较佳实施例的功能模块图。
图5是本发明声音监控装置的第二较佳实施例的功能模块图。
图6是本发明实现声音监控方法的较佳实施例的监控设备的结构示意图。
主要元件符号说明
移动终端 | 1 |
监控设备 | 2 |
声音采集设备 | 3 |
声音监控装置 | 11 |
存储器 | 12 |
处理器 | 13 |
获取模块 | 100 |
提取模块 | 101 |
确定模块 | 102 |
采样模块 | 103 |
发送模块 | 104 |
报警模块 | 105 |
判断模块 | 106 |
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,图1是本发明实现声音监控方法的应用环境图。所述应用环境图包括多个移动终端1、监控设备2及多个声音采集设备3。
优选地,本发明的声音监控方法可以应用在一个或者多个所述监控设备2中。所述监控设备2是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程门阵列(Field-Programmable Gat.e Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述移动终端1包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、交互式网络电视(Internet ProtocolTelevision,IPTV)、智能式穿戴式设备等。
所述监控设备2还包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。
所述声音采集设备3是可以采集声音的设备。在其他实施例中,所述声音采集设备3还可以采集图像等等。例如,所述声音采集设备3是带有声音采集功能的摄像头等等。
其中,所述移动终端1、所述监控设备2及所述声音采集设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
所述监控设备2与所述声音采集设备3及所述监控设备2的通信可以通过无线通讯模块及/或有线通讯模块实现,例如,蓝牙模块、Wi-Fi模块,WiMax(WorldInteroperability for Microwave Access,即全球微波接入互操作性)模块,GSM(GlobalSystem for Mobile Communication,全球移动通信系统)模块等等。
如图2所示,是本发明声音监控方法的第一较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
S10,所述监控设备2利用所述声音采集设备3获取目标声音信号。
在至少一个实施例中,每个声音采集设备3对应一个区域,每个声音采集设备3采集其所对应的区域的声音,并将所采集的声音传送给所述监控设备2。每个声音采集设备3对应一个标识,所述标识可以是名称、编号等等。当每个声音采集设备3发送所采集的声音给所述监控设备2时,发送每个声音采集设备3对应一个标识以让所述监控设备2确定所采集的声音的区域。
在至少一个实施例中,所述监控设备2计算所接收的声音信号的分贝值,当所接收的声音信号的分贝值大于或者等于阈值值,将所接收的声音信号确定为所述目标声音信号。在其他实施例中,所述监控设备2直接将所接收的声音信号确定为所述目标声音信号。
S11,所述监控设备2提取所述目标声音信号的特征。
在至少一个实施例中,所述监控设备2利用特征提取技术提取所述目标声音信号的特征。所述目标声音信号的特征包括,但不限于:音调特征、响度特征、音色特征、所述目标声音信号包含的关键词等等。所述特征提取技术包括主成分分析法、二维模式特征提取法等等。所述特征提取技术是现有技术,本发明不再详述。
S12,所述监控设备2将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型。
在至少一个实施例中,所述预先存储的声音信号的特征存储在所述监控设备2的存储器中。在其他实施例中,所述预先存储的声音信号的特征也可以存储在与所述监控设备2相通讯的网络服务器中,这样可以减轻所述监控设备2的存储器的存储压力。
在至少一个实施例中,所述监控设备2采集多个不同类型的样本数据,利用机器学习算法对所述样本数据进行训练得到所述预先存储的声音信号的特征。所述不同类型的样本数据包括呼救声音、起火声音、玻璃破碎声音、呻吟声音、哭闹声音等等。每一种预先存储的声音信号对应一种音频类型。
在至少一个实施例中,在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,所述监控设备2将所述目标声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,所述监控设备2将所述目标声音信号发送给所述移动终端1。所述监控设备2还可以将所述目标声音信号的发生区域、所述目标声音信号的发生时间段等信息发送给所述移动终端1。
优选地,当所述发生区域的声音采集设备3可以采集所述发生区域的视频时,所述监控设备2将在所述发生时间段内,所述发生区域对应的视频发送给所述移动终端1。因此,所述监控设备2还可以将在所述发生时间段内所述目标声音信号对应的视频发送给所述移动终端1。
S13,所述监控设备2根据所述音频类型发出警示信息。
在至少一个实施例中,所述警示信息包括以下一种或者多种:所述目标声音信号、所述目标声音信号的发生区域、所述目标声音信号的发生时间段、在所述发生时间段内所述目标声音信号对应的视频等等。
在至少一个实施例中,每一种音频类型对应至少一种报警方式。例如,所述监控设备2将所述警示信息发送给所述移动终端1。在其他实施例中,所述监控设备2还与多个报警装置相通信,所述报警装置包括报警器、扩音器等等。当所述监控设备2直接发送启动指令给所述报警装置后,所述报警装置根据所述启动指令启动所述扩音器播放语音及/或启动所述报警器报警。
例如,所述监控设备2用于监控一个商场的环境。当所述商场一楼的店铺起火时,并有人呼叫起火时,所述监控设备2接收到起火区域内的声音采集设备3采集的目标声音信号时,所述监控设备2对所述目标声音信号进行分析,确定所述目标声音信号对应的音频类型为起火类型,起火类型对应的报警方式为直接触发所述报警装置报警。
如图3所示,是本发明声音监控方法的第二较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
S20,所述监控设备2利用所述声音采集设备3获取目标声音信号。
在至少一个实施例中,每个声音采集设备3对应一个区域,每个声音采集设备3采集其所对应的区域的声音,并将所采集的声音传送给所述监控设备2。每个声音采集设备3对应一个标识,所述标识可以是名称、编号等等。当每个声音采集设备3发送所采集的声音给所述监控设备2时,发送每个声音采集设备3对应一个标识以让所述监控设备2确定所采集的声音的区域。
在至少一个实施例中,所述监控设备2计算所接收的声音信号的分贝值,当所接收的声音信号的分贝值大于或者等于阈值值,将所接收的声音信号确定为所述目标声音信号。在其他实施例中,所述监控设备2直接将所接收的声音信号确定为所述目标声音信号。
S21,所述监控设备2提取所述目标声音信号的特征。
在至少一个实施例中,所述监控设备2利用特征提取技术提取所述目标声音信号的特征。所述目标声音信号的特征包括,但不限于:音调特征、响度特征、音色特征、所述目标声音信号包含的关键词等等。所述特征提取技术包括主成分分析法、二维模式特征提取法等等。所述特征提取技术是现有技术,本发明不再详述。
S22,所述监控设备2将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型。
在至少一个实施例中,所述预先存储的声音信号的特征存储在所述监控设备2的存储器中。在其他实施例中,所述预先存储的声音信号的特征也可以存储在与所述监控设备2相通讯的网络服务器中,这样可以减轻所述监控设备2的存储器的存储压力。
在至少一个实施例中,所述监控设备2采集多个不同类型的样本数据,利用机器学习算法对所述样本数据进行训练得到所述预先存储的声音信号的特征。所述不同类型的样本数据包括呼救声音、起火声音、玻璃破碎声音、呻吟声音、哭闹声音等等。每一种预先存储的声音信号对应一种音频类型。
在至少一个实施例中,在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,所述监控设备2将所述目标声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,所述监控设备2将所述目标声音信号发送给所述移动终端1。所述监控设备2还可以将所述目标声音信号的发生区域、所述目标声音信号的发生时间段等信息发送给所述移动终端1。
优选地,当所述发生区域的声音采集设备3可以采集所述发生区域的视频时,所述监控设备2将在所述发生时间段内,所述发生区域对应的视频发送给所述移动终端1。因此,所述监控设备2还可以将在所述发生时间段内所述目标声音信号对应的视频发送给所述移动终端1。
S23,所述监控设备2判断所述音频类型是否属于紧急事件类型。
在至少一个实施例中,所述监控设备2将存储器中存储的所有音频类型分类成紧急事件类型及非紧急事件类型。在其他实施例中,也可以根据紧急程度将所有音频类型分类成不同的等级。
当所述音频类型属于紧急事件类型时,执行S24。当所述音频类型属于非紧急事件类型时,执行S25。
S24,当所述音频类型属于紧急事件类型时,所述监控设备2直接向报警装置发送所述警示信息以使所述报警装置报警。
在至少一个实施例中,所述报警装置包括报警器、扩音器等等。当所述监控设备2直接发送启动指令给所述报警装置后,所述报警装置根据所述启动指令启动所述扩音器播放语音及/或启动所述报警器报警。
S25,当所述音频类型属于非紧急事件类型时,所述监控设备2根据所述音频类型将所述警示信息发送给所述移动终端1。
S26,所述监控设备2判断是否启动报警装置。
当所述监控设备2接收到所述移动终端1的用户发送的报警指令时,执行S27。当所述监控设备2没有接收到所述移动终端1的用户发送的报警指令时,返回S26。
S27,当所述监控设备2接收到报警指令时,所述监控设备2将所述报警指令发送给所述报警装置以启动所述报警装置。
例如,所述监控设备2用于监控一个商场的环境。当所述商场一楼的玻璃破碎时,所述监控设备2接收到所述玻璃对应的区域内的声音采集设备3采集的目标声音信号时,所述监控设备2对所述目标声音信号进行分析,确定所述目标声音信号对应的音频类型为玻璃破碎类型,所述玻璃破碎类型属于非紧急事件,所述监控设备2向所述移动终端1发送玻璃破碎的警示信息。所述移动终端1的用户根据所述警示信息采取预防措施,例如,竖立警告牌,请行人绕行等等。
本发明能利用所述声音采集设备获取目标声音信号;提取所述目标声音信号的特征;将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;根据所述音频类型发出警示信息。因此,本发明能实时监控目标场景中的声音,并根据分析所述声音对应的音频类型,根据不同的音频类型采用不同的预防措施,提高了监控安全。
如图4所示,本发明声音监控装置的第一较佳实施例的功能模块图。所述声音监控装置11包括获取模块100、提取模块101、确定模块102、采样模块103、发送模块104及报警模块105。本发明所称的模块是指一种能够被处理器13所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器12中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
所述获取模块100利用所述声音采集设备3获取目标声音信号。
在至少一个实施例中,每个声音采集设备3对应一个区域,每个声音采集设备3采集其所对应的区域的声音,并将所采集的声音传送给所述监控设备2。每个声音采集设备3对应一个标识,所述标识可以是名称、编号等等。当每个声音采集设备3发送所采集的声音给所述监控设备2时,发送每个声音采集设备3对应一个标识以让所述监控设备2确定所采集的声音的区域。
在至少一个实施例中,所述获取模块100计算所接收的声音信号的分贝值,当所接收的声音信号的分贝值大于或者等于阈值值,将所接收的声音信号确定为所述目标声音信号。在其他实施例中,所述获取模块100直接将所接收的声音信号确定为所述目标声音信号。
所述提取模块101提取所述目标声音信号的特征。
在至少一个实施例中,所述提取模块101利用特征提取技术提取所述目标声音信号的特征。所述目标声音信号的特征包括,但不限于:音调特征、响度特征、音色特征、所述目标声音信号包含的关键词等等。所述特征提取技术包括主成分分析法、二维模式特征提取法等等。所述特征提取技术是现有技术,本发明不再详述。
所述确定模块102将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型。
在至少一个实施例中,所述预先存储的声音信号的特征存储在所述监控设备2的存储器中。在其他实施例中,所述预先存储的声音信号的特征也可以存储在与所述监控设备2相通讯的网络服务器中,这样可以减轻所述监控设备2的存储器的存储压力。
在至少一个实施例中,所述采样模块103采集多个不同类型的样本数据,利用机器学习算法对所述样本数据进行训练得到所述预先存储的声音信号的特征。所述不同类型的样本数据包括呼救声音、起火声音、玻璃破碎声音、呻吟声音、哭闹声音等等。每一种预先存储的声音信号对应一种音频类型。
在至少一个实施例中,在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,所述确定模块102将所述目标声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,所述发送模块104将所述目标声音信号发送给所述移动终端1。所述发送模块104还可以将所述目标声音信号的发生区域、所述目标声音信号的发生时间段等信息发送给所述移动终端1。
优选地,当所述发生区域的声音采集设备3可以采集所述发生区域的视频时,所述发送模块104将在所述发生时间段内,所述发生区域对应的视频发送给所述移动终端1。因此,所述发送模块104还可以将在所述发生时间段内所述目标声音信号对应的视频发送给所述移动终端1。
所述报警模块105根据所述音频类型发出警示信息。
在至少一个实施例中,所述警示信息包括以下一种或者多种:所述目标声音信号、所述目标声音信号的发生区域、所述目标声音信号的发生时间段、在所述发生时间段内所述目标声音信号对应的视频等等。所述发生时间段为所述目标声音信号的发生时间段。所述发生区域为所述目标声音信号的发生区域。
在至少一个实施例中,每一种音频类型对应至少一种报警方式。例如,所述报警模块105将所述警示信息发送给所述移动终端1。在其他实施例中,所述监控设备2还与多个报警装置相通信,所述报警装置包括报警器、扩音器等等。当所述报警模块105直接发送启动指令给所述报警装置后,所述报警装置根据所述启动指令启动所述扩音器播放语音及/或启动所述报警器报警。
例如,所述监控设备2用于监控一个商场的环境。当所述商场一楼的店铺起火时,并有人呼叫起火时,所述监控设备2接收到起火区域内的声音采集设备3采集的目标声音信号时,所述监控设备2对所述目标声音信号进行分析,确定所述目标声音信号对应的音频类型为起火类型,起火类型对应的报警方式为直接触发所述报警装置报警。
如图5所示,本发明声音监控装置的第二较佳实施例的功能模块图。本发明第二较佳实施例中,除了所述获取模块100、所述提取模块101、所述确定模块102、采样模块103、发送模块104及报警模块105。所述声音监控装置11中的功能模块至少可以包括判断模块106。本发明所称的模块是指一种能够被处理器13所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器12中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
所述获取模块100利用所述声音采集设备3获取目标声音信号。
在至少一个实施例中,每个声音采集设备3对应一个区域,每个声音采集设备3采集其所对应的区域的声音,并将所采集的声音传送给所述监控设备2。每个声音采集设备3对应一个标识,所述标识可以是名称、编号等等。当每个声音采集设备3发送所采集的声音给所述监控设备2时,发送每个声音采集设备3对应一个标识以让所述监控设备2确定所采集的声音的区域。
在至少一个实施例中,所述获取模块100计算所接收的声音信号的分贝值,当所接收的声音信号的分贝值大于或者等于阈值值,所述获取模块100将所接收的声音信号确定为所述目标声音信号。在其他实施例中,所述获取模块100直接将所接收的声音信号确定为所述目标声音信号。
所述提取模块101提取所述目标声音信号的特征。
在至少一个实施例中,所述提取模块101利用特征提取技术提取所述目标声音信号的特征。所述目标声音信号的特征包括,但不限于:音调特征、响度特征、音色特征、所述目标声音信号包含的关键词等等。所述特征提取技术包括主成分分析法、二维模式特征提取法等等。所述特征提取技术是现有技术,本发明不再详述。
所述确定模块102将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型。
在至少一个实施例中,所述预先存储的声音信号的特征存储在所述监控设备2的存储器中。在其他实施例中,所述预先存储的声音信号的特征也可以存储在与所述监控设备2相通讯的网络服务器中,这样可以减轻所述监控设备2的存储器的存储压力。
在至少一个实施例中,所述采样模块103采集多个不同类型的样本数据,利用机器学习算法对所述样本数据进行训练得到所述预先存储的声音信号的特征。所述不同类型的样本数据包括呼救声音、起火声音、玻璃破碎声音、呻吟声音、哭闹声音等等。每一种预先存储的声音信号对应一种音频类型。
在至少一个实施例中,在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,所述确定模块102将所述目标声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,所述发送模块104将所述目标声音信号发送给所述移动终端1。所述发送模块104还可以将所述目标声音信号的发生区域、所述目标声音信号的发生时间段等信息发送给所述移动终端1。
优选地,当所述发生区域的声音采集设备3可以采集所述发生区域的视频时,所述发送模块104将在所述发生时间段内,所述发生区域对应的视频发送给所述移动终端1。因此,所述发送模块104还可以将在所述发生时间段内所述目标声音信号对应的视频发送给所述移动终端1。
所述判断模块106判断所述音频类型是否属于紧急事件类型。
在至少一个实施例中,所述监控设备2将存储器中存储的所有音频类型分类成紧急事件类型及非紧急事件类型。在其他实施例中,也可以根据紧急程度将所有音频类型分类成不同的等级。
当所述音频类型属于紧急事件类型时,所述报警模块105直接向报警装置发送所述警示信息以使所述报警装置报警。
在至少一个实施例中,所述报警装置包括报警器、扩音器等等。当所述监控设备2直接发送启动指令给所述报警装置后,所述报警装置根据所述启动指令启动所述扩音器播放语音及/或启动所述报警器报警。
当所述音频类型属于非紧急事件类型时,所述发送模块104根据所述音频类型将所述警示信息发送给所述移动终端1。
所述判断模块106判断是否启动报警装置。
当所述判断模块106没有接收到所述移动终端1的用户发送的报警指令时,所述判断模块106继续判断是否启动报警装置。
当所述判断模块106接收到所述移动终端1的用户发送的报警指令时,所述发送模块104将所述报警指令发送给所述报警装置以启动所述报警装置。
例如,所述监控设备2用于监控一个商场的环境。当所述商场一楼的玻璃破碎时,所述监控设备2接收到所述玻璃对应的区域内的声音采集设备3采集的目标声音信号时,所述监控设备2对所述目标声音信号进行分析,确定所述目标声音信号对应的音频类型为玻璃破碎类型,所述玻璃破碎类型属于非紧急事件,所述监控设备2向所述移动终端1发送玻璃破碎的警示信息。所述移动终端1的用户根据所述警示信息采取预防措施,例如,竖立警告牌,请行人绕行等等。
本发明能利用所述声音采集设备获取目标声音信号;提取所述目标声音信号的特征;将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;根据所述音频类型发出警示信息。因此,本发明能实时监控目标场景中的声音,并根据分析所述声音对应的音频类型,根据不同的音频类型采用不同的预防措施,提高了监控安全。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。
如图6所示,图6是本发明实现声音监控方法的较佳实施例的电子设备的结构示意图。所述监控设备2包括存储器12及处理器13。
所述监控设备2还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(InternetProtocol Television,IPTV)、智能式穿戴式设备等。所述监控设备2所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
所述存储器12用于存储一种声音监控方法的程序和各种数据,并在所述监控设备2运行过程中实现高速、自动地完成程序或数据的存取。所述存储器12可以是监控设备2的外部存储器和/或内部存储器。进一步地,所述存储器12可以是集成电路中没有实物形式的具有存储功能的电路,如RAM(Random-Access Memory,随机存取存储器)、FIFO(First InFirst Out,)等。或者,所述存储器12也可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述处理器13又称中央处理器(CPU,Central Processing Unit),是一块超大规模的集成电路,是监控设备2的运算核心(Core)和控制核心(Control Unit)。所述处理器13可执行所述监控设备2的操作系统以及安装的各类应用程序、程序代码等,例如声音监控装置11。
结合图2及3,所述监控设备2中的所述存储器12存储多个指令以实现一种声音监控方法,所述处理器13可执行所述多个指令从而实现:利用所述声音采集设备获取目标声音信号;提取所述目标声音信号的特征;将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;根据所述音频类型发出警示信息。
根据本发明优选实施例,所述将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型包括:
在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,将所述目标声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
根据本发明优选实施例,所述处理器13执行的多个指令还包括:
在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,将所述目标声音信号发送给与所述监控设备相通信的移动终端,以使所述移动终端的用户确认是否发出所述警示信息。
根据本发明优选实施例,所述根据所述音频类型发出警示信息包括:
直接启动与所述监控设备相通信的报警装置;或
将所述警示信息发送给与所述监控设备相通信的移动终端,当接收到所述移动终端的用户发送的报警指令时,将所述报警指令发送给所述报警装置以启动所述报警装置。
根据本发明优选实施例,所述警示信息包括以下一种或者多种:所述目标声音信号、所述目标声音信号的发生区域、所述目标声音信号的发生时间段、在所述发生时间段内所述目标声音信号对应的视频。
具体地,所述处理器13对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述,具体地,所述处理器13对上述指令的具体实现方法可参考图3对应实施例中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种声音监控方法,应用于监控设备中,所述监控设备与声音采集设备相通信,其特征在于,所述方法包括:
利用所述声音采集设备获取目标声音信号;
提取所述目标声音信号的特征;
将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;
根据所述音频类型发出警示信息。
2.如权利要求1所述的声音监控方法,其特征在于,所述将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型包括:
在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,将所述声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
3.如权利要求2所述的声音监控方法,其特征在于,所述方法还包括:
在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,将所述目标声音信号发送给与所述监控设备相通信的移动终端,以使所述移动终端的用户确认是否发出所述警示信息。
4.如权利要求1所述的声音监控方法,其特征在于,所述根据所述音频类型发出警示信息包括:
直接启动与所述监控设备相通信的报警装置;或
将所述警示信息发送给与所述监控设备相通信的移动终端,当接收到所述移动终端的用户发送的报警指令时,将所述报警指令发送给所述报警装置以启动所述报警装置。
5.如权利要求1至4中任一项所述的声音监控方法,其特征在于,所述警示信息包括以下一种或者多种:所述目标声音信号、所述目标声音信号的发生区域、所述目标声音信号的发生时间段、在所述发生时间段内所述目标声音信号对应的视频。
6.一种声音监控装置,运行于监控设备中,所述监控设备与声音采集设备相通信,其特征在于,所述装置包括:
获取模块,用于利用所述声音采集设备获取目标声音信号;
提取模块,用于提取所述目标声音信号的特征;
确定模块,用于将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型;
报警模块,用于根据所述音频类型发出警示信息。
7.如权利要求6所述的声音监控装置,其特征在于,所述确定模块用于将所述目标声音信号的特征与预先存储的声音信号的特征进行匹配,确定所述目标声音信号的特征对应的音频类型包括:
在所述预先存储的声音信号中,当有一个声音信号的特征与所述目标声音信号的特征的相似度大于或者等于预设相似度值时,将所述声音信号对应的音频类型确定为所述目标声音信号对应的音频类型。
8.如权利要求7所述的声音监控装置,其特征在于,所述装置还包括:
发送模块,用于在所述预先存储的声音信号中,当所有声音信号的特征与所述目标声音信号的特征的相似度都小于预设相似度值时,将所述目标声音信号发送给与所述监控设备相通信的移动终端,以使所述移动终端的用户确认是否发出所述警示信息。
9.如权利要求6所述的声音监控装置,其特征在于,所述报警模块用于根据所述音频类型发出警示信息包括:
直接启动与所述监控设备相通信的报警装置;或
将所述警示信息发送给与所述监控设备相通信的移动终端,当接收到所述移动终端的用户发送的报警指令时,将所述报警指令发送给所述报警装置以启动所述报警装置。
10.如权利要求6至9中任一项所述的声音监控装置,其特征在于,所述警示信息包括以下一种或者多种:所述目标声音信号、所述目标声音信号的发生区域、所述目标声音信号的发生时间段、在所述发生时间段内所述目标声音信号对应的视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059225.8A CN106683361A (zh) | 2017-01-24 | 2017-01-24 | 声音监控方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059225.8A CN106683361A (zh) | 2017-01-24 | 2017-01-24 | 声音监控方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106683361A true CN106683361A (zh) | 2017-05-17 |
Family
ID=58859961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710059225.8A Pending CN106683361A (zh) | 2017-01-24 | 2017-01-24 | 声音监控方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106683361A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108012123A (zh) * | 2017-12-22 | 2018-05-08 | 蒙城县望槐信息科技有限责任公司 | 一种基于声源位置的视频采集方法 |
CN108012086A (zh) * | 2017-12-22 | 2018-05-08 | 蒙城县望槐信息科技有限责任公司 | 一种基于物联网的摄像头控制系统 |
CN108597164A (zh) * | 2018-04-28 | 2018-09-28 | 上海与德科技有限公司 | 一种防盗方法、装置、终端及计算机可读介质 |
CN109036461A (zh) * | 2017-06-12 | 2018-12-18 | 杭州海康威视数字技术股份有限公司 | 一种通知信息的输出方法、服务器及监控系统 |
CN109087666A (zh) * | 2018-07-31 | 2018-12-25 | 厦门快商通信息技术有限公司 | 监狱打架的识别装置及方法 |
CN109697989A (zh) * | 2018-12-26 | 2019-04-30 | 深圳创维数字技术有限公司 | 音频数据处理方法、服务器及可读存储介质 |
CN109785581A (zh) * | 2019-02-26 | 2019-05-21 | 珠海格力电器股份有限公司 | 一种监控方法、装置、存储介质及设备 |
CN110170170A (zh) * | 2019-05-30 | 2019-08-27 | 维沃移动通信有限公司 | 一种信息显示方法及终端设备 |
CN110489076A (zh) * | 2019-08-22 | 2019-11-22 | 百度在线网络技术(北京)有限公司 | 环境声音监控方法、装置以及电子设备 |
CN110532888A (zh) * | 2019-08-01 | 2019-12-03 | 悉地国际设计顾问(深圳)有限公司 | 一种监控方法、装置及系统 |
CN110875042A (zh) * | 2018-08-14 | 2020-03-10 | 杭州海康威视数字技术股份有限公司 | 指定人群监控方法、装置和存储介质 |
CN111179546A (zh) * | 2019-12-26 | 2020-05-19 | 数海信息技术有限公司 | 一种自适应分布式音频报警方法及系统 |
CN111243623A (zh) * | 2019-12-26 | 2020-06-05 | 数海信息技术有限公司 | 一种渐进音频报警方法、装置及系统 |
CN111275909A (zh) * | 2018-12-04 | 2020-06-12 | 阿里巴巴集团控股有限公司 | 一种安防预警方法及装置 |
CN111354144A (zh) * | 2018-12-24 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 安防预警系统、方法、设备及存储介质 |
CN113947855A (zh) * | 2021-09-18 | 2022-01-18 | 中标慧安信息技术股份有限公司 | 一种基于语音识别的智能楼宇人员安全报警系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339329A (ja) * | 1999-05-27 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像監視警報方法及び装置及び画像監視警報プログラムを格納した記憶媒体 |
US20120002047A1 (en) * | 2010-07-01 | 2012-01-05 | Kwang Ho An | Monitoring camera and method of tracing sound source |
CN202221609U (zh) * | 2011-08-02 | 2012-05-16 | 杭州威威网络科技有限公司 | 基于音频识别的联网报警装置 |
JP2012156876A (ja) * | 2011-01-27 | 2012-08-16 | Sanyo Electric Co Ltd | 警報報知機能を有する通信機器 |
CN104240438A (zh) * | 2014-09-01 | 2014-12-24 | 百度在线网络技术(北京)有限公司 | 通过移动终端自动报警的方法、装置及移动终端 |
CN104954543A (zh) * | 2014-03-31 | 2015-09-30 | 小米科技有限责任公司 | 自动报警方法、装置及移动终端 |
-
2017
- 2017-01-24 CN CN201710059225.8A patent/CN106683361A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339329A (ja) * | 1999-05-27 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像監視警報方法及び装置及び画像監視警報プログラムを格納した記憶媒体 |
US20120002047A1 (en) * | 2010-07-01 | 2012-01-05 | Kwang Ho An | Monitoring camera and method of tracing sound source |
JP2012156876A (ja) * | 2011-01-27 | 2012-08-16 | Sanyo Electric Co Ltd | 警報報知機能を有する通信機器 |
CN202221609U (zh) * | 2011-08-02 | 2012-05-16 | 杭州威威网络科技有限公司 | 基于音频识别的联网报警装置 |
CN104954543A (zh) * | 2014-03-31 | 2015-09-30 | 小米科技有限责任公司 | 自动报警方法、装置及移动终端 |
CN104240438A (zh) * | 2014-09-01 | 2014-12-24 | 百度在线网络技术(北京)有限公司 | 通过移动终端自动报警的方法、装置及移动终端 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109036461A (zh) * | 2017-06-12 | 2018-12-18 | 杭州海康威视数字技术股份有限公司 | 一种通知信息的输出方法、服务器及监控系统 |
CN108012086A (zh) * | 2017-12-22 | 2018-05-08 | 蒙城县望槐信息科技有限责任公司 | 一种基于物联网的摄像头控制系统 |
CN108012123A (zh) * | 2017-12-22 | 2018-05-08 | 蒙城县望槐信息科技有限责任公司 | 一种基于声源位置的视频采集方法 |
CN108597164A (zh) * | 2018-04-28 | 2018-09-28 | 上海与德科技有限公司 | 一种防盗方法、装置、终端及计算机可读介质 |
CN109087666A (zh) * | 2018-07-31 | 2018-12-25 | 厦门快商通信息技术有限公司 | 监狱打架的识别装置及方法 |
CN110875042A (zh) * | 2018-08-14 | 2020-03-10 | 杭州海康威视数字技术股份有限公司 | 指定人群监控方法、装置和存储介质 |
CN110875042B (zh) * | 2018-08-14 | 2022-08-16 | 杭州海康威视数字技术股份有限公司 | 指定人群监控方法、装置和存储介质 |
CN111275909B (zh) * | 2018-12-04 | 2021-12-28 | 阿里巴巴集团控股有限公司 | 一种安防预警方法及装置 |
CN111275909A (zh) * | 2018-12-04 | 2020-06-12 | 阿里巴巴集团控股有限公司 | 一种安防预警方法及装置 |
CN111354144A (zh) * | 2018-12-24 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 安防预警系统、方法、设备及存储介质 |
CN109697989A (zh) * | 2018-12-26 | 2019-04-30 | 深圳创维数字技术有限公司 | 音频数据处理方法、服务器及可读存储介质 |
CN109697989B (zh) * | 2018-12-26 | 2021-03-16 | 深圳创维数字技术有限公司 | 音频数据处理方法、服务器及可读存储介质 |
CN109785581A (zh) * | 2019-02-26 | 2019-05-21 | 珠海格力电器股份有限公司 | 一种监控方法、装置、存储介质及设备 |
CN110170170A (zh) * | 2019-05-30 | 2019-08-27 | 维沃移动通信有限公司 | 一种信息显示方法及终端设备 |
CN110532888A (zh) * | 2019-08-01 | 2019-12-03 | 悉地国际设计顾问(深圳)有限公司 | 一种监控方法、装置及系统 |
CN110489076A (zh) * | 2019-08-22 | 2019-11-22 | 百度在线网络技术(北京)有限公司 | 环境声音监控方法、装置以及电子设备 |
CN110489076B (zh) * | 2019-08-22 | 2024-03-01 | 百度在线网络技术(北京)有限公司 | 环境声音监控方法、装置以及电子设备 |
CN111179546A (zh) * | 2019-12-26 | 2020-05-19 | 数海信息技术有限公司 | 一种自适应分布式音频报警方法及系统 |
CN111243623A (zh) * | 2019-12-26 | 2020-06-05 | 数海信息技术有限公司 | 一种渐进音频报警方法、装置及系统 |
CN111179546B (zh) * | 2019-12-26 | 2021-12-28 | 数海信息技术有限公司 | 一种自适应分布式音频报警方法及系统 |
CN113947855A (zh) * | 2021-09-18 | 2022-01-18 | 中标慧安信息技术股份有限公司 | 一种基于语音识别的智能楼宇人员安全报警系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106683361A (zh) | 声音监控方法及装置 | |
CN104750768B (zh) | 用于从社交媒体中识别、监控和排名事件的方法和系统 | |
CN110445807A (zh) | 网络安全态势感知系统及方法 | |
CN106685990A (zh) | 一种基于工业互联网操作系统的安全性检测方法及装置 | |
KR102547441B1 (ko) | 차량 간 메시지 전송 장치 및 방법 | |
CN103093279A (zh) | 紧急应变指挥系统及方法 | |
CN105354956B (zh) | 基于数据挖掘和大数据分析的云计算平台及方法 | |
CN104820834A (zh) | 一种斗殴预警方法及装置 | |
US20210390321A1 (en) | Method, apparatus, and device for testing traffic flow monitoring system | |
US20190066479A1 (en) | Method and system for monitoring and predicting gas leak | |
CN109451385A (zh) | 一种基于使用耳机时的提醒方法以及装置 | |
CN112463422A (zh) | 物联网故障运维方法、装置、计算机设备及存储介质 | |
CN104408892A (zh) | 安防系统及应急系统及发送装置及接收装置及方法 | |
CN112530021A (zh) | 用于处理数据的方法、装置、设备以及存储介质 | |
CN110650243B (zh) | 一种报警方法、装置、存储介质以及终端 | |
US20210398419A1 (en) | Method, apparatus, and device for testing traffic flow monitoring system | |
CN113805827B (zh) | 一种投屏展示方法、装置、电子设备及存储介质 | |
CN108711256A (zh) | 一种节能多渠道人身安全智能分析报警方法及系统 | |
CN110493044B (zh) | 一种可量化的态势感知的方法和系统 | |
CN108694808A (zh) | 一种多渠道出租车司机人身安全智能分析报警方法及系统 | |
CN106791226A (zh) | 通话故障检测方法及系统 | |
KR102242317B1 (ko) | 정성적 가짜 뉴스 판단 시스템, 판단 방법 및 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
CN104539794A (zh) | 一种终端 | |
CN111160738A (zh) | 事件处理方法、装置、存储介质及电子装置 | |
CN114419551A (zh) | 通道监控方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |