CN109993977A - 检测车辆鸣笛的方法、装置以及系统 - Google Patents
检测车辆鸣笛的方法、装置以及系统 Download PDFInfo
- Publication number
- CN109993977A CN109993977A CN201711478558.0A CN201711478558A CN109993977A CN 109993977 A CN109993977 A CN 109993977A CN 201711478558 A CN201711478558 A CN 201711478558A CN 109993977 A CN109993977 A CN 109993977A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- whistle
- microphone
- region
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 34
- 230000005236 sound signal Effects 0.000 claims description 72
- 238000001228 spectrum Methods 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 21
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000004807 localization Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 abstract description 5
- 238000012806 monitoring device Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 9
- 238000007664 blowing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明是关于检测车辆鸣笛的方法、装置以及系统，属于安防监控领域。本发明提供了一种对汽车鸣笛声进行检测并定位相应车辆的方案，通过在禁止鸣笛区域安装一定数量的麦克风，一旦有车辆进行违规鸣笛，即可检测出车辆的大致区域，然后再借助摄像头拍摄的监控图像对鸣笛动作识别进行二次确认，防止误报，大大提高检测精度。
Description
技术领域
本发明涉及安防监控领域，特别涉及一种检测车辆鸣笛的方法、装置以及系统。
背景技术
随着车辆数量的急剧增加，车辆拥堵现象越来越明显。因此，司机在驾驶过程中通常会进行鸣笛，以达到提醒前车、催促行驶等目的。然而，为了维护正常的生活秩序，在道路上经常会设置一些禁止鸣笛的区域，这些区域往往是生活区或学校区，如果发生违规鸣笛，则会对造成巨大的影响，因此，亟需一种检测车辆鸣笛的方法，来有效的监管违规鸣笛的行为。
发明内容
为克服相关技术中存在的问题，本发明提供一种检测车辆鸣笛的方法、装置以及系统。
一方面，提供了一种检测车辆鸣笛的方法，所述方法应用于计算机设备上，所述方法包括:
通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆；所述第一麦克风沿被控区域内的车道设置，所述第二麦克风沿所述被控区域内与所述车道垂直方向上设置；
根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域；
对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位鸣笛车辆。
在一种可能实现方式中，所述通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆包括：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
确定目标声音信号，所述目标声音信号是所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量最大的信号；
当所述目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定所述被控区域内存在鸣笛车辆。
在一种可能实现方式中，所述通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆包括：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
判断所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量超过预设阈值的声音信号数量是否达到预设数量；
如果达到所述预设数量，则确定所述被控区域内存在鸣笛车辆。
在一种可能实现方式中，当所述目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定所述被控区域内存在鸣笛车辆包括：
将所述目标声音信号变换到频域，得到所述目标声音信号的频谱；
将所述频谱分为两个频段，对所述两个频段基于第一预设频率和第二预设频率进行峰值搜索；
当所述频谱在所述第一预设频率和所述第二预设频率的预设范围内出现峰值，则确定所述被控区域内存在鸣笛车辆。
在一种可能实现方式中，所述根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域包括：
确定信号能量最大的第一声音信号以及信号能量最大的第二声音信号；
根据所述第一声音信号的来源麦克风和所述第二声音信号的来源麦克风的位置，确定所述鸣笛车辆所在的区域。
在一种可能实现方式中，根据所述第一声音信号的来源麦克风和所述第二声音信号的来源麦克风的位置，确定所述鸣笛车辆所在的区域包括：
根据所述第一声音信号的来源麦克风的位置，确定第一延长线；
根据所述第二声音信号的来源麦克风的位置，确定第二延长线；
确定所述第一延长线和所述第二延长线在所述被控区域中的交点；
将所述被控区域中所述交点所处的子区域作为所述鸣笛车辆所在的区域。
在一种可能实现方式中，所述对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位所述鸣笛车辆包括：
获取摄像头所拍摄的所述被控区域的监控图像；
在所述监控图像中，确定所述鸣笛车辆所在的区域对应的图像；
基于预设动作的动作特征对所述图像进行动作识别，当所述图像中的任一车辆的图像中包括所述动作特征时，将所述车辆确定为鸣笛车辆。
在一种可能实现方式中，在定位到鸣笛车辆之后，所述方法还包括：
在所述被控区域的监控图像上突出显示所述鸣笛车辆所在的区域；和/或，
对所述鸣笛车辆的车牌号码进行识别，输出识别到的所述车牌号码。
一方面，提供了一种检测车辆鸣笛的装置，所述装置包括:
车辆确定模块，用于通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆；所述第一麦克风沿被控区域内的车道设置，所述第二麦克风沿所述被控区域内与所述车道垂直方向上设置；
区域确定模块，用于根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域；
车辆定位模块，用于对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位鸣笛车辆。
在一种可能实现方式中，所述车辆确定模块用于：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
确定目标声音信号，所述目标声音信号是所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量最大的信号；
当所述目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定所述被控区域内存在鸣笛车辆。
在一种可能实现方式中，所述车辆确定模块用于：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
判断所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量超过预设阈值的声音信号数量是否达到预设数量；
如果达到所述预设数量，则确定所述被控区域内存在鸣笛车辆。
在一种可能实现方式中，所述区域确定模块包括：
声音信号确定单元，用于确定信号能量最大的第一声音信号以及信号能量最大的第二声音信号；
区域确定单元，用于根据所述第一声音信号的来源麦克风和所述第二声音信号的来源麦克风的位置，确定所述鸣笛车辆所在的区域。
在一种可能实现方式中，所述车辆定位模块用于：
获取摄像头所拍摄的所述被控区域的监控图像；
在所述监控图像中，确定所述鸣笛车辆所在的区域对应的图像；
基于预设动作的动作特征对所述图像进行动作识别，当所述图像中的任一车辆的图像中包括所述动作特征时，将所述车辆确定为鸣笛车辆。
在一种可能实现方式中，所述装置还包括：提醒模块，用于:
在所述被控区域的监控图像上突出显示所述鸣笛车辆所在的区域；和/或，
对所述鸣笛车辆的车牌号码进行识别，输出识别到的所述车牌号码。
一方面，提供了一种检测车辆鸣笛系统，所述系统包括：
沿被控区域内的车道设置的至少一个第一麦克风；
沿所述被控区域内与所述车道垂直方向上设置的至少一个第二麦克风；
用于监控所述被控区域的摄像头；
上述实现方式中所提供的检测车辆鸣笛的装置。
一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可执行指令，其特征在于，所述处理器执行所述计算机可执行指令时实现上述任一方面的检测车辆鸣笛的方法。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行以完成上述任一方面的检测车辆鸣笛的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：本发明方法提供了一种对汽车鸣笛声进行检测并定位相应车辆的方案，通过在禁止鸣笛区域安装一定数量的麦克风，一旦有车辆进行违规鸣笛，即可检测出车辆的大致区域，然后再借助摄像头拍摄的监控图像对鸣笛动作识别进行二次确认，防止误报，大大提高检测精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明实施例提供的检测车辆鸣笛系统的结构示意图；
图2是本发明实施例提供的一种检测车辆鸣笛的方法的流程图；
图3是本发明实施例提供的一种检测车辆鸣笛的方法的流程示意图；
图4是本发明实施例提供的一种检测车辆鸣笛的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在对本发明实施例进行详细的解释说明之前，先对本发明实施例涉及的检测车辆鸣笛系统进行简单介绍，参见图1，该系统包括：
沿被控区域内的车道设置的至少一个第一麦克风101；沿所述被控区域内与所述车道垂直方向上设置的至少一个第二麦克风102；用于监控所述被控区域的摄像头103；以及，检测车辆鸣笛装置104，用于基于所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号，来确定所述被控区域中鸣笛车辆所在的区域，并对所述鸣笛车辆所在的区域对应的图像进行动作识别，以确定所述鸣笛车辆。为了使上述麦克风能够高效的采集被控区域内的声音，可以将各个麦克风的朝向设置为朝向该被控区域。例如，对于第一麦克风来说，该第一麦克风的朝向可以垂直于该被控区域内的车道，对于第二麦克风来说，第二麦克风的朝向可以水平于该被控区域内的车道。
为了实现对某个区域的检测，可以在被控区域中设置多个麦克风，用以检测被控区域内的声音信号，为了实现鸣笛车辆的定位，可以在设置麦克风时，沿着被控区域的车道设置至少一个第一麦克风，如果被控区域有多个车道，则可以在靠区域边缘的一条车道外沿设置即可，为了能够通过横向和纵向的声音信号来确定一个较准确的区域，可以沿着被控区域的车道的垂直方向设置至少一个第二麦克风，而如果被控区域有多个车道，可以在每条车道与被控区域的边缘的交叉位置设置即可。上述摄像头103可以是能够监控整个被控区域的摄像设备，当然，其监控区域可以大于该被控区域，以避免有死角出现。且，该摄像头103可以是由多个摄像头组成的摄像头系统，从而可以进行全景监控。而检测车辆鸣笛装置104可以设置于监控设备上，该监控设备可以位于监控服务器或监控客户端上，当然，监控设备也可以是摄像头103。
图2是本发明实施例提供的一种检测车辆鸣笛的方法的流程图，参见图2，所述方法包括:
201、通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定被控区域内存在鸣笛车辆；所述第一麦克风沿被控区域内的车道设置，所述第二麦克风沿所述被控区域内与所述车道垂直方向上设置。
为了实现对某个区域的检测，可以在被控区域中设置多个麦克风，用以检测被控区域内的声音信号，为了实现鸣笛车辆的定位，可以在设置麦克风时，沿着被控区域的车道设置至少一个第一麦克风，如果被控区域有多个车道，则可以在靠区域边缘的一条车道外沿设置即可，为了能够通过横向和纵向的声音信号来确定一个较准确的区域，可以沿着被控区域的车道的垂直方向设置至少一个第二麦克风，而如果被控区域有多个车道，可以在每条车道与被控区域的边缘的交叉位置设置即可。
202、根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域。
由于鸣笛车辆所在位置可以根据声音信号的能量来确定，因此，通过多个麦克风的设置，可以实现鸣笛车辆所在区域的确定。
203、对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位鸣笛车辆。
本发明方法提供了一种对汽车鸣笛声进行检测并定位相应车辆的方案，通过在禁止鸣笛区域安装一定数量的麦克风，一旦有车辆进行违规鸣笛，即可检测出车辆的大致区域，然后再借助摄像头拍摄的监控图像对鸣笛动作识别进行二次确认，防止误报，大大提高检测精度。
图3是本发明实施例提供的一种检测车辆鸣笛的方法的流程示意图。该方法可以应用于图1所提供的系统中，以检测车辆鸣笛装置为监控设备为例进行说明，监控设备是指可以通过麦克风所采集的声音信号和摄像头所采集的图像信号对区域实施监控的任一种计算机设备。参见图3，该实施例具体包括：
301、监控设备获取被控区域中至少一个第一麦克风采集的至少一个第一声音信号，获取被控区域中至少一个第二麦克风采集的至少一个第二声音信号。
对于被控区域来说，可以基于该被控区域的区域大小和/或区域形状来配置麦克风，以被控区域为矩形区域为例，可以在被控区域的区域边缘均匀设置麦克风，以采集环境中的一切声音信号，包括风声、说话声和汽车鸣笛声等。该至少一个第一麦克风和至少一个第二麦克风所采集的声音信号可以输出至监控设备，由监控设备进行后续分析。当然，这种声音采集可以是实时采集，其后续分析也可以是基于实时采集到的声音信号进行的实时分析。
为了增加检测精度，可适当增加被控区域中麦克风数量。例如，增加第一麦克风的数量，当然，也可以增加第一麦克风和第二麦克风的数量，以达到更高的检测精度。
302、监控设备确定目标声音信号，该目标声音信号是该至少一个第一声音信号和该至少一个第二声音信号中信号能量最大的信号。
具体地，监控设备可以对每个麦克风采集到的每帧声音信号进行能量计算，当声音信号的信号能量小于预设阈值时，则认为该声音信号是其他噪声而不做处理，当声音信号的信号能量大于或等于预设阈值时，才将该声音信号参与到后续处理中。这里，考虑一般鸣笛声较大，因此可以将预设阈值设置的大一点。具体大小可根据实际环境场景中的噪声大小进行设定。
作为一种实施方式，在确定是否进行后续检测过程时，还可以判断是否存在信号能量大于预设阈值的声音信号，若存在，则执行该步骤302中的确定过程，以选择其中信号能量最大的麦克风进行下一步的操作。
作为一种实施方式，在确定是否进行后续检测过程时，还可以判断信号能量大于预设阈值的声音信号是否达到预设数量，当超过一定数量的麦克风的信号能量值大于预设阈值时，我们认为此时很有可能会是鸣笛声音，因此，当信号能量大于预设阈值的声音信号超过预设数量时，执行该步骤302中的确定过程，以选择其中信号能量最大的麦克风进行下一步的操作。当然，还可以采用这种判断是否达到预设数量的方式直接确定被控区域内是否存在鸣笛车辆，也即是，在通过判断确定信号能量超过预设阈值的声音信号数量达到预设数量后，直接确定被控区域内存在鸣笛车辆，并执行步骤306以及后续步骤，从而进一步定位鸣笛车辆。
当然，如果检测到环境噪声大于预设噪声，则可在能量计算之前先进行预处理，如降噪处理、低通滤波等，以避免由于噪声较大而不利于后续处理。
303、监控设备将该目标声音信号变换到频域，得到该目标声音信号的频谱。
监控设备可以对该目标声音信号进行傅里叶变换，从而将目标声音信号从时域转换为频域，以得到其频谱。
304、监控设备将该频谱分为两个频段，对该两个频段基于第一预设频率和第二预设频率进行峰值搜索。
其中，第一预设频率为3.2kHz，第二预设频率为4.1kHz。理论情况下，对于最常见的双音电喇叭的鸣笛声频谱只在3.2kHz和4.1kHz处有值且值很大，所以即使在有噪声的实际环境中，也会在这两个频率处出现峰值，因此，为了快速的峰值搜索，可以将频谱分为两个频段，例如，以3.6kHz为分段频点，将该频谱分为0-3.6kHz和3.6kHz以上两个频段，那么，如果通过峰值搜索确定该频谱中有且仅有频率3.2kHz和4.1kHz处出现了特别高的峰值，就认为此时有鸣笛声。当然，该分段频点还可以是3.2kHz至4.1kHz之间的任一个频率，本发明实施例对此不做限定。对于其他汽车喇叭声音，一般都只会在频谱上表现为某几个频率点的值比较大，因此，也可以采用上述方式，基于汽车喇叭声音的鸣笛声频谱，来设置多个预设频率，从而在第一声音信号和第二声音信号的频谱中进行峰值搜索，如果在上述多个预设频率处出现了峰值，则认为此时有鸣笛声。具体预设频率的数值可以基于实际测试确定，本发明实施例对此不作限定。
在进行峰值搜索时，可以采用扫频方式进行，也即是，分别对频谱的上述两个频段进行扫频，并比较所扫描到的频谱大小，如果在两个频段中峰值分别出现在3.2kHz和4.1.kHz附近，则认为是鸣笛声。当然，该峰值搜索还可以采用其他方式进行，例如采用曲线拟合搜索峰值的方式或者设定阈值的方式等。
当然，在进行峰值搜索的时候可以采用上述的频谱分段来进行搜索，还可以不进行分段来进行搜索，本发明实施例对此不做限定。
305、当该频谱在该第一预设频率和该第二预设频率的预设范围内出现峰值，则监控设备确定该被控区域内存在鸣笛车辆。
上述步骤303至305是当该目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定该被控区域内存在鸣笛车辆。通过上述过程可以确定被控区域确实存在鸣笛车辆，则下一步可以对该鸣笛车辆进行定位。
306、监控设备确定信号能量最大的第一声音信号以及信号能量最大的第二声音信号。
当信号能量较大时，说明发声源与该麦克风的距离越近，因此，可以从至少一个第一声音信号中确定信号能量最大的第一声音信号，并从至少一个第二声音信号中确定信号能量最大的第二声音信号。
307、监控设备根据该第一声音信号的来源麦克风和该第二声音信号的来源麦克风的位置，确定该鸣笛车辆所在的区域。
当判断此时存在鸣笛声时，为确认此时鸣笛车辆所在区域，可以利用麦克风将整个路面划分成几个区域，例如图1中虚线所示，选择沿车道方向和垂直于车道方向上能量最大的两个麦克风，这两个麦克风延长虚线汇成的交点即为确定区域的中心点。也即是，在基于来源麦克风确定鸣笛车辆所在的区域时，可以采取下述过程：根据该第一声音信号的来源麦克风的位置确定第一延长线；根据该第二声音信号的来源麦克风的位置确定第二延长线；确定该第一延长线和该第二延长线在该被控区域中的交点；将该被控区域中该交点所处的子区域作为该鸣笛车辆所在的区域。
308、监控设备获取该摄像头所拍摄的该被控区域的监控图像。
当确定了鸣笛车辆所在的区域后，为了避免误判，则可以结合视频监控来进一步确定鸣笛车辆。该获取监控图像的过程可以是获取当前时间点之前预设时间段内的多帧监控图像，以便识别是否有车辆在鸣笛。当然，该获取的监控图像还可以是当前时间点前后一段时间段内的多帧监控图像。
309、监控设备在该监控图像中，确定该区域对应的图像。
基于步骤307中所确定的区域，监控设备可以在获取到的监控图像中确定该区域对应的图像，当然，监控设备可以从多帧监控图像中，提取该区域对应的多帧图像。
310、基于预设动作的动作特征对所述图像进行动作识别，当所述图像中的任一车辆的图像中包括所述动作特征时，将所述车辆确定为所述鸣笛车辆。
对于鸣笛车辆来说，其驾驶员会做出一些特定的动作才能进行鸣笛，例如，该预设动作可以是对方向盘的至少一次敲打动作，如果在图像中识别到该预设动作的动作特征，则说明动作对应车辆进行了鸣笛操作，因此，可以将检测的粒度落实到车辆上。值得说明的是，当该图像中识别到包括所述动作特征的车辆大于一辆时，将该图像中识别到包括所述动作特征的各车辆确定为鸣笛车辆。
上述步骤308至步骤310可以由监控设备获取监控图像并对所述鸣笛车辆所在区域的图像进行动作识别，也可以通过所述被控区域的摄像头对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位所述鸣笛车辆的过程。在该定位过程之后，还可以对该鸣笛事件进行提示，具体地，可以采用下述任一种提醒方式：
一种提醒方式、监控设备在该被控区域的监控图像上突出显示鸣笛车辆所在的区域。
为了对监控人员进行提示，可以在监控图像上通过突出显示的方式来告知监控人员当前有车辆进行了鸣笛，该突出显示可以是用彩色提示框将该区域圈出，从而使得监控人员在看到该彩色提示框后，可以通过视觉观察来获知车辆的车牌号码。进一步地，由于监控图像是实时的，因此，为了达到准确提示的目的，监控设备还可以对车辆位置进行跟踪，并根据该车辆的移动来对该车辆进行突出显示，以达到实时提示的目的。
另一种提醒方式、对该鸣笛车辆的车牌号码进行识别，输出识别到的该车牌号码。
为了提高监控效率，降低人工介入，还可以直接对所确定的鸣笛车辆的车牌号码进行识别，以得到该车辆号码，对其进行记录，后续可以基于记录进行车辆扣分等措施，以达到警示的目的。
本发明方法提供了一种对汽车鸣笛声进行检测并定位相应车辆的方案，通过在禁止鸣笛区域安装一定数量的麦克风，一旦有车辆进行违规鸣笛，即可检测出车辆的大致区域，然后再借助摄像头拍摄的监控图像对鸣笛动作识别进行二次确认，防止误报，大大提高检测精度。进一步地，利用信号能量的大小来确定鸣笛车辆的所在区域，能够大大缩小二次确认时的识别范围，提高了检测精度。进一步地，在进行峰值搜索过程中，对频谱进行了分段，从而达到了快速搜索的目的。
图4是本发明实施例提供的一种检测车辆鸣笛的装置的框图。参照图4，该装置包括车辆确定模块401，区域确定模块402和车辆定位模块403。
车辆确定模块401，用于通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆；所述至少一个第一麦克风沿被控区域内的车道设置，所述至少一个第二麦克风沿所述被控区域内与所述车道垂直方向上设置；
区域确定模块402，用于根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域；
车辆定位模块403，用于对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位鸣笛车辆。
在一种可能实现方式中，车辆确定模块401用于：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
确定目标声音信号，所述目标声音信号是所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量最大的信号；
当所述目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定所述被控区域内存在鸣笛车辆。
进一步地，在一种可能实现方式中，车辆确定模块401用于：
将所述目标声音信号变换到频域，得到所述目标声音信号的频谱；
将所述频谱分为两个频段，对所述两个频段基于第一预设频率和第二预设频率进行峰值搜索；
当所述频谱在所述第一预设频率和所述第二预设频率的预设范围内出现峰值，则确定所述被控区域内存在鸣笛车辆。
在一种可能实现方式中，车辆确定模块401用于：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
判断所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量超过预设阈值的声音信号数量是否达到预设数量；
如果达到所述预设数量，则确定所述被控区域内存在鸣笛车辆。
在一种可能实现方式中，区域确定模块402，包括：
声音信号确定单元，用于确定信号能量最大的第一声音信号以及信号能量最大的第二声音信号；
区域确定单元，用于根据所述第一声音信号的来源麦克风和所述第二声音信号的来源麦克风的位置，确定所述鸣笛车辆所在的区域。
在一种可能实现方式中，区域确定单元用于：
根据所述第一声音信号的来源麦克风的位置，确定第一延长线；
根据所述第二声音信号的来源麦克风的位置，确定第二延长线；
确定所述第一延长线和所述第二延长线在所述被控区域中的交点；
将所述被控区域中所述交点所处的子区域作为所述鸣笛车辆所在的区域。
在一种可能实现方式中，车辆定位模块403，用于：
获取摄像头所拍摄的所述被控区域的监控图像；
在所述监控图像中，确定所述鸣笛车辆所在的区域对应的图像；
基于预设动作的动作特征对所述图像进行动作识别，当所述图像中的任一车辆的图像中包括所述动作特征时，将所述车辆确定为鸣笛车辆。
在一种可能实现方式中，该装置还包括提醒模块，用于：
在所述被控区域的监控图像上突出显示鸣笛车辆所在的区域；和/或，
对所述鸣笛车辆的车牌号码进行识别，输出识别到的所述车牌号码。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可执行指令，所述处理器执行所述计算机可执行指令时实现上述的检测车辆鸣笛方法。
本发明实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由检测车辆鸣笛装置的处理器执行时，使得检测车辆鸣笛装置能够执行上述检测车辆鸣笛方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (17)
1.一种检测车辆鸣笛的方法，其特征在于，所述方法应用于计算机设备上，所述方法包括:
通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定被控区域内存在鸣笛车辆；所述第一麦克风沿被控区域内的车道设置，所述第二麦克风沿所述被控区域内与所述车道垂直方向上设置；
根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域；
对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位鸣笛车辆。
2.根据权利要求1所述的方法，其特征在于，所述通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆包括：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
确定目标声音信号，所述目标声音信号是所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量最大的信号；
当所述目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定所述被控区域内存在鸣笛车辆。
3.据权利要求1所述的方法，其特征在于，所述通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆包括：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
判断所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量超过预设阈值的声音信号数量是否达到预设数量；
如果达到所述预设数量，则确定所述被控区域内存在鸣笛车辆。
4.根据权利要求2所述的方法，其特征在于，当所述目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定所述被控区域内存在鸣笛车辆包括：
将所述目标声音信号变换到频域，得到所述目标声音信号的频谱；
将所述频谱分为两个频段，对所述两个频段基于第一预设频率和第二预设频率进行峰值搜索；
当所述频谱在所述第一预设频率和所述第二预设频率的预设范围内出现峰值，则确定所述被控区域内存在鸣笛车辆。
5.根据权利要求2或3所述的方法，其特征在于，所述根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域包括：
确定信号能量最大的第一声音信号以及信号能量最大的第二声音信号；
根据所述第一声音信号的来源麦克风和所述第二声音信号的来源麦克风的位置，确定所述鸣笛车辆所在的区域。
6.根据权利要求5所述的方法，其特征在于，根据所述第一声音信号的来源麦克风和所述第二声音信号的来源麦克风的位置，确定所述鸣笛车辆所在的区域包括：
根据所述第一声音信号的来源麦克风的位置，确定第一延长线；
根据所述第二声音信号的来源麦克风的位置，确定第二延长线；
确定所述第一延长线和所述第二延长线在所述被控区域中的交点；
将所述被控区域中所述交点所处的子区域作为所述鸣笛车辆所在的区域。
7.根据权利要求1所述的方法，其特征在于，所述对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位鸣笛车辆包括：
获取摄像头所拍摄的所述被控区域的监控图像；
在所述监控图像中，确定所述鸣笛车辆所在的区域对应的图像；
基于预设动作的动作特征对所述图像进行动作识别，当所述图像中的任一车辆的图像中包括所述动作特征时，将所述车辆确定为鸣笛车辆。
8.根据权利要求1所述的方法，其特征在于，在定位到鸣笛车辆之后，所述方法还包括：
在所述被控区域的监控图像上突出显示所述鸣笛车辆所在的区域；和/或，
对所述鸣笛车辆的车牌号码进行识别，输出识别到的所述车牌号码。
9.一种检测车辆鸣笛的装置，其特征在于，所述装置包括:
车辆确定模块，用于通过至少一个第一麦克风和至少一个第二麦克风所采集的声音信号，确定所述被控区域内存在鸣笛车辆；所述第一麦克风沿被控区域内的车道设置，所述第二麦克风沿所述被控区域内与所述车道垂直方向上设置；
区域确定模块，用于根据所述至少一个第一麦克风和所述至少一个第二麦克风所采集的声音信号的信号能量，确定所述鸣笛车辆所在的区域；
车辆定位模块，用于对所述鸣笛车辆所在的区域对应的图像进行动作识别，当识别到任一车辆内有预设动作时，定位鸣笛车辆。
10.根据权利要求9所述的装置，其特征在于，所述车辆确定模块用于：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
确定目标声音信号，所述目标声音信号是所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量最大的信号；
当所述目标声音信号的频谱在预设的鸣笛声频谱范围中出现峰值，则确定所述被控区域内存在鸣笛车辆。
11.根据权利要求9所述的装置，其特征在于，所述车辆确定模块用于：
获取所述至少一个第一麦克风采集的至少一个第一声音信号；
获取所述至少一个第二麦克风采集的至少一个第二声音信号；
判断所述至少一个第一声音信号和所述至少一个第二声音信号中信号能量超过预设阈值的声音信号数量是否达到预设数量；
如果达到所述预设数量，则确定所述被控区域内存在鸣笛车辆。
12.根据权利要求10或11所述的装置，其特征在于，所述区域确定模块包括：
声音信号确定单元，用于确定信号能量最大的第一声音信号以及信号能量最大的第二声音信号；
区域确定单元，用于根据所述第一声音信号的来源麦克风和所述第二声音信号的来源麦克风的位置，确定所述鸣笛车辆所在的区域。
13.根据权利要求9所述的装置，其特征在于，所述车辆定位模块用于：
获取摄像头所拍摄的所述被控区域的监控图像；
在所述监控图像中，确定所述鸣笛车辆所在的区域对应的图像；
基于预设动作的动作特征对所述图像进行动作识别，当所述图像中的任一车辆的图像中包括所述动作特征时，将所述车辆确定为鸣笛车辆。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括提醒模块，用于:
在所述被控区域的监控图像上突出显示所述鸣笛车辆所在的区域；和/或，对所述鸣笛车辆的车牌号码进行识别，输出识别到的所述车牌号码。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可执行指令，其特征在于，所述处理器执行所述计算机可执行指令时实现权利要求1-8任一项所述的检测车辆鸣笛的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令被处理器执行以完成权利要求1-8任一项所述的检测车辆鸣笛的方法。
17.一种检测车辆鸣笛系统，其特征在于，所述系统包括：
沿被控区域内的车道设置的至少一个第一麦克风；
沿所述被控区域内与所述车道垂直方向上设置的至少一个第二麦克风；
用于监控所述被控区域的摄像头；
如权利要求9至权利要求14任一项所述的检测车辆鸣笛的装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711478558.0A CN109993977A (zh) | 2017-12-29 | 2017-12-29 | 检测车辆鸣笛的方法、装置以及系统 |
| PCT/CN2018/101784 WO2019128263A1 (zh) | 2017-12-29 | 2018-08-22 | 检测车辆鸣笛的方法、装置、设备、存储介质以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711478558.0A CN109993977A (zh) | 2017-12-29 | 2017-12-29 | 检测车辆鸣笛的方法、装置以及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109993977A true CN109993977A (zh) | 2019-07-09 |
Family
ID=67065033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711478558.0A Pending CN109993977A (zh) | 2017-12-29 | 2017-12-29 | 检测车辆鸣笛的方法、装置以及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109993977A (zh) |
| WO (1) | WO2019128263A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815958A (zh) * | 2020-06-18 | 2020-10-23 | 安徽超清科技股份有限公司 | 一种交通电子警察抓拍控制装置及方法 |
| CN114384472A (zh) * | 2021-10-15 | 2022-04-22 | 北京能源集团有限责任公司 | 一种移动机器人声源定位方法、机器人及可读存储介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906426A (zh) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 车辆监控方法、装置及设备、存储介质 |
| CN111915918A (zh) * | 2020-06-19 | 2020-11-10 | 中国计量大学 | 一种基于动态特性的汽车鸣笛抓拍装置现场校准系统及方法 |
| CN112649788B (zh) * | 2020-12-30 | 2023-11-17 | 华东理工大学 | 可适应运动声源的分布式汽车鸣笛声源实时快速定位方法 |
| CN113591725B (zh) * | 2021-08-03 | 2023-08-22 | 世邦通信股份有限公司 | 一种鸣笛车辆提取方法、装置、设备及介质 |
| CN115117476A (zh) * | 2022-05-18 | 2022-09-27 | 东莞市伟思特智能科技有限公司 | 一种新能源汽车锂电池卡扣声纹测试方法及其检测装置 |
| CN115643547A (zh) * | 2022-08-25 | 2023-01-24 | 广州汽车集团股份有限公司 | 鸣笛提示方法、装置、车辆及存储介质 |
| WO2024077366A1 (pt) * | 2022-10-11 | 2024-04-18 | Perkons S/A | Sistema e método para detecção de ruído de veículos automotores e memória lida por computador correspondente |
| CN116990754B (zh) * | 2023-09-22 | 2023-12-22 | 海宁市微纳感知计算技术有限公司 | 一种鸣笛声源定位方法、装置、电子设备及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102479505A (zh) * | 2010-11-30 | 2012-05-30 | Jvc建伍株式会社 | 声音处理装置及声音处理方法 |
| CN102722983A (zh) * | 2012-06-13 | 2012-10-10 | 浙江大学 | 一种基于音频和视频的机动车违章鸣喇叭检测系统和方法 |
| CN104794894A (zh) * | 2015-01-29 | 2015-07-22 | 青岛智能产业技术研究院 | 一种汽车鸣笛噪声监视装置、系统及方法 |
| CN104867492A (zh) * | 2015-05-07 | 2015-08-26 | 科大讯飞股份有限公司 | 智能交互系统及方法 |
| CN105096606A (zh) * | 2015-08-31 | 2015-11-25 | 成都众孚理想科技有限公司 | 汽车鸣笛闯红灯抓拍系统 |
| US9424743B2 (en) * | 2012-10-12 | 2016-08-23 | Tata Consultancy Services Limited | Real-time traffic detection |
| CN106448183A (zh) * | 2016-11-19 | 2017-02-22 | 郑州玄机器人有限公司 | 一种汽车鸣喇叭监控系统、装置和方法 |
| CN106682601A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于多维信息特征融合的驾驶员违规通话检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101030323A (zh) * | 2007-04-23 | 2007-09-05 | 凌子龙 | 车辆违章鸣笛自动取证路口机装置 |
| JP5664078B2 (ja) * | 2010-09-27 | 2015-02-04 | 富士通株式会社 | 撮像装置、画像評価方法、及び焦点調整制御プログラム |
| CN205028459U (zh) * | 2015-08-06 | 2016-02-10 | 杭州智诚惠通科技有限公司 | 一种城市违法鸣笛检测装置 |
| CN106355893A (zh) * | 2016-10-28 | 2017-01-25 | 东方智测（北京）科技有限公司 | 用于实时定位鸣笛的机动车的方法及系统 |
-
2017
- 2017-12-29 CN CN201711478558.0A patent/CN109993977A/zh active Pending
-
2018
- 2018-08-22 WO PCT/CN2018/101784 patent/WO2019128263A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102479505A (zh) * | 2010-11-30 | 2012-05-30 | Jvc建伍株式会社 | 声音处理装置及声音处理方法 |
| CN102722983A (zh) * | 2012-06-13 | 2012-10-10 | 浙江大学 | 一种基于音频和视频的机动车违章鸣喇叭检测系统和方法 |
| US9424743B2 (en) * | 2012-10-12 | 2016-08-23 | Tata Consultancy Services Limited | Real-time traffic detection |
| CN104794894A (zh) * | 2015-01-29 | 2015-07-22 | 青岛智能产业技术研究院 | 一种汽车鸣笛噪声监视装置、系统及方法 |
| CN104867492A (zh) * | 2015-05-07 | 2015-08-26 | 科大讯飞股份有限公司 | 智能交互系统及方法 |
| CN105096606A (zh) * | 2015-08-31 | 2015-11-25 | 成都众孚理想科技有限公司 | 汽车鸣笛闯红灯抓拍系统 |
| CN106448183A (zh) * | 2016-11-19 | 2017-02-22 | 郑州玄机器人有限公司 | 一种汽车鸣喇叭监控系统、装置和方法 |
| CN106682601A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于多维信息特征融合的驾驶员违规通话检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘建平，张一闻，刘颖: "《基于麦克风阵列的汽车笛语识别及笛声定位方法》", 《西安电子科技大学学报（自然科学版）》 * |
| 孙懋珩，俞莹婷: "《汽车鸣笛声定位系统仿真》", 《声学技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815958A (zh) * | 2020-06-18 | 2020-10-23 | 安徽超清科技股份有限公司 | 一种交通电子警察抓拍控制装置及方法 |
| CN114384472A (zh) * | 2021-10-15 | 2022-04-22 | 北京能源集团有限责任公司 | 一种移动机器人声源定位方法、机器人及可读存储介质 |
| CN114384472B (zh) * | 2021-10-15 | 2022-09-30 | 北京能源集团有限责任公司 | 一种移动机器人声源定位方法、机器人及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019128263A1 (zh) | 2019-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993977A (zh) | 检测车辆鸣笛的方法、装置以及系统 | |
| US11398235B2 (en) | Methods, apparatuses, systems, devices, and computer-readable storage media for processing speech signals based on horizontal and pitch angles and distance of a sound source relative to a microphone array | |
| JP5145986B2 (ja) | 物体検出装置及び測距方法 | |
| CN105631390B (zh) | 空间手指定位的方法和空间手指定位的系统 | |
| JP4946228B2 (ja) | 車載用歩行者検出装置 | |
| CN104519318A (zh) | 图像监控系统和监视摄像机 | |
| CN108162858B (zh) | 车载监控装置及其方法 | |
| CN105825185A (zh) | 车辆防碰撞预警方法及装置 | |
| JP4528283B2 (ja) | 車両周辺監視装置 | |
| JP5930806B2 (ja) | 検知装置、及び検知方法 | |
| JP2019159380A (ja) | 物体検知装置、物体検知方法およびプログラム | |
| JP6516012B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| CN110765823A (zh) | 一种目标识别方法及装置 | |
| JP6713349B2 (ja) | 画像処理装置、外界認識装置 | |
| CN111383248B (zh) | 一种行人闯红灯判断方法、装置和电子设备 | |
| CN109263649B (zh) | 车辆及其自动驾驶模式下的物体识别方法和物体识别系统 | |
| CN112801024B (zh) | 一种检测信息处理方法和装置 | |
| CN108111802B (zh) | 视频监控方法及装置 | |
| CN108162866A (zh) | 一种基于流媒体外后视镜系统的车道识别系统及方法 | |
| JP2007280041A (ja) | 車体色判別装置 | |
| JP2015197780A (ja) | 車両検知及び車両番号認識装置 | |
| CN110728249A (zh) | 目标行人的跨摄像机识别方法、装置及系统 | |
| JP4765113B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
| JP2003317106A (ja) | 走行路認識装置 | |
| JP6201809B2 (ja) | 周辺監視装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |