CN116540178B - 一种音视频融合的噪声源定位方法及系统 - Google Patents

一种音视频融合的噪声源定位方法及系统 Download PDF

Info

Publication number
CN116540178B
CN116540178B CN202310492534.XA CN202310492534A CN116540178B CN 116540178 B CN116540178 B CN 116540178B CN 202310492534 A CN202310492534 A CN 202310492534A CN 116540178 B CN116540178 B CN 116540178B
Authority
CN
China
Prior art keywords
noise
real
time
event
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310492534.XA
Other languages
English (en)
Other versions
CN116540178A (zh
Inventor
卢伟健
何兴华
邹建华
黄子涛
兰钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY
Original Assignee
GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY filed Critical GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY
Priority to CN202310492534.XA priority Critical patent/CN116540178B/zh
Publication of CN116540178A publication Critical patent/CN116540178A/zh
Application granted granted Critical
Publication of CN116540178B publication Critical patent/CN116540178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及噪声监测技术领域，具体为一种音视频融合的噪声源定位方法及系统，其方法包括：采集对应监测区域内的实时噪声信号和实时图像信号；对所述实时噪声信号和实时图像信号进行预处理；判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件，将所述环境噪声污染事件的相关信息数据发送到服务器；服务器进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链。本发明可对环境噪声污染事件中的噪声源进行定位，同时对噪声源目标图像进行检测，生成环境噪声污染事件证据链，满足当前环境噪声监测和管理工作的需要，提高环境噪声监测与记录的效率。

Description

一种音视频融合的噪声源定位方法及系统
技术领域
本发明涉及噪声监测技术领域，尤其涉及一种音视频融合的噪声源定位方法及系统。
背景技术
近年来，人们对生活与工作环境的声质量越发重视，对于声质量的监测力度大大加强，传统的声质量监测只对局部环境区域的噪声进行连续的统计性测量，不能对噪声污染事件发生的位置进行监测、记录和溯源，尤其是在一些多噪声源区域发生的短时严重噪声超标事件，出现居民投诉后，难判断、难搜证、难举证，容易产生错判误判的情况；同时，也不能对该噪声污染事件中的噪声源进行监测，无法确定是何种噪声源造成的环境噪声污染，从而无法针对噪声源进行整治。
目前传统的声源定位技术，主要利用多通道间声信号的时间与空间相位差的方法，找出声能量集中的空间位置。这种方法一般需要采用多通道同步采集设备，硬件性能要求较高，系统较为复杂，成本较为昂贵，难以在环境噪声监测中推广使用。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种音视频融合的噪声源定位方法及系统，可对环境噪声污染事件中的噪声源进行定位，同时对噪声源目标图像进行检测，生成环境噪声污染事件证据链，满足当前环境噪声监测和管理工作的需要，提高环境噪声监测与记录的效率。
本发明提供了一种音视频融合的噪声源定位方法，所述方法包括：
基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号；
对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号；
判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件，若判断为环境噪声污染事件，则将所述环境噪声污染事件的相关信息数据发送到服务器；
服务器接收到所述环境噪声污染事件的相关信息数据后，进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链。
进一步的，所述基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号包括：
基于所述环境噪声事件监测区域的面积大小以及噪声复杂程度，分析得出所述监测装置的布设数量和布设位置。
进一步的，所述对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号包括：
基于ZigBee拓扑协议对所述实时噪声信号的信号质量和传输能力进行评估；
基于评估结果对所述实时噪声信号进行校准，得到预处理后的实时噪声信号。
进一步的，所述基于评估结果对所述实时噪声信号进行校准，得到预处理后的实时噪声信号包括：
基于评估结果，计算所述实时噪声信号的PID校准系数，并基于计算结果对所述实时噪声信号进行校准。
进一步的，所述对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号还包括：
对所述实时图像信号进行几何校正处理，得到几何校正处理后的实时图像信号；
对所述几何校正处理后的实时图像信号进行图像增强处理，得到图像增强处理后的实时图像信号；
对所述图像增强处理后的实时图像信号进行滤波处理，得到滤波处理后的实时图像信号；
对所述滤波处理后的实时图像信号进行模数转换处理，得到预处理后的实时图像信号。
进一步的，所述判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件包括：
收集各类噪声事件类型的标签信息，并将所述噪声事件类型的标签信息进行排序，组成噪声事件类型一维标签数组，所述噪声事件类型包括噪声污染事件和非噪声污染事件；
基于所述噪声事件类型一维标签数组判断所述预处理后的实时噪声信号对应的环境噪声事件类型。
进一步的，所述将所述环境噪声污染事件的相关信息数据发送到服务器包括：
将所述环境噪声污染事件的实时噪声信号、实时图像信号、时刻信息、以及噪声污染事件类型信息发送到服务器。
进一步的，所述服务器接收到所述环境噪声污染事件的相关信息数据后，进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链包括：
服务器接收到所述环境噪声污染事件的相关信息数据后，判断是否记录所述环境噪声污染事件；
计算各个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，并结合各个监测装置的位置信息，获取所述环境噪声污染事件中噪声源的位置信息；
基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号，并对所述环境噪声污染事件的实时图像信号进行识别分割处理，提取所述噪声源的目标图像；
结合所述噪声源的位置信息和目标图像生成环境噪声污染事件证据链。
进一步的，所述基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号，并对所述环境噪声污染事件的实时图像信号进行识别分割处理，提取所述噪声源的目标图像包括：
基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号；
将所述环境噪声污染事件的实时图像信号中与所述噪声源的位置信息对应区域图像分割出来，生成所述环境噪声污染事件子图像；
将所述环境噪声污染事件子图像输入图像目标识别模型中，提取所述噪声源的目标图像。
本发明还提供了一种音视频融合的噪声源定位系统，所述系统包括：
采集模块，所述采集模块用于采集对应监测区域内的实时噪声信号和实时图像信号；
信号预处理模块，所述信号预处理模块用于对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号；
判断模块，所述判断模块用于判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件；
通信模块，所述通信模块用于将所述环境噪声污染事件的相关信息数据发送到服务器；
数据处理模块，所述数据处理模块用于进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链。
本发明通过在环境噪声监测区域内合适的位置设置监测装置，可收集到该监测区域内的实时噪声信号和实时图像信号，为后续对环境噪声污染事件中的噪声源进行定位和图像监测提供数据支持；对实时噪声信号和实时图像信号进行预处理，可提高信号的质量、抗干扰能力以及传输能力；收集各类噪声事件类型的标签信息，组成噪声事件类型一维标签数组，可用于判断该实时噪声信号对应的环境噪声事件类型，提高工作效率；结合多个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，以及各个监测装置的位置信息进行时空计算，并结合实时图像信号实现噪声源的定位与目标图像的监测，生成音视频同步的环境噪声污染事件证据链，结构简单，成本较低，满足当前环境噪声监测和管理工作的需要，提高环境噪声监测与记录的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例一中的音视频融合的噪声源定位方法流程图；
图2是本发明实施例一中的对实时噪声信号进行预处理的流程图；
图3是本发明实施例一中的对实时图像信号进行预处理的流程图；
图4是本发明实施例一中的判断环境噪声事件类型的流程图；
图5是本发明实施例一中的生成环境噪声污染事件证据链的流程图；
图6是本发明实施例一中的提取噪声源目标图像的流程图；
图7是本发明实施例二中的音视频融合的噪声源定位系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
实施例一
本发明实施例一所涉及的一种音视频融合的噪声源定位方法，所述方法包括：基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号；对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号；判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件，若判断为环境噪声污染事件，则将所述环境噪声污染事件的相关信息数据发送到服务器；服务器接收到所述环境噪声污染事件的相关信息数据后，进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链。
在本实施例的一个可选实现方式中，如图1所示，图1示出了本发明实施例一中的音视频融合的噪声源定位方法流程图，包括以下步骤：
S101、基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号；
在本实施例的一个可选实现方式中，在需要进行环境噪声监测的环境噪声事件监测区域内设置若干个监测装置，基于设置在所述监测装置上的噪声采集模块和图像采集模块分别采集对应监测区域内的实时噪声信号和实时图像信号。
在本实施例的一个可选实现方式中，基于所述环境噪声事件监测区域的面积大小以及噪声复杂程度，分析得出所述监测装置的布设数量和布设位置。
具体的，根据环境噪声事件监测的需要，对所述环境噪声事件监测区域的面积大小以及噪声复杂程度进行分析，根据分析结果在环境噪声事件监测区域内选定若干个合适布设位置，满足条件如下：离地1.5m以上，间隔任何反射物(地面除外)3.5m以上，相邻的监测装置间隔500m以内，若该环境噪声事件监测区域内噪声变化较大，可适当缩短间距加大密度。
更多的，在同一片环境噪声事件监测区域内，所述监测装置的布设数量不少于3个。
在本实施例的一个可选实现方式中，任意一个所述监测装置设置有噪声采集模块和图像采集模块，所述噪声采集模块用于采集对应监测区域内的实时噪声信号，所述图像采集模块用于采集对应监测区域内的实时图像信号。
具体的，所述噪声采集模块包括采集麦克风、传声器、放大器、处理器，所述采集麦克风用于采集声音，所述传声器用于将声音转化为声音信号，所述放大器用于放大声音信号，所述处理器用于初步处理收集到的声音信号。
更多的，所述图像采集模块包括摄像相机、处理器，所述摄像相机用于拍摄对应监测区域内的区域图像，所述处理器用于初步处理收集到的图像信号。
这里通过在环境噪声监测区域内合适的位置设置监测装置，可收集到该监测区域内的实时噪声信号和实时图像信号，为后续对环境噪声污染事件中的噪声源进行定位和图像监测提供数据支持。
S102、对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号；
在本实施例的一个可选实现方式中，任意一个所述监测装置设置有计算处理模块，所述计算处理模块用于对收集到的实时噪声信号和实时图像信号进行预处理。
在本实施例的一个可选实现方式中，如图2所示，图2示出了本发明实施例一中的对实时噪声信号进行预处理的流程图，包括以下步骤：
S201、基于ZigBee拓扑协议对所述实时噪声信号的信号质量和传输能力进行评估；
在本实施例的一个可选实现方式中，基于ZigBee拓扑协议的连接形式，在满足ZigBee拓扑协议连接需求的前提下，计算所述实时噪声信号个别校准节点处的信号检测系数，基于所述信号检测系数得出评估结果。
具体的，所述ZigBee拓扑协议是一种应用在无线传感器网络中的主要通信促进技术，可在信号处理单元与系统校准设备之间形成独立的数据通信空间，使得实时噪声数据得到准确的辨别与存储。
更多的，所述信号检测系数的计算公式如下：
式中，D为实时噪声信号监测系数，为实时噪声信号的监测判别基向量，q为ZigBee拓扑协议的拓扑系数，i为实时噪声信号传输处理系数，xi为实时噪声监测信号的起始输入值，xn为实时噪声监测信号的终止输入值。
S202、基于评估结果对所述实时噪声信号进行校准，得到预处理后的实时噪声信号。
在本实施例的一个可选实现方式中，基于评估结果，计算所述实时噪声信号的PID校准系数，并基于计算结果对所述实时噪声信号进行校准。
具体的，所述PID校准系数，即比例-积分-微分校准系数(PID，Proportion-Integral-Derivative)，是一种评估噪声自动监测校准所具备的信号处理能力的标准，可有效限制ZigBee拓扑协议的实际传输能力，从而使实时噪声信号得到更准确的监测和识别。
更多的，所述PID校准系数的计算公式如下：
式中，P为PID校准系数，D为实时噪声信号监测系数，i为实时噪声信号传输处理系数，n为无线传感器网络中实时噪声信号监测校准处理常数项，yi为ZigBee拓扑协议的最初监测特征值，yn为ZigBee拓扑协议的最终监测特征值。
在本实施例的一个可选实现方式中，基于PID校准系数，结合数字滤波器、信号处理器等硬件设备对所述实时噪声信号进行校准。
这里基于ZigBee拓扑协议以及PID校准系数对所述实时噪声信号进行校准，可准确对实时噪声信号进行校准，提高预处理后的实时噪声信号的质量、抗干扰能力以及传输能力
在本实施例的一个可选实现方式中，如图3所示，图3示出了本发明实施例一中的对实时图像信号进行预处理的流程图，包括以下步骤：
S301、对所述实时图像信号进行几何校正处理，得到几何校正处理后的实时图像信号；
在本实施例的一个可选实现方式中，所述几何校正处理是指对所述实时图像信号中的几何变形进行消除处理，消除内部畸变，实现实时图像信号与实际区域图像的几何整合。
S302、对所述几何校正处理后的实时图像信号进行图像增强处理，得到图像增强处理后的实时图像信号；
在本实施例的一个可选实现方式中，所述图像增强处理是指对所述几何校正处理后的实时图像信号中有用信息进行增强，改善图像信号的视觉效果。
S303、对所述图像增强处理后的实时图像信号进行滤波处理，得到滤波处理后的实时图像信号；
在本实施例的一个可选实现方式中，所述滤波处理是指对所述图像增强处理后的实时图像信号中的噪声进行滤除，提高实时图像信号的质量。
S304、对所述滤波处理后的实时图像信号进行模数转换处理，得到预处理后的实时图像信号。
在本实施例的一个可选实现方式中，所述模数转换处理是指对所述滤波处理后的实时图像信号的模拟信号转换为数字信号。
这里对实时噪声信号和实时图像信号进行预处理，可提高信号的质量、抗干扰能力以及传输能力。
S103、判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件，若判断为环境噪声污染事件，则将所述环境噪声污染事件的相关信息数据发送到服务器；
在本实施例的一个可选实现方式中，如图4所示，图4示出了本发明实施例一中的判断环境噪声事件类型的流程图，包括以下步骤：
S401、收集各类噪声事件类型的标签信息，并将所述噪声事件类型的标签信息进行排序，组成噪声事件类型一维标签数组；
在本实施例的一个可选实现方式中，收集各类噪声事件类型的标签信息，所述噪声事件类型包括噪声污染事件和非噪声污染事件。
具体的，收集各类常见的噪声事件类型的标签信息，噪声事件类型包括噪声污染事件(如施工机械噪声、娱乐活动噪声、轨道交通噪声等)和非噪声污染事件(如自然声、交通背景声、说话声、动物叫声等)。
更多的，将收集到的各类噪声事件类型的标签信息进行排序，组成噪声事件类型一维标签数组。
S402、基于所述噪声事件类型一维标签数组判断所述预处理后的实时噪声信号对应的环境噪声事件类型；
在本实施例的一个可选实现方式中，对所述预处理后的实时噪声信号进行分析处理，得到噪声事件概率分布数组，将所述噪声事件概率分布数组中的数值进行排序，选择其中数值最大的，且该数值大于一定概率阈值的对应的噪声事件类型记录为所述预处理后的实时噪声信号的噪声事件类型，基于所述噪声事件类型一维标签数组与所述预处理后的实时噪声信号的噪声事件类型进行比对，确定所述预处理后的实时噪声信号对应的环境噪声事件类型。
S403、将所述环境噪声污染事件的相关信息数据发送到服务器；
在本实施例的一个可选实现方式中，在步骤S402中，若判断所述预处理后的实时噪声信号对应的环境噪声事件类型为环境噪声污染事件，则将所述环境噪声污染事件对应的实时噪声信号、实时图像信号、时刻信息以及噪声污染事件类型信息发送到服务器。
需要说明的是，所述环境噪声污染事件对应的实时噪声信号、实时图像信号已经过预处理。
在本实施例的一个可选实现方式中，监测装置将所述环境噪声污染事件的相关信息数据通过有线网络、移动网络、局域网络发送到服务器。
S404、不作其他处理。
在本实施例的一个可选实现方式中，在步骤S402中，若判断所述预处理后的实时噪声信号对应的环境噪声事件类型为非环境噪声污染事件，则不作其他处理。
这里通过收集各类噪声事件类型的标签信息，组成噪声事件类型一维标签数组，可用于判断该实时噪声信号对应的环境噪声事件类型，提高工作效率。
S104、服务器接收到所述环境噪声污染事件的相关信息数据后，进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链。
在本实施例的一个可选实现方式中，如图5所示，图5示出了本发明实施例一中的生成环境噪声污染事件证据链的流程图，包括以下步骤：
S501、服务器接收到所述环境噪声污染事件的相关信息数据后，判断是否记录所述环境噪声污染事件；
在本实施例的一个可选实现方式中，若服务器在同一时间段内接收到不少于3个监测装置发来的相同的环境噪声污染事件的相关信息数据，则判断并记录该环境噪声污染事件。
S502、计算各个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，并结合各个监测装置的位置信息，获取所述环境噪声污染事件中噪声源的位置信息；
在本实施例的一个可选实现方式中，服务器计算各个监测装置记录到的环境噪声污染事件的时刻信息的时间差，结合各个监测装置测点的位置信息(包括离地高度、相对距离等)，计算出该环境噪声污染事件发生的位置范围，并精确定位所述环境噪声污染事件中噪声源的位置信息。
S503、基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号，并对所述环境噪声污染事件的实时图像信号进行识别分割处理，提取所述噪声源的目标图像；
在本实施例的一个可选实现方式中，如图6所示，图6示出了本发明实施例一中的提取噪声源目标图像的流程图，包括以下步骤：
S601、基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号；
在本实施例的一个可选实现方式中，在计算出该环境噪声污染事件发生的位置范围后，提取该位置范围对应的监测装置采集到的预处理后的实时图像信号。
S602、将所述环境噪声污染事件的实时图像信号中与所述噪声源的位置信息对应区域图像分割出来，生成所述环境噪声污染事件子图像；
在本实施例的一个可选实现方式中，将该环境噪声污染事件发生的位置范围对应的监测装置采集到的预处理后的实时图像信号中分割出与噪声源的位置信息对应的区域图像，生成所述环境噪声污染事件子图像。
S603、将所述环境噪声污染事件子图像输入图像目标识别模型中，提取所述噪声源的目标图像。
在本实施例的一个可选实现方式中，将所述环境噪声污染事件子图像输入图像目标识别模型中，经图像目标识别模型进行识别处理后提取所述噪声源的目标图像。
更多的，所述图像目标识别模型为经过一定程度的训练，生成的用于识别噪声源图像的识别模型。
S504、结合所述噪声源的位置信息和目标图像生成环境噪声污染事件证据链。
在本实施例的一个可选实现方式中，结合所述噪声源的位置信息、目标图像以及实时噪声信号、时刻信息、噪声污染事件类型信息等生成该环境噪声污染事件的完整音视频同步的环境噪声污染事件证据链。
这里结合多个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，以及各个监测装置的位置信息进行时空计算，并结合实时图像信号实现噪声源的定位与目标图像的监测，生成音视频同步的环境噪声污染事件证据链，结构简单，成本较低，满足当前环境噪声监测和管理工作的需要，提高环境噪声监测与记录的效率。
综上，本发明实施例一提出了一种音视频融合的噪声源定位方法，通过在环境噪声监测区域内合适的位置设置监测装置，可收集到该监测区域内的实时噪声信号和实时图像信号，为后续对环境噪声污染事件中的噪声源进行定位和图像监测提供数据支持；对实时噪声信号和实时图像信号进行预处理，可提高信号的质量、抗干扰能力以及传输能力；收集各类噪声事件类型的标签信息，组成噪声事件类型一维标签数组，可用于判断该实时噪声信号对应的环境噪声事件类型，提高工作效率；结合多个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，以及各个监测装置的位置信息进行时空计算，并结合实时图像信号实现噪声源的定位与目标图像的监测，生成音视频同步的环境噪声污染事件证据链，结构简单，成本较低，满足当前环境噪声监测和管理工作的需要，提高环境噪声监测与记录的效率。
实施例二
本发明实施例二所涉及的一种音视频融合的噪声源定位系统，如图7所示，图7示出了本发明实施例二中的音视频融合的噪声源定位系统结构示意图，所述系统包括：
采集模块10，所述采集模块用于采集对应监测区域内的实时噪声信号和实时图像信号；
信号预处理模块20，所述信号预处理模块用于对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号；
判断模块30，所述判断模块用于判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件；
通信模块40，所述通信模块用于将所述环境噪声污染事件的相关信息数据发送到服务器；
数据处理模块50，所述数据处理模块用于进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链。
综上，本发明实施例二提出了一种音视频融合的噪声源定位系统，用于执行一种音视频融合的噪声源定位方法，通过在环境噪声监测区域内合适的位置设置监测装置，可收集到该监测区域内的实时噪声信号和实时图像信号，为后续对环境噪声污染事件中的噪声源进行定位和图像监测提供数据支持；对实时噪声信号和实时图像信号进行预处理，可提高信号的质量、抗干扰能力以及传输能力；收集各类噪声事件类型的标签信息，组成噪声事件类型一维标签数组，可用于判断该实时噪声信号对应的环境噪声事件类型，提高工作效率；结合多个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，以及各个监测装置的位置信息进行时空计算，并结合实时图像信号实现噪声源的定位与目标图像的监测，生成音视频同步的环境噪声污染事件证据链，结构简单，成本较低，满足当前环境噪声监测和管理工作的需要，提高环境噪声监测与记录的效率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种音视频融合的噪声源定位方法，其特征在于，所述方法包括：
基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号；
对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号；
判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件，若判断为环境噪声污染事件，则将所述环境噪声污染事件的相关信息数据发送到服务器，所述判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件包括：收集各类噪声事件类型的标签信息，并将所述噪声事件类型的标签信息进行排序，组成噪声事件类型一维标签数组，所述噪声事件类型包括噪声污染事件和非噪声污染事件；基于所述噪声事件类型一维标签数组判断所述预处理后的实时噪声信号对应的环境噪声事件类型；
所述基于所述噪声事件类型一维标签数组判断所述预处理后的实时噪声信号对应的环境噪声事件类型包括：对所述预处理后的实时噪声信号进行分析处理，得到噪声事件概率分布数组，将所述噪声事件概率分布数组中的数值进行排序，选择其中数值最大的，且该数值大于一定概率阈值的对应的噪声事件类型记录为所述预处理后的实时噪声信号的噪声事件类型，基于所述噪声事件类型一维标签数组与所述预处理后的实时噪声信号的噪声事件类型进行比对，确定所述预处理后的实时噪声信号对应的环境噪声事件类型；
服务器接收到所述环境噪声污染事件的相关信息数据后，进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链，所述服务器接收到所述环境噪声污染事件的相关信息数据后，进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链包括：服务器接收到所述环境噪声污染事件的相关信息数据后，判断是否记录所述环境噪声污染事件；计算各个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，并结合各个监测装置的位置信息，获取所述环境噪声污染事件中噪声源的位置信息；基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号，并对所述环境噪声污染事件的实时图像信号进行识别分割处理，提取所述噪声源的目标图像；结合所述噪声源的位置信息和目标图像生成环境噪声污染事件证据链。
2.如权利要求1所述的音视频融合的噪声源定位方法，其特征在于，所述基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号包括：
基于所述环境噪声事件监测区域的面积大小以及噪声复杂程度，分析得出所述监测装置的布设数量和布设位置。
3.如权利要求1所述的音视频融合的噪声源定位方法，其特征在于，所述对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号包括：
基于ZigBee拓扑协议对所述实时噪声信号的信号质量和传输能力进行评估；
基于评估结果对所述实时噪声信号进行校准，得到预处理后的实时噪声信号。
4.如权利要求3所述的音视频融合的噪声源定位方法，其特征在于，所述基于评估结果对所述实时噪声信号进行校准，得到预处理后的实时噪声信号包括：
基于评估结果，计算所述实时噪声信号的PID校准系数，并基于计算结果对所述实时噪声信号进行校准。
5.如权利要求1所述的音视频融合的噪声源定位方法，其特征在于，所述对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号还包括：
对所述实时图像信号进行几何校正处理，得到几何校正处理后的实时图像信号；
对所述几何校正处理后的实时图像信号进行图像增强处理，得到图像增强处理后的实时图像信号；
对所述图像增强处理后的实时图像信号进行滤波处理，得到滤波处理后的实时图像信号；
对所述滤波处理后的实时图像信号进行模数转换处理，得到预处理后的实时图像信号。
6.如权利要求1所述的音视频融合的噪声源定位方法，其特征在于，所述将所述环境噪声污染事件的相关信息数据发送到服务器包括：
将所述环境噪声污染事件的实时噪声信号、实时图像信号、时刻信息、以及噪声污染事件类型信息发送到服务器。
7.如权利要求1所述的音视频融合的噪声源定位方法，其特征在于，所述基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号，并对所述环境噪声污染事件的实时图像信号进行识别分割处理，提取所述噪声源的目标图像包括：
基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号；
将所述环境噪声污染事件的实时图像信号中与所述噪声源的位置信息对应区域图像分割出来，生成所述环境噪声污染事件子图像；
将所述环境噪声污染事件子图像输入图像目标识别模型中，提取所述噪声源的目标图像。
8.一种音视频融合的噪声源定位系统，其特征在于，所述系统包括：
采集模块，所述采集模块用于采集对应监测区域内的实时噪声信号和实时图像信号；
信号预处理模块，所述信号预处理模块用于对所述实时噪声信号和实时图像信号进行预处理，得到预处理后的实时噪声信号和预处理后的实时图像信号；
判断模块，所述判断模块用于判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件，所述判断所述预处理后的实时噪声信号对应的环境噪声事件类型是否为环境噪声污染事件包括：收集各类噪声事件类型的标签信息，并将所述噪声事件类型的标签信息进行排序，组成噪声事件类型一维标签数组，所述噪声事件类型包括噪声污染事件和非噪声污染事件；基于所述噪声事件类型一维标签数组判断所述预处理后的实时噪声信号对应的环境噪声事件类型；
所述基于所述噪声事件类型一维标签数组判断所述预处理后的实时噪声信号对应的环境噪声事件类型包括：对所述预处理后的实时噪声信号进行分析处理，得到噪声事件概率分布数组，将所述噪声事件概率分布数组中的数值进行排序，选择其中数值最大的，且该数值大于一定概率阈值的对应的噪声事件类型记录为所述预处理后的实时噪声信号的噪声事件类型，基于所述噪声事件类型一维标签数组与所述预处理后的实时噪声信号的噪声事件类型进行比对，确定所述预处理后的实时噪声信号对应的环境噪声事件类型；
通信模块，所述通信模块用于将所述环境噪声污染事件的相关信息数据发送到服务器；
数据处理模块，所述数据处理模块用于进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链，所述进行时空计算，提取所述环境噪声污染事件中噪声源的位置信息和目标图像，生成环境噪声污染事件证据链包括：服务器接收到所述环境噪声污染事件的相关信息数据后，判断是否记录所述环境噪声污染事件；计算各个监测装置发送来的环境噪声污染事件的相关信息数据对应时刻信息的时间差，并结合各个监测装置的位置信息，获取所述环境噪声污染事件中噪声源的位置信息；基于所述噪声源的位置信息提取所述环境噪声污染事件的实时图像信号，并对所述环境噪声污染事件的实时图像信号进行识别分割处理，提取所述噪声源的目标图像；结合所述噪声源的位置信息和目标图像生成环境噪声污染事件证据链。
CN202310492534.XA 2023-04-28 2023-04-28 一种音视频融合的噪声源定位方法及系统 Active CN116540178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310492534.XA CN116540178B (zh) 2023-04-28 2023-04-28 一种音视频融合的噪声源定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310492534.XA CN116540178B (zh) 2023-04-28 2023-04-28 一种音视频融合的噪声源定位方法及系统

Publications (2)

Publication Number Publication Date
CN116540178A CN116540178A (zh) 2023-08-04
CN116540178B true CN116540178B (zh) 2024-02-20

Family

ID=87446428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310492534.XA Active CN116540178B (zh) 2023-04-28 2023-04-28 一种音视频融合的噪声源定位方法及系统

Country Status (1)

Country Link
CN (1) CN116540178B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645271A (zh) * 2012-02-24 2012-08-22 珠海高凌环境科技有限公司 环境噪声源智能监督管理系统
CN104463869A (zh) * 2014-12-05 2015-03-25 西安交通大学 一种视频火焰图像复合识别方法
CN105509874A (zh) * 2015-11-20 2016-04-20 东莞职业技术学院 一种基于飞行器的环境噪声探测定位方法
CN108833873A (zh) * 2018-06-15 2018-11-16 冠捷显示科技（厦门）有限公司 一种亮度均匀度运动补偿方法
WO2021038752A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、システム、画像処理方法および画像処理プログラム
CN112532941A (zh) * 2020-11-30 2021-03-19 南京中科声势智能科技有限公司 车辆源强监测方法、装置、电子设备及存储介质
CN113984197A (zh) * 2021-11-18 2022-01-28 上海思亮信息技术股份有限公司 一种噪音监测管理系统
CN115358718A (zh) * 2022-08-24 2022-11-18 广东旭诚科技有限公司 基于智能监测前端的噪声污染分类及实时监管方法
CN115482835A (zh) * 2022-09-06 2022-12-16 北京声智科技有限公司 噪声检测方法、装置、电子设备和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052230B2 (en) * 2011-05-13 2015-06-09 Chevron U.S.A. Inc Industrial process monitoring and imaging
US10896687B2 (en) * 2016-11-18 2021-01-19 Microroyalties, LLC Crowdsourced noise monitoring systems and methods
US11460927B2 (en) * 2020-03-19 2022-10-04 DTEN, Inc. Auto-framing through speech and video localizations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645271A (zh) * 2012-02-24 2012-08-22 珠海高凌环境科技有限公司 环境噪声源智能监督管理系统
CN104463869A (zh) * 2014-12-05 2015-03-25 西安交通大学 一种视频火焰图像复合识别方法
CN105509874A (zh) * 2015-11-20 2016-04-20 东莞职业技术学院 一种基于飞行器的环境噪声探测定位方法
CN108833873A (zh) * 2018-06-15 2018-11-16 冠捷显示科技（厦门）有限公司 一种亮度均匀度运动补偿方法
WO2021038752A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、システム、画像処理方法および画像処理プログラム
CN112532941A (zh) * 2020-11-30 2021-03-19 南京中科声势智能科技有限公司 车辆源强监测方法、装置、电子设备及存储介质
CN113984197A (zh) * 2021-11-18 2022-01-28 上海思亮信息技术股份有限公司 一种噪音监测管理系统
CN115358718A (zh) * 2022-08-24 2022-11-18 广东旭诚科技有限公司 基于智能监测前端的噪声污染分类及实时监管方法
CN115482835A (zh) * 2022-09-06 2022-12-16 北京声智科技有限公司 噪声检测方法、装置、电子设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An improved surveillance video forgery detection technique using sensor pattern noise and correlation of noise residues;Fayyaz et al.;MULTIMEDIA TOOLS AND APPLICATIONS;第79卷(第9期);全文 *
基于图像的目标特征提取算法;武书彦等;广西大学学报(自然科学版);第44卷(第06期);全文 *
联合噪声分类和掩码估计的语音增强方法;凌佳佳;袁晓兵;;电子设计工程(17);全文 *

Also Published As

Publication number Publication date
CN116540178A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN109525935B (zh) 一种针对普适室内环境的智能楼层感知方法及控制系统
US20200075012A1 (en) Methods, apparatuses, systems, devices, and computer-readable storage media for processing speech signals
CA2125095C (en) Automated intelligent monitoring system
CN108229441B (zh) 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法
CN109087655A (zh) 一种交通道路声音监测与异常声音识别系统
US20160064000A1 (en) Sound source-separating device and sound source -separating method
CN101567969A (zh) 基于麦克风阵列声音制导的智能视频导播方法
CN102821194B (zh) 基于多种传感器的手机室内定位装置及方法
EP2907121B1 (en) Real-time traffic detection
CN105445697B (zh) 一种低成本低功耗的声源定向方法
CN105208528A (zh) 一种用于识别同行人员的系统及方法
CN102929887A (zh) 一种基于声音特征识别的快速录像检索方法及系统
CN106328130A (zh) 一种机器人语音寻向转动系统及方法
CN112394324A (zh) 一种基于麦克风阵列的远距离声源定位的方法及系统
CN115914544A (zh) 一种视频会议通讯质量的智能检测方法及系统
CN116540178B (zh) 一种音视频融合的噪声源定位方法及系统
CN113114750B (zh) 基于大数据和云计算的多媒体数字化展厅智能调控云平台
JP6322545B2 (ja) 自動位置特定システム
CN110580915B (zh) 基于可穿戴式设备的声源目标识别系统
RU174044U1 (ru) Аудиовизуальный многоканальный детектор наличия голоса
CN110610204B (zh) 一种基于频率相关性的心音连通网络特征提取方法
CN111429916B (zh) 一种声音信号记录系统
Cosentino et al. Porpoise click classifier (PorCC): A high-accuracy classifier to study harbour porpoises (Phocoena phocoena) in the wild
CN116259313A (zh) 一种基于时域卷积网络的声音事件定位和检测方法
CN110933254B (zh) 一种基于图像分析的声音过滤系统及其声音过滤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant