CN117648537A - 基于超光谱技术的大气污染实时监测方法及系统 - Google Patents
基于超光谱技术的大气污染实时监测方法及系统 Download PDFInfo
- Publication number
- CN117648537A CN117648537A CN202410115389.8A CN202410115389A CN117648537A CN 117648537 A CN117648537 A CN 117648537A CN 202410115389 A CN202410115389 A CN 202410115389A CN 117648537 A CN117648537 A CN 117648537A
- Authority
- CN
- China
- Prior art keywords
- aerosol content
- time
- moment
- content
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000005516 engineering process Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 title claims abstract description 30
- 239000000443 aerosol Substances 0.000 claims abstract description 283
- 230000002159 abnormal effect Effects 0.000 claims abstract description 54
- 230000008859 change Effects 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 238000005259 measurement Methods 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 64
- 238000005070 sampling Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 8
- 238000003915 air pollution Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/20—Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及光学测量技术领域,具体涉及基于超光谱技术的大气污染实时监测方法及系统。该方法使用超光谱仪器获取气溶胶含量数据,用温度计获取大气层温度数据;对超光谱仪器采集到的气溶胶含量进行分析,确定气溶胶含量异常波动值;结合气溶胶含量异常波动值、气溶胶含量与大气层温度的相关联性,确定气溶胶含量的噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数;基于自适应稀疏度参数,利用稀疏表示方法对气溶胶含量进行实时去噪。本发明根据气溶胶含量的实际情况对稀疏度参数进行自适应调整,充分利用数据的潜在结构和特征,提高算法的性能和适应性。
Description
技术领域
本发明涉及光学测量技术领域,具体涉及基于超光谱技术的大气污染实时监测方法及系统。
背景技术
气溶胶含量对大气污染有着重要的影响,因为气溶胶中可能含有各种物质,包括颗粒物、有机物和化学物质。这些物质对空气质量产生直接影响,特别是细颗粒物(PM2.5和PM10)。气溶胶的存在会影响大气的透明度,从而影响能见度。高浓度的气溶胶会导致雾霾和雾,降低能见度,对交通和航空等活动造成不利影响。气溶胶含量的增加往往会导致大气污染问题,直接影响人类健康、生态系统和气候。对气溶胶含量进行实时监测,是实现对大气污染实时监测的重要手段之一。
超光谱技术是一种通过测量物质在不同波长下的吸收或散射光谱来识别和定量分析物质的方法。超光谱技术利用了物质在不同波长下的特异性吸收或散射光谱,可以快速、非破坏性地获取样品的化学成分信息。
现基于超光谱技术在对大气中的气溶胶颗粒含量进行检测时,可能会由于电磁辐射和振动的干扰或者采集过程中仪器的误差,而产生噪声数据。噪声数据的存在会很大程度地影响对大气中异常的气溶胶含量的实时监测,所以需要对气溶胶含量数据进行去噪处理。
目前,常见的对数据去噪的方法是稀疏表示方法,稀疏表示方法对于异常值和噪声具有较好的鲁棒性,能够准确地表示数据的关键特征,具有较好的泛化能力。但是在采用稀疏表示方法对大气中气溶胶含量数据进行数据去噪时,由于真实的异常数据会在数值上呈现出与噪声数据相似的特征,这样会使得算法自身在去噪过程中会有一定的可能性将真实的异常数据误判为噪声数据去除掉。同时,在稀疏表示方法中整个数据段中的稀疏度参数均为一致的,使用一致的稀疏度参数限制了稀疏表示方法的灵活性和自适应性。因为不同的数据集可能需要不同的参数设置来获得最佳的稀疏表示效果,而固定的稀疏度参数无法根据数据的特点进行动态调整,可能无法充分利用数据的潜在结构和特征。
发明内容
为了解决在使用稀疏表示方法对气溶胶含量数据进行去噪时,使用设定好的稀疏度参数会导致存在无法根据数据的特点进行动态调整,进而导致对气溶胶含量数据去噪时准确性较低的技术问题,本发明的目的在于提供基于超光谱技术的大气污染实时监测方法及系统,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种基于超光谱技术的大气污染实时监测方法,该方法包括以下步骤:
获取每个时刻大气层中的气溶胶含量以及大气层温度;
根据每个时刻与相近邻时刻的气溶胶含量的波动情况,确定每个时刻的气溶胶含量的气溶胶含量异常波动值;
根据相邻两个时刻的气溶胶含量和大气层温度的变化情况、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的相关联性;
结合所述气溶胶含量异常波动值和所述相关联性,确定气溶胶含量的噪声真实程度;
利用所述噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数;基于所述自适应稀疏度参数,利用稀疏表示方法对气溶胶含量进行实时去噪。
优选的,所述根据相邻两个时刻的气溶胶含量和大气层温度的变化情况、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的相关联性,包括:
根据相邻两个时刻的气溶胶含量的变化率和大气层温度的变化量的关联程度,作为第一关联性;
根据相邻两个时刻的第一关联性、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的第二关联性;
结合所述第一关联性和所述第二关联性,确定气溶胶含量与大气层温度的相关联性。
优选的,所述根据相邻两个时刻的气溶胶含量的变化率和大气层温度的变化量的关联程度,作为第一关联性,包括:
以气溶胶含量作为纵轴,以时间作为横轴,构建气溶胶含量的折线图,记为含量折线图;
以大气层温度作为纵轴,以时间作为横轴,构建大气层温度的折线图,记为温度折线图;
获取每个时刻与前一时刻的气溶胶含量在含量折线图中对应的线段的斜率的绝对值,作为含量相对斜率;
获取每个时刻与前一时刻的大气层温度在温度折线图中对应的线段的斜率的绝对值,作为温度相对斜率;
将含量相关斜率与温度相关斜率的差值绝对值,作为第一关联性。
优选的,所述第二关联性的计算公式为:
;其中,为第n个时
刻的第二关联性;为第n个时刻对应的相近邻时刻的数量;为第n个时刻对应的第m个
相近邻时刻的含量相对斜率;为第n个时刻对应的第m个相近邻时刻的温度相对斜率;为以自然常数为底数的指数函数;为第n个时刻对应的相近邻时刻内M个气溶胶
含量差值组成的数据段中,第m个相近邻时刻的气溶胶含量差值对应的百分位数;为
第n个时刻对应的相近邻时刻内M个大气层温度差值组成的数据段中,第m个相近邻时刻的
气溶胶含量差值对应的百分位数。
优选的,所述结合所述第一关联性和所述第二关联性,确定气溶胶含量与大气层温度的相关联性,包括:
将所述第一关联性和所述第二关联性的差值,作为总关联性;将所述总关联性的负相关归一化系数作为气溶胶含量与大气层温度的相关联性。
优选的,所述噪声真实程度的计算公式为:
;其中,为第n个时刻的气溶胶含量的噪声真实程度;为线性归一化函数;为第n个时刻
的气溶胶含量异常波动值;为第n个时刻的相关联性;为与由第n个时刻对应的相近邻时
刻构成的时间段相邻的参考时间段的数量;为第n个时刻的相邻近时刻内气溶胶含量异
常波动值的平均值;为第n个时刻的相邻近时刻内相关联性的平均值;为第n个时刻对
应的时间段所对应的第u个参考时间段内气溶胶含量异常波动值的平均值;为第n个时
刻对应的时间段所对应的第u个参考时间段内相关联性的平均值;为以自然常数e为
底数的指数函数。
优选的,所述气溶胶含量异常波动值的计算公式为:
其中,为第n个时刻的气溶胶含量的气溶胶含量异常波动值;为第n个时刻对应
的相近邻时刻的数量;为第n个时刻的气溶胶含量;为第n个时刻对应的第m个相近邻
时刻的气溶胶含量;为第n个时刻对应的相近邻时刻内M个气溶胶含量差值组成的数据
段中,第n个时刻的气溶胶含量差值对应的百分位数。
优选的,所述气溶胶含量差值的获取方法为:计算每个时刻与前一时刻的气溶胶含量的差异,作为每个时刻的气溶胶含量差值。
优选的,所述利用所述噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数,包括:
将所述噪声真实程度作为权重,对初始的预设稀疏度参数进行加权,得到更新后的自适应稀疏度参数。
第二方面,本发明一个实施例提供了一种基于超光谱技术的大气污染实时监测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于超光谱技术的大气污染实时监测方法。
本发明实施例至少具有如下有益效果:
本发明涉及光学测量技术领域。该方法首先获取每个时刻大气层中的气溶胶含量以及大气层温度;对气溶胶含量的波动情况、气溶胶含量和大气层温度的变化情况进行分析,确定气溶胶含量异常波动值、气溶胶含量与大气层温度的相关联性,因为需要被去除的是异常偏大的气溶胶含量数据,故待分析数据与其周围数据的差异越大,该数据对应的异常程度也就会越大;且在大气环境中温度越低,气溶胶越容易凝结和增长,会导致气溶胶含量增加,故进一步考虑了气溶胶含量和大气层温度的变化情况;然后结合气溶胶含量异常波动值和相关联性,确定气溶胶含量的噪声真实程度,通过对实时的气溶胶含量以及同时刻下的大气层温度数据的变化特征的分析,得到每一个气溶胶含量数据的噪声真实程度,进而对每一个气溶胶含量数据的稀疏度参数进行自适应。这样可以在对气溶胶含量数据进行数据去噪时尽可能地排除点真实的异常数据的干扰。会使得去早结果更加准确;利用噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数,通过自适应每一个气溶胶含量数据的稀疏度参数,可以更好地适应数据的变化,更准确地捕捉到数据的局部结构和特征,使用自适应的稀疏度参数可以使稀疏表示更准确地还原数据本身。自适应的稀疏度参数可以使算法更灵活地适应不同数据集的特点和分布;基于自适应稀疏度参数,利用稀疏表示方法对气溶胶含量进行实时去噪。本发明根据气溶胶含量的实际情况对稀疏度参数进行自适应调整,充分利用数据的潜在结构和特征,提高算法的性能和适应性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的基于超光谱技术的大气污染实时监测方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于超光谱技术的大气污染实时监测方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了基于超光谱技术的大气污染实时监测方法及系统的具体实施方法,该方法适用于大气污染实时监测场景。为了解决在使用稀疏表示方法对气溶胶含量数据进行去噪时,使用设定好的稀疏度参数会导致存在无法根据数据的特点进行动态调整,进而导致对气溶胶含量数据去噪时准确性较低的技术问题。本发明对气溶胶含量数据的变化特征结合大气层温度数据的变化特征进行分析,得到每一个气溶胶含量数据的噪声真实程度,进而对每一个气溶胶含量数据的稀疏度参数进行自适应,以实现对气溶胶含量的去噪。本发明根据气溶胶含量的实际情况对稀疏度参数进行自适应调整,充分利用数据的潜在结构和特征,提高算法的性能和适应性。
下面结合附图具体的说明本发明所提供的基于超光谱技术的大气污染实时监测方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于超光谱技术的大气污染实时监测方法的步骤流程图,该方法包括以下步骤:
步骤S100,获取每个时刻大气层中的气溶胶含量以及大气层温度。
本发明实施例结合气溶胶含量数据的变化特征与同一时刻下的温度数据的变化特征进行分,得到每一个气溶胶含量的噪声真实程度,依据每一个气溶胶含量的噪声真实程度对每个数据对应的稀疏度参数进行自适应。
在对气溶胶含量数据以及温度数据进行采集时,需要分别使用超光谱仪器与温度计对气溶胶含量数据以及温度数据进行采集和记录,其中,超光谱仪器例如微多普勒激光雷达。具体采集时长为三十分钟,采集频率为一秒一次。之后使用模数转换设备,对于气溶胶含量数据以及大气层温度数据进行数字化转换,得到其数字表示,后续再对这些数据进行分析。在后续步骤中,将气溶胶含量数据简称为气溶胶含量,将大气层温度数据简称为大气层温度。
步骤S200,根据每个时刻与相近邻时刻的气溶胶含量的波动情况,确定每个时刻的气溶胶含量的气溶胶含量异常波动值。
本发明实施例的核心是对每一个气溶胶含量的稀疏度参数进行自适应,解决问题的手段是通过分析同一个时刻下的气溶胶含量以及大气层温度的变化特征。具体的,首先应该对采集到的气溶胶含量的变化特征进行分析,得到每一个气溶胶含量的异常程度;然后,对同一个时刻下的大气层温度数据的变化特征进行分析,得到每一个气溶胶含量与温度变化相关程度;再结合每一个气溶胶含量的异常程度以及其温度稳定程度进行分析,得到每一个气溶胶含量的噪声真实程度;最后,依据每一个气溶胶含量的噪声真实程度再结合初始的预设稀疏度参数,自适应得到每一个气溶胶含量的新的稀疏度参数。
本发明实施例对每一个气溶胶含量的稀疏度参数进行自适应的过程为:
(1)分析气溶胶含量数据的变化特征,得到每一个气溶胶含量数据的异常程度;
(2)分析同一时刻下的大气层温度数据的变化特征,得到每一个气溶胶含量数据与温度变化相关程度;
(3)分析计算每一个气溶胶含量数据的噪声真实程度;
(4)计算得到每一个气溶胶含量数据的新的稀疏度参数。
首先分析气溶胶含量数据的变化特征,得到每一个气溶胶含量数据的异常程度。
通过逻辑分析,需要在本步骤对气溶胶含量的变化特征进行分析,得到每一个气溶胶含量的异常程度。由于,在本实施例的实施场景中,需要被去除的是异常偏大的气溶胶含量数据,所以应将不正常的偏大的数据视作有可能存在的噪声点并计算其异常程度。其对应的逻辑为,每一个气溶胶含量数据与其周围数据之间关于气溶胶含量值之间的平均差异越大,说明该气溶胶含量数据的数值越有可能属于不正常的偏大的数据,其被视作噪声数据的合理性越大,对应的异常程度也应该越大;每一个气溶胶含量数据较其上一数据的数值变化对应的值,在该待分析的数据周围所有参考数据组成的数据段中所有相邻数据之间的数据量对应的值中的百分位数越大,说明该待分析数据较其上一数据的变化量的值越大,那么上述逻辑中该待分析数据与其周围数据的平均差异值越大,该数据对应的异常程度也就会越大。
为了实现上述逻辑,应在每一个待分析的气溶胶含量数据的周围选取预设数量个数据作为参考数据进行异常波动的分析。在本发明实施例中预设数量的取值为50,在其他实施例中可由实施者根据实际情况调整该取值。在待分析的气溶胶含量数据的左右两侧分别取25个数据,若待分析数据的左右两侧其中一侧不足25个数据,可以在另外一侧选取更多的数据以实现选取50个数据作为参考数据。依据上述逻辑与操作,计算每一个气溶胶含量的异常程度,也即为气溶胶含量的气溶胶含量异常波动值。
故更具体的,根据每个时刻与相近邻时刻的气溶胶含量的波动情况,确定每个时刻的气溶胶含量的气溶胶含量异常波动值。
首先计算每个时刻与前一时刻的气溶胶含量的差异,作为每个时刻的气溶胶含量差值。
该气溶胶含量异常波动值的计算公式为:
其中,为第n个时刻的气溶胶含量的气溶胶含量异常波动值;为第n个时刻对应
的相近邻时刻的数量;为第n个时刻的气溶胶含量;为第n个时刻对应的第m个相近邻
时刻的气溶胶含量;为第n个时刻对应的相近邻时刻内M个气溶胶含量差值组成的数据
段中,第n个时刻的气溶胶含量差值对应的百分位数。
其中,反映了第n个时刻对应的气溶胶含量与其周围M个参考数
据对应数值的平均差异值。第n个时刻的气溶胶含量差值对应的百分位数越大,则反映计算
的第n个时刻对应的气溶胶含量与其他数据之间的平均差异越大,那么该第n个时刻对应的
气溶胶含量的异常程度也会越大。
步骤S300,根据相邻两个时刻的气溶胶含量和大气层温度的变化情况、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的相关联性。
通过步骤S200对于一段时间内的气溶胶含量数据的变化特征进行分析,得到了每一个气溶胶含量数据的气溶胶含量异常波动值,但是该气溶胶含量异常波动值是没有将系统真实发生的异常数据排除在外的。所以,在本步骤中有必要引入大气层温度数据对每一个气溶胶含量数据与温度变化相关程度进行分析。根据场景调研可知,在大气环境中温度越低,气溶胶越容易凝结和增长,会导致气溶胶含量增加。所以,越符合场景中两种数据变化关系的数据,可以被视为系统中真实发生的异常数据,也即越符合场景中两种数据负相关变化关系的数据,可以被视为系统中真实发生的异常数据。
故进一步的,分析同一时刻下的大气层温度数据的变化特征,得到每一个气溶胶含量数据与温度变化相关程度。
具体对于每一个气溶胶含量的温度稳定程度分析依赖的逻辑是:每一个采样时刻较其上一个采样时刻,关于气溶胶含量数值变化量与温度数值变化量之间的斜率差,与在待分析的时刻周围选取的参考数据段中所有相邻采样时刻关于这两种数据的平均斜率差的差异值越大,说明当前待分析的采样时刻对应的气溶胶含量的变化越不符合场景特征,那么其气溶胶含量的变化属于大气层温度变化造成的可能性越小,对应的该气溶胶含量与温度变化相关程度越大。
在对待分析的时刻周围选取的参考数据段中所有相邻采样时刻关于这两种数据的平均斜率差计算时,由于可能会存在某些噪声数据影响平均值的准确性,所以这里给每一个相邻时刻之间的气溶胶含量数据与温度数据变化的斜率差引入权重,对其加权平均得到整个参考数据段中关于这两种数据之间的平均斜率差。对应权重计算的逻辑是:参考数据段中的其中一个采样时刻对应的气溶胶含量的百分位数与1减去大气层温度的百分位数的结果值之间的差异越小,则反映在参考数据段中的这一采样时刻对应的气溶胶含量数据与温度数据在二者分别所属两个参考数据段中的相对大小关系是越符合负相关关系的,那么说明这一个采样时刻的数据更加真实,其加权时对应的权重也就应该越大。
根据相邻两个时刻的气溶胶含量和大气层温度的变化情况、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的相关联性,具体的:
根据相邻两个时刻的气溶胶含量的变化率和大气层温度的变化量的关联程度,作为第一关联性;
根据相邻两个时刻的第一关联性、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的第二关联性;
结合所述第一关联性和所述第二关联性,确定气溶胶含量与大气层温度的相关联性。
其中,根据相邻两个时刻的气溶胶含量的变化率和大气层温度的变化量的关联程度,作为第一关联性,具体的:气溶胶含量作为纵轴,以时间作为横轴,构建气溶胶含量的折线图,记为含量折线图;以大气层温度作为纵轴,以时间作为横轴,构建大气层温度的折线图,记为温度折线图;获取每个时刻与前一时刻的气溶胶含量在含量折线图中对应的线段的斜率的绝对值,作为含量相对斜率;获取每个时刻与前一时刻的大气层温度在温度折线图中对应的线段的斜率的绝对值,作为温度相对斜率;将含量相关斜率与温度相关斜率的差值绝对值,作为第一关联性。
第一关联性反映了气溶胶含量以及大气层温度这两个数据在第n个时刻时两者对应的相关关系。
其中,第二关联性的计算公式为:
;其中,为第n个时
刻的第二关联性;为第n个时刻对应的相近邻时刻的数量;为第n个时刻对应的第m个
相近邻时刻的含量相对斜率;为第n个时刻对应的第m个相近邻时刻的温度相对斜率;为以自然常数为底数的指数函数;为第n个时刻对应的相近邻时刻内M个气溶胶
含量差值组成的数据段中,第m个相近邻时刻的气溶胶含量差值对应的百分位数;为
第n个时刻对应的相近邻时刻内M个大气层温度差值组成的数据段中,第m个相近邻时刻的
气溶胶含量差值对应的百分位数。需要说明的是,大气层温度差值的获取方法为:计算每个
时刻与前一时刻的大气层温度的差异,作为每个时刻的大气层温度差值。
其中,为第n个时刻对应的气溶胶含量周围的第m个用于参考的
气溶胶含量较上一时刻的数据的连线斜率,与第n个时刻对应的大气层温度周围的第m个用
于参考的大气层温度较上一时刻的数据的连线斜率。需要说明的是,百分位数的获取方法
为本领域技术人员的公知技术,在此不再进行赘述,获取百分位数的方法一般步骤为:首先
将数据段中的数据按照升序排列;找到给定数值在排序后数据中的位置;计算该位置对应
的百分位。第n个时刻对应的相近邻时刻内M个气溶胶含量差值组成的数据段中,第m个相近
邻时刻的气溶胶含量差值对应的百分位数,也即为第n个气溶胶含量数据周围的第m
个用于参考的气溶胶含量数据的数值与其同一时刻下对应的温度数据的数值在各自所属
数据段中点的百分位数。反映了第m个相近邻时刻的气溶胶含量差值
与大气层温度差值这两种数据在各自数据段中的百分位数之间的变化紧密性,即表示了二
者距离各自数据段中二分位数的距离,这里由于二者都要通过与中位数0.5作差得到距离
二分位数的差异,所以为了简化公式,省略掉了“-0.5”,由于气溶胶含量差值与大气层温度
差值这两种数据呈负相关,所以这里使用之后再分析了二者变化紧密性,之后
使用线性归一化函数对二者的相关性进行归一化处理,反映了在参考数据段长度的每一个采样点的气溶胶含
量数据与温度数据在各自数据段中的百分位数之间的变化紧密性之和,也表示了该数据段
中点的数据的权重之和,而则代表了在第n个待分析时刻周围的
第m个相近邻时刻的两种数据之间相关关系之间的可信度,也就是数据段中每一个采样时
刻的两种数据之间相关性在加权平均时的权重,该可信度越大对应权重越大。
最后结合得到的第一关联性和第二关联性,确定气溶胶含量与大气层温度的相关联性:将所述第一关联性和所述第二关联性的差值,作为总关联性;将总关联性的负相关归一化系数作为气溶胶含量与大气层温度的相关联性。在本发明实施例中将自然常数作为底数,以负的总关联性作为指数的指数函数值,作为气溶胶含量与大气层温度的相关联性,以实现对总关联性的负相关归一化处理,在其他实施例中实施者还可以选择其他方法实现总关联性的负相关归一化。
步骤S400,结合所述气溶胶含量异常波动值和所述相关联性,确定气溶胶含量的噪声真实程度。
通过上述步骤的分析,获得每一个气溶胶含量数据对应的气溶胶含量异常波动值与相关联性,这两个指标均可以在一定程度上反应一个气溶胶含量数据属于噪声数据的可能性,但是均不够准确。所以在本步骤,需要将二者进行结合使其共同反映一个气溶胶含量数据的噪声真实性,同时在分析时应结合多个数据段与当前数据所在数据段之间关于上述两个指标之间的差异进行分析,使得对于每一个气溶胶含量的噪声真实程度的分析更加准确。
对于每一个气溶胶含量的噪声真实程度进行分析依赖的逻辑是,每一个气溶胶含量数据的异常程度越大,其噪声真实程度越大;每一个气溶胶含量数据的温度稳定程度越大,说明该数据的数值变化与场景因素之间的相关性越强,也即说明该数据的数值变化与温度之间的相关性越强,那么该数据属于噪声数据的可能性就会越小,其噪声真实程度也就会越小;每一个气溶胶含量数据所处的参考数据段内的气溶胶含量异常波动值的平均值与该数据段周围的数据段中的气溶胶含量异常波动值的平均值的差值越大,可以说明该数据段内数据变化的异常程度较大的可信度越大,该数据段内存在噪声数据的可能性越大,那么当前分析的气溶胶含量数据的噪声真实程度也就会越大;每一个气溶胶含量数据所处的参考数据段内的与温度变化的平均相关联性,与该数据段周围数据段中的与温度变化的平均相关联性的差值越大,可以说明该数据段内的数据之间的数值变化是受温度变化引起的可能性越大,该数据段内的数据与温度变化相关程度越大的可信度越大,那么该数据段中在噪声数据的可能性就会越小,当前分析的气溶胶含量数据的噪声真实程度就会越小。
为了实现上述逻辑,需在当前待分析的数据对应的时刻所属的时间段的两侧分别选取三个等长度的参考时间段进行本步骤的分析。若当前待分析的数据对应的时刻所属的时间段的其中一侧数据不够组成三个数据段,就在另一侧选取更多的数据并凑够六个数据段进行分析。依据上述逻辑与操作,计算每一个气溶胶含量数据的噪声真实程度。
该噪声真实程度的计算公式为:
;其中,为第n个时刻的气溶胶含量的噪声真实程度;为线性归一化函数;为第n个时刻
的气溶胶含量异常波动值;为第n个时刻的相关联性;为与由第n个时刻对应的相近邻时
刻构成的时间段相邻的参考时间段的数量;为第n个时刻的相邻近时刻内气溶胶含量异
常波动值的平均值;为第n个时刻的相邻近时刻内相关联性的平均值;为第n个时刻对
应的时间段所对应的第u个参考时间段内气溶胶含量异常波动值的平均值;为第n个时
刻对应的时间段所对应的第u个参考时间段内相关联性的平均值;为以自然常数e为
底数的指数函数。在本发明实施例中与由第n个时刻对应的相近邻时刻构成的时间段相邻
的参考时间段的数量U的取值为6,在其他实施例中可由实施者根据实际情况调整该取值。
其中,表示第n个时刻的气溶胶含量所属时间段中数据的平
均气溶胶含量异常波动值与该数据段周围所有参考时间段中数据的平均气溶胶含量异常
波动值的差值之和,该差值之和与噪声真实程度呈正相关关系。表
示第n个时刻的大气层温度数据所属时间段中气溶胶含量与温度变化的平均相关联性,与
该时间段的参考时间段的所有气溶胶含量与温度变化的平均相关联性的差值之和,该值与
噪声真实程度呈负相关。
步骤S500,利用所述噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数;基于所述自适应稀疏度参数,利用稀疏表示方法对气溶胶含量进行实时去噪。
通过步骤S400得到了每一个气溶胶含量的噪声真实程度,而在本发明实施例中对于每一个气溶胶含量数据的稀疏度参数进行自适应的依据就是噪声真实程度。
在稀疏表示方法中,稀疏度参数可以控制稀疏表示中非零系数的个数,从而调节重构精度和异常检测的效果。当稀疏度参数设置得较小时,表示结果会更加密集,可能包含一些对异常数据过于敏感的系数,导致重构结果不准确;而当稀疏度参数设置得较大时,表示结果会更加稀疏,可以有效地去除一些异常数据,但可能会存在对数据中重要信息的丢失的问题,从而影响模型的性能。那么,稀疏度表示算法应用于本发明实施例的场景中时,其稀疏度参数自适应依据的逻辑就是每一个气溶胶含量数据的噪声真实程度越大,说明该气溶胶含量数据越可能属于噪声数据,那么该数据就应该需要更大的稀疏度参数对其进行去噪。依据上述逻辑,并结合初始预设的全局统一的初始的预设稀疏度参数,确定每一个气溶胶含量数据对应的新的自适应稀疏度参数。
即利用噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数,具体的:将所述噪声真实程度作为权重,对初始的预设稀疏度参数进行加权,得到更新后的自适应稀疏度参数。
;其中,为第n个时刻对应的自适应稀疏度参数;为初始
的预设稀疏度参数;为第n个时刻的气溶胶含量的噪声真实程度。
在得到每个气溶胶含量的自适应稀疏度参数之后,基于所述自适应稀疏度参数,利用稀疏表示方法对气溶胶含量进行实时去噪。
即对大气中的气溶胶含量使用改进后的稀疏表示方法进行数据去噪:1.选择或学习一个合适的字典,该字典需要较好地表示待处理数据的结构特征。常见的字典包括小波基、稀疏傅里叶字典、稀疏编码字典等。字典学习可以通过训练集上的优化问题来实现,如稀疏表示稀疏编码和字典迭代算法等;2.使用所选的字典,将待处理数据进行稀疏表示。通常使用L1范数正则化方法,如Lasso算法,来获得最稀疏的表示系数;3.结合本方案中自适应调整的稀疏度参数与稀疏表示系数和字典,对信号进行重建,进而利用稀疏表示方法对气溶胶含量进行实时去噪。
综上所述,本发明涉及光学测量技术领域。该方法首先获取每个时刻大气层中的气溶胶含量以及大气层温度;根据每个时刻与相近邻时刻的气溶胶含量的波动情况,确定每个时刻的气溶胶含量的气溶胶含量异常波动值;根据相邻两个时刻的气溶胶含量和大气层温度的变化情况、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的相关联性;结合所述气溶胶含量异常波动值和所述相关联性,确定气溶胶含量的噪声真实程度;利用所述噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数;基于所述自适应稀疏度参数,利用稀疏表示方法对气溶胶含量进行实时去噪。本发明根据气溶胶含量的实际情况对稀疏度参数进行自适应调整,充分利用数据的潜在结构和特征,提高算法的性能和适应性。
本发明实施例还提出了一种基于超光谱技术的大气污染实时监测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。由于一种基于超光谱技术的大气污染实时监测方法在上述给出了详细描述,不再赘述。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种基于超光谱技术的大气污染实时监测方法,其特征在于,该方法包括以下步骤:
获取每个时刻大气层中的气溶胶含量以及大气层温度;
根据每个时刻与相近邻时刻的气溶胶含量的波动情况,确定每个时刻的气溶胶含量的气溶胶含量异常波动值;
根据相邻两个时刻的气溶胶含量和大气层温度的变化情况、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的相关联性;
结合所述气溶胶含量异常波动值和所述相关联性,确定气溶胶含量的噪声真实程度;
利用所述噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数;基于所述自适应稀疏度参数,利用稀疏表示方法对气溶胶含量进行实时去噪。
2.根据权利要求1所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述根据相邻两个时刻的气溶胶含量和大气层温度的变化情况、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的相关联性,包括:
根据相邻两个时刻的气溶胶含量的变化率和大气层温度的变化量的关联程度,作为第一关联性;
根据相邻两个时刻的第一关联性、每个时刻的气溶胶含量与相邻的气溶胶含量差异,确定气溶胶含量与大气层温度的第二关联性;
结合所述第一关联性和所述第二关联性,确定气溶胶含量与大气层温度的相关联性。
3.根据权利要求2所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述根据相邻两个时刻的气溶胶含量的变化率和大气层温度的变化量的关联程度,作为第一关联性,包括:
以气溶胶含量作为纵轴,以时间作为横轴,构建气溶胶含量的折线图,记为含量折线图;
以大气层温度作为纵轴,以时间作为横轴,构建大气层温度的折线图,记为温度折线图;
获取每个时刻与前一时刻的气溶胶含量在含量折线图中对应的线段的斜率的绝对值,作为含量相对斜率;
获取每个时刻与前一时刻的大气层温度在温度折线图中对应的线段的斜率的绝对值,作为温度相对斜率;
将含量相关斜率与温度相关斜率的差值绝对值,作为第一关联性。
4.根据权利要求3所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述第二关联性的计算公式为:
;其中,/>为第n个时刻的第二关联性;/>为第n个时刻对应的相近邻时刻的数量;/>为第n个时刻对应的第m个相近邻时刻的含量相对斜率;/>为第n个时刻对应的第m个相近邻时刻的温度相对斜率;/>为以自然常数为底数的指数函数;/>为第n个时刻对应的相近邻时刻内M个气溶胶含量差值组成的数据段中,第m个相近邻时刻的气溶胶含量差值对应的百分位数;/>为第n个时刻对应的相近邻时刻内M个大气层温度差值组成的数据段中,第m个相近邻时刻的气溶胶含量差值对应的百分位数。
5.根据权利要求2所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述结合所述第一关联性和所述第二关联性,确定气溶胶含量与大气层温度的相关联性,包括:
将所述第一关联性和所述第二关联性的差值,作为总关联性;将所述总关联性的负相关归一化系数作为气溶胶含量与大气层温度的相关联性。
6.根据权利要求1所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述噪声真实程度的计算公式为:
;其中,/>为第n个时刻的气溶胶含量的噪声真实程度;/>为线性归一化函数;/>为第n个时刻的气溶胶含量异常波动值;/>为第n个时刻的相关联性;/>为与由第n个时刻对应的相近邻时刻构成的时间段相邻的参考时间段的数量;/>为第n个时刻的相邻近时刻内气溶胶含量异常波动值的平均值;/>为第n个时刻的相邻近时刻内相关联性的平均值;/>为第n个时刻对应的时间段所对应的第u个参考时间段内气溶胶含量异常波动值的平均值;/>为第n个时刻对应的时间段所对应的第u个参考时间段内相关联性的平均值;/>为以自然常数e为底数的指数函数。
7.根据权利要求1所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述气溶胶含量异常波动值的计算公式为:
;
其中,为第n个时刻的气溶胶含量的气溶胶含量异常波动值;/>为第n个时刻对应的相近邻时刻的数量;/>为第n个时刻的气溶胶含量;/>为第n个时刻对应的第m个相近邻时刻的气溶胶含量;/>为第n个时刻对应的相近邻时刻内M个气溶胶含量差值组成的数据段中,第n个时刻的气溶胶含量差值对应的百分位数。
8.根据权利要求7所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述气溶胶含量差值的获取方法为:计算每个时刻与前一时刻的气溶胶含量的差异,作为每个时刻的气溶胶含量差值。
9.根据权利要求1所述的基于超光谱技术的大气污染实时监测方法,其特征在于,所述利用所述噪声真实程度,调节初始的预设稀疏度参数,得到更新后的自适应稀疏度参数,包括:
将所述噪声真实程度作为权重,对初始的预设稀疏度参数进行加权,得到更新后的自适应稀疏度参数。
10.一种基于超光谱技术的大气污染实时监测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1~9任意一项所述一种基于超光谱技术的大气污染实时监测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410115389.8A CN117648537B (zh) | 2024-01-29 | 2024-01-29 | 基于超光谱技术的大气污染实时监测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410115389.8A CN117648537B (zh) | 2024-01-29 | 2024-01-29 | 基于超光谱技术的大气污染实时监测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117648537A true CN117648537A (zh) | 2024-03-05 |
CN117648537B CN117648537B (zh) | 2024-04-02 |
Family
ID=90049818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410115389.8A Active CN117648537B (zh) | 2024-01-29 | 2024-01-29 | 基于超光谱技术的大气污染实时监测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117648537B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108387909A (zh) * | 2018-01-23 | 2018-08-10 | 国耀量子雷达科技有限公司 | 基于激光雷达网的区域环境监测系统 |
CN108519340A (zh) * | 2018-03-28 | 2018-09-11 | 刘诚 | 一种卫星遥感污染气体柱浓度时空分布反演算法 |
CN108761486A (zh) * | 2018-05-16 | 2018-11-06 | 大连理工大学 | 基于Scheimpflug原理的新型激光雷达系统 |
CN110441777A (zh) * | 2019-07-11 | 2019-11-12 | 中山大学 | 一种基于激光雷达的气溶胶垂直廓线的反演方法 |
CN113177488A (zh) * | 2021-05-07 | 2021-07-27 | 华北理工大学 | 基于最佳指数波段组合的高光谱图像波段选择方法 |
WO2021234292A1 (fr) * | 2020-05-20 | 2021-11-25 | Electricite De France | Procédé et système de surveillance en continu de la contamination radioactive atmosphérique |
-
2024
- 2024-01-29 CN CN202410115389.8A patent/CN117648537B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108387909A (zh) * | 2018-01-23 | 2018-08-10 | 国耀量子雷达科技有限公司 | 基于激光雷达网的区域环境监测系统 |
CN108519340A (zh) * | 2018-03-28 | 2018-09-11 | 刘诚 | 一种卫星遥感污染气体柱浓度时空分布反演算法 |
CN108761486A (zh) * | 2018-05-16 | 2018-11-06 | 大连理工大学 | 基于Scheimpflug原理的新型激光雷达系统 |
CN110441777A (zh) * | 2019-07-11 | 2019-11-12 | 中山大学 | 一种基于激光雷达的气溶胶垂直廓线的反演方法 |
WO2021234292A1 (fr) * | 2020-05-20 | 2021-11-25 | Electricite De France | Procédé et système de surveillance en continu de la contamination radioactive atmosphérique |
CN113177488A (zh) * | 2021-05-07 | 2021-07-27 | 华北理工大学 | 基于最佳指数波段组合的高光谱图像波段选择方法 |
Non-Patent Citations (5)
Title |
---|
朱江;唐晓;王自发;吴林;: "大气污染资料同化与应用综述", 大气科学, no. 03, 15 May 2018 (2018-05-15) * |
李兆阳;奚晓霞;杨辉;丁明科;: "华北冬季能见度变化的三种典型特征及影响因子分析", 环境保护科学, no. 03, 17 June 2020 (2020-06-17) * |
沈瑜;党建武;苟吉祥;郭瑞;刘成;王小鹏;李磊;: "近红外与可见光双通道传感器信息融合的去雾技术", 光谱学与光谱分析, no. 05, 15 May 2019 (2019-05-15) * |
王廷银;林明贵;陈达;吴允平;: "基于北斗RDSS的核辐射监测应急通讯方法", 计算机系统应用, no. 12, 15 December 2019 (2019-12-15) * |
王雯燕;唐文哲;邓小丽;李国平;张雅斌;程龙;: "烟花爆竹燃放对西安环境空气质量影响的个例分析", 成都信息工程学院学报, no. 02, 15 April 2015 (2015-04-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN117648537B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112417370B (zh) | 粗糙表面物质的穆勒琼斯矩阵估计及偏振噪声分析方法 | |
CN116879297B (zh) | 土壤水分协同反演的方法、装置、设备和介质 | |
CN113160084B (zh) | 多孔硅生物传感器表面量子点荧光图像的去噪方法及装置 | |
CN111879709B (zh) | 湖泊水体光谱反射率检验方法及装置 | |
CN114372707A (zh) | 一种基于遥感数据的高寒湿地退化程度监测方法 | |
CN113866102A (zh) | 一种基于光谱的土壤健康调查监测方法 | |
CN113436153A (zh) | 一种基于高光谱成像和支持向量机技术的原状土壤剖面碳组分预测方法 | |
CN113049500B (zh) | 水质检测模型训练和水质检测方法、电子设备及存储介质 | |
CN112630180B (zh) | 水体中有机磷农药浓度检测的紫外/可见光吸收光谱模型 | |
CN117648537B (zh) | 基于超光谱技术的大气污染实时监测方法及系统 | |
CN111766210B (zh) | 一种近岸复杂海水硝酸盐氮多光谱测量方法 | |
CN116312860B (zh) | 基于监督迁移学习的农产品可溶性固形物预测方法 | |
CN115809427B (zh) | 基于混合策略优化bp神经网络的混合气体识别方法 | |
CN115266583B (zh) | 环境光滤除方法、系统、计算机设备及计算机可读存储介质 | |
CN116858789A (zh) | 食品安全检测系统及其方法 | |
CN116911183A (zh) | 岩溶湿地水体叶绿素a反演的方法、系统、设备及介质 | |
CN113607068B (zh) | 一种光声测量信号特征的识别模型建立方法及提取方法 | |
CN115049026A (zh) | 基于gsnnr的空间非平稳性关系的回归分析方法 | |
CN111898314B (zh) | 湖泊水体参数检验方法、装置、电子设备及存储介质 | |
CN113222929A (zh) | 一种基于全变分的烟雾浓度检测方法及装置 | |
CN111220571A (zh) | 一种基于幅值离散度的二次谐波信号拟合方法及系统 | |
Magnussen et al. | Continuous feature networks: A novel method to process irregularly and inconsistently sampled data with position-dependent features | |
CN117798744B (zh) | 一种数控机床运行状态监测方法 | |
CN114894717B (zh) | 环境预测信息生成方法、装置、电子设备和可读介质 | |
CN117664906B (zh) | 基于光谱特征的水体抗生素污染检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |