CN116381719B - 一种基于激光雷达的污染区域增强识别方法 - Google Patents
一种基于激光雷达的污染区域增强识别方法 Download PDFInfo
- Publication number
- CN116381719B CN116381719B CN202310039662.9A CN202310039662A CN116381719B CN 116381719 B CN116381719 B CN 116381719B CN 202310039662 A CN202310039662 A CN 202310039662A CN 116381719 B CN116381719 B CN 116381719B
- Authority
- CN
- China
- Prior art keywords
- pollution
- threshold
- background
- deviation
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000010801 machine learning Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000003915 air pollution Methods 0.000 claims abstract description 11
- 230000035945 sensitivity Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000007664 blowing Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 11
- 230000008033 biological extinction Effects 0.000 abstract description 10
- 239000003344 environmental pollutant Substances 0.000 abstract description 9
- 231100000719 pollutant Toxicity 0.000 abstract description 9
- 238000001914 filtration Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 10
- 239000000443 aerosol Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000306 component Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 239000005427 atmospheric aerosol Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000002552 dosage form Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于激光雷达的污染区域增强识别方法,属于激光雷达技术领域,是一种将机器学习、背景大气数据拟合与判别迭代相结合的方法,通过置信区间筛选数据后拟合背景大气斜线,再选取适宜的迭代判别阈值,与机器学习输出的偏差统计分位数做迭代判别比较,实现背景斜率自动迭代和污染分布识别,这种方法避免了求解消光系数,且调节迭代判别阈值能改变污染识别的敏感程度,能提高从激光雷达探测数据中识别污染物的效率和准确性。在空气污染造成的水平大气的不均匀扰动易淹没在量级更大的背景均匀大气中情况下,很好解决传统污染识别方法精度不足,效率低的问题。
Description
技术领域
本发明属于激光雷达技术领域,具体涉及一种基于激光雷达的污染区域增强识别方法。
背景技术
激光雷达是一种主动的现代光学遥感技术,也是大气遥感的热点研究领域。通过激光雷达发射子系统向空中发射激光脉冲,激光束与大气气溶胶粒子和大气分子等发生相互作用,通过望远镜接收此相互作用所产生的回波信号,再经过数据反演算法处理,即可获取大气中相关的光学特性参数,如消光系数、后向散射系数、边界层高度、能见度等。气溶胶激光雷达使用1.5μm进行探测与其他频段相比具有众多优势,其中包括:更小的瑞利散射干扰,更高的人眼可承受最大曝光功率,更小的大气衰减率和更少的天空背景辐射。使用水平扫描激光雷达能够实现指定区域的无人值守、全天候、多方位水平监测,从而分析污染物的时空动态变化特征和输运路径,可用于城市大气污染的防控治理。
目前,水平污染分布的研究方法主要是现场气象站、车载激光雷达、大尺度卫星观测和大气模式计算数据相结合。然而,星载激光雷达系统会受到云的影响,且时空分辨率不足,难以用作空气污染的紧急预警;传统的1064/532/355nm波长存在人眼安全问题,常用于垂直观测或斜向上观测,难以实现城市水平观测;现场气象站只能单点原位测量;大气模式计算适用于大尺度分析。现有的大规模大气污染监测手段已无法满足环境超精细管控的需要。
现有的水平污染识别的算法主要基于雷达回波信号反演出的消光系数或距离校正信号,消光系数的反演过程繁琐耗时且需要根据实际情况做条件假设,而且这些算法受限于信噪比,在水平分布图中污染物的显示效果并不明显。此外,这种仅根据单一的激光雷达数据反演进行识别的方法,或是无法根据天气和气象条件以及空气质量指数调整算法,导致无法对局地轻污染进行有效的识别;或是基于人工判断,过程繁琐;还存在异常突变点影响反演结果的问题。而机器学习可以自动地学习到来自天气和气象条件以及空气质量指数的特征,这种有效综合应用多源观测数据的方法,使得对污染的判断具有更多的依据也更准确。而目前将机器学习用于激光雷达探测气溶胶方面,多是消光系数、光学厚度等气溶胶参数反演的精度提高、效率改善、误差分析和优化、气溶胶分类识别、PM2.5反演和预测,但由于还需要求解消光系数,仍存在反演过程繁琐耗时且需要根据实际情况做条件假设的缺点。
有鉴于此,特提出本发明。
发明内容
本发明的目的是提供一种基于激光雷达的污染区域增强识别方法,能实现背景大气斜线的自动迭代和污染时刻及水平分布的准确高效识别,进而克服上述现有技术中存在的缺陷。
本发明的目的是通过以下技术方案实现的:
一种基于激光雷达的污染区域增强识别方法,先将训练数据输入监督学习的机器学习分类器,机器学习分类器输入空气质量指数、天气条件、气象条件和雷达数据,输出偏差统计分位数;训练调整参数使机器学习分类器达到最优,再经测试数据测试训练后的机器学习分类器,测试通过后得到训练好的机器学习分类器,再按以下步骤进行处理:
步骤1,以人工选择的一个扫描周期的探测信号作为背景大气,对该扫描周期的探测信号通过预处理进行基础校正,再去除置信区间以外的对应大气非均匀部分和异常的大气数据后作为背景大气数据;
步骤2,拟合背景大气斜线:对背景大气数据中各角度的探测信号求平均,去除角度信息,得到随观测距离变化的平均值,利用该平均值使用最小二乘法拟合出背景大气斜线,该背景大气斜线的斜率即为均匀无污染的背景大气随观测距离的变化率;
步骤3,判断当前周期是否为最后一个扫描周期,若是,则识别完成,结束本方法,若否,则执行步骤4;
步骤4,将下一扫描周期的探测信号预处理后,对每个角度的探测信号都与当前背景大气斜线作差得出探测信号与背景大气斜线的偏差信号;
步骤5,将得出的偏差信号和对应时间的空气质量指数、天气条件、气象条件输入训练好的机器学习分类器,得到偏差统计分位数F;
步骤6,根据该偏差信号对应时间的空气污染状况人工确定阈值;
步骤7,用确定的阈值进行偏差百分比统计,作为污染区域的占比,若偏差统计分位数F大于阈值,则执行步骤8,若偏差统计分位数F小于等于阈值,则执行步骤9;
步骤8,重复执行步骤3~7;
步骤9,用下一扫描周期的探测信号替换当前背景大气数据,并重复执行步骤1~7。
与现有技术相比,本发明所提供的基于激光雷达的污染区域增强识别方法,其有益效果包括:
以拟合迭代方式,通过置信区间筛选大气数据并拟合出背景大气斜线,并将探测信号与背景大气斜线作差并输入机器学习分类器得到偏差统计分位数F,将其与人工选取的阈值比较,作为迭代判别条件,实现背景大气斜线的自动迭代和污染时刻及水平分布的准确识别。这种将机器学习、背景大气数据拟合与判别迭代相结合的方法,通过水平扫描探测的高气溶胶区域判定实现污染区域识别,能避开对消光系数的反演,且能控制污染识别的敏感程度,提高从激光雷达探测数据中识别污染物的效率和准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于激光雷达数据的污染区域增强识别方法的流程示意图。
图2为本发明实施例提供的识别方法中用于迭代判别的直方图。
图3为本发明实施例提供的识别方法的污染物识别的效果图。
具体实施方式
下面结合本发明的具体内容,对本发明实施例中的技术方案进行清楚、完整地描述;显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,这并不构成对本发明的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明:
术语“和/或”是表示两者任一或两者同时均可实现,例如,X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述,应被解释为非排它性的包括。例如:包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等),应被解释为不仅包括明确列出的某技术特征要素,还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中,则该术语将使权利要求成为封闭式,使其不包含除明确列出的技术特征要素以外的技术特征要素,但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中,那么其仅限定在该子句中明确列出的要素,其他子句中所记载的要素并不被排除在整体权利要求之外。
除另有明确的规定或限定外,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如:可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本文中的具体含义。
术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述和简化描述,而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本文的限制。
下面对本发明所提供的基于激光雷达的污染区域增强识别方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者,按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者,均为可以通过市售购买获得的常规产品。
如图1所示,本发明实施例提供一种基于激光雷达的污染区域增强识别方法,将机器学习、背景大气数据拟合与判别迭代相结合,先将训练数据输入监督学习的机器学习分类器,机器学习分类器输入空气质量指数、天气条件、气象条件和雷达数据,输出偏差统计分位数;训练调整参数使机器学习分类器达到最优,再经测试数据测试训练后的机器学习分类器,测试通过后得到训练好的机器学习分类器,再按以下步骤进行处理:
步骤1,以人工选择的一个扫描周期的探测信号作为背景大气,对该扫描周期的探测信号通过预处理进行基础校正,再去除置信区间以外的对应大气非均匀部分和异常的大气数据后作为背景大气数据;
步骤2,拟合背景大气斜线:对背景大气数据中各角度的探测信号求平均,去除角度信息,得到随观测距离变化的平均值,利用该平均值使用最小二乘法拟合出背景大气斜线,该背景大气斜线的斜率即为均匀无污染的背景大气随观测距离的变化率;
步骤3,判断当前周期是否为最后一个扫描周期,若是,则识别完成,结束本方法,若否,则执行步骤4;
步骤4,将下一扫描周期的探测信号预处理后,对每个角度的探测信号都与当前背景大气斜线作差得出探测信号与背景大气斜线的偏差信号;
步骤5,将得出的偏差信号和对应时间的空气质量指数、天气条件、气象条件输入训练好的机器学习分类器,得到偏差统计分位数F;
步骤6,根据该偏差信号对应时间的空气污染状况人工确定阈值;
步骤7,用确定的阈值进行偏差百分比统计,作为污染区域的占比,若偏差统计分位数F大于阈值,则执行步骤8,若偏差统计分位数F小于等于阈值,则执行步骤9;
步骤8,重复执行步骤3~7;
步骤9,用下一扫描周期的探测信号替换当前背景大气数据,并重复执行步骤1~7。
上述方法的步骤1中,置信区间取90%置信水平对应的区间。
上述方法的训练数据中,空气质量指数使用气象站的小时级AQI数据,天气条件包括:晴天、阴天、雨天、多云、雾、霾、扬沙和沙尘暴等;气象条件包括:小时级温度、小时级湿度。
上述监督学习的机器学习分类器输出的偏差统计分位数F为有限个类。优选的,偏差统计分位数F为70%、80%、85%、90%、95%中的一种。
上述方法的预处理包括:依次进行的背景噪声去除,距离平方校正、距离滑动平滑、几何因子校正。
上述方法的步骤6中,按以下方式根据该偏差信号对应时间的空气污染状况人工确定阈值,包括:
阈值选择的范围为:0.15~0.3,在此范围内,根据雷达回波信号结合经验值确定轻污染时的阈值与重污染时的阈值,并使轻污染时的阈值小于重污染时的阈值。
优选的,可在阈值选择的范围0.15~0.3内,确定基准的轻污染的阈值为0.2,重污染的阈值为0.225,再根据检测污染的敏感度,按调节步长0.005对轻污染的阈值或重污染的阈值进行调节,若增加对微污染的敏感度,则按调节步长调小轻污染的阈值,若增加对重污染的敏感度,则按调节步长调大重污染的阈值。
综上可见,本发明实施例的方法,将机器学习、背景大气数据拟合与判别迭代相结合,以拟合迭代方式,通过置信区间筛选大气数据并拟合出背景大气斜线,并将探测信号与背景大气斜线作差并输入机器学习分类器得到偏差统计分位数F,将其与人工选取的阈值比较,作为迭代判别条件,实现背景大气斜线的自动迭代和污染时刻及水平分布的准确识别。这种将机器学习、背景大气数据拟合与判别迭代相结合的方法,能避开对消光系数的反演,且能控制污染识别的敏感程度,提高从激光雷达探测数据中识别污染物的效率和准确性。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果,下面以具体实施例对本发明实施例所提供的一种基于激光雷达的污染区域增强识别方法进行详细描述。
实施例1
本实施例提供一种基于激光雷达的污染区域增强识别方法,图1为该基于激光雷达的污染区域增强识别方法的流程图。该方法包括:
开始时,将空气质量指数、天气条件和气象条件的历史资料、雷达数据以及人工确定的偏差统计分位数作为训练数据,其中,空气质量指数使用气象站的小时级AQI数据,天气条件包括:晴天、阴天、雨天、多云、雾、霾、扬沙、沙尘暴等,气象条件包括:小时级的温度和小时级的湿度,偏差统计分位数选择有限个类,例如:70%,80%,85%,90%,95%分位数。机器学习分类器输入空气质量指数、天气条件、气象条件和雷达数据,输出偏差统计分位数;将训练数据输入机器学习分类器,考虑到输出为偏差统计分位数的有限类,因此选择监督学习模型,调整参数使模型达到最优,再将测试数据输入到训练完的机器学习分类器中,测试通过后确认得到训练好的机器学习分类器,按以下步骤进行处理:
步骤1,以人工选择的一个扫描周期的探测信号作为背景大气,对该扫描周期的探测信号先做预处理以实现基础校正,再去除置信区间以外的对应大气非均匀部分的大气数据作为背景大气数据;
步骤2,拟合背景大气斜线:对背景大气数据中各角度的探测信号求平均,去除角度信息,得到随观测距离变化的平均值,再使用最小二乘法拟合出背景大气斜线,背景大气斜线的斜率即为均匀无污染的背景大气随观测距离的变化率;
步骤3,判断当前周期是否为最后一个扫描周期,若否,则执行步骤4,若是,则完成识别,结束本方法;
步骤4,将下一扫描周期的探测信号预处理后,对每个角度的探测信号都与当前背景大气斜线作差得出背景大气斜线的偏差信号;
步骤5,将得出偏差信号和对应时间的空气质量指数、天气条件、气象条件输入训练好的机器学习分类器,得到偏差统计分位数F;
步骤6,根据该作差后的信号对应时间的空气污染状况人工确定阈值;
步骤7,用阈值进行偏差百分比统计,当偏差统计分位数F大于阈值(结果A)时,说明污染范围仍大于偏差参考百分比(如F为80分位数时,偏差参考百分比对应20%),因此继续循环判断下一扫描周期,直到偏差统计分位数F小于阈值(结果B)时,即污染范围小于偏差参考百分比,则可以作为新的无污染的背景大气替换原来的背景大气,此时需根据90%置信水平重新去除非均匀大气和计算新的背景大气斜线,来进行下一轮的作差和污染范围判别。机器学习自适应偏差统计分位数可以区分不同天气和气象条件,选取不同的迭代判别阈值可以分别适应轻、重污染环境,从而减小背景大气斜线和污染水平分布的反演误差。通过以上步骤实现背景大气斜线的自动迭代和污染时刻及水平分布的准确识别,直到最后一个扫描周期判断完成,则方法终止,两次替换背景大气数据之间的周期即为污染发生的时间区间。
上述方法中,预处理过程包括背景噪声去除,距离平方校正、距离滑动平滑和几何因子校正四个步骤,以实现对信号的基础校正。去除背景噪声后的激光雷达方程的光子数形式为:
其中,N(R)代表距离R处返回的回波信号光子数,N 0 代表出射脉冲的光子数,A是接收望远镜的有效面积,c是光速,τ是脉冲宽度,和/>分别代表大气的后向散射系数和消光系数。
在计算过程中,使用求对数后的距离平方修正信号RCS(R)会大大提高运算速度:
对此距离校正信号,在完成距离滑动平滑和几何因子校正这两个预处理步骤后,可根据90%置信区间去除区间外的数据。余下的数据计算各角度信号随观测距离变化的平均值,再用最小二乘法拟合出一条斜线:
斜线即为背景大气斜线,a代表均匀大气随探测距离的变化率。
再计算探测信号与背景大气斜线的差值,并统计差值占比和绘制直方图(如图2所示):
设阈值为污染判别的参数,阈值/>和探测信号与背景大气斜线的差值/>同量纲。偏差统计分位数F由机器学习分类器输出,偏差统计分位数F对应的百分位与偏差参考百分比之和为1,通过比较污染范围是否超过偏差参考百分比来判别污染周期。当分位数F大于判别阈值/>时,认为污染范围仍大于偏差参考百分比,继续判断下一扫描周期。当分位数F小于判别阈值/>时,认为污染范围小于偏差参考百分比,可以作为新的背景大气。可见,选择较小的/>时,更容易满足阈值/>小于偏差统计分位数F,对应轻污染,以保证轻污染时污染区域也能被识别,同理较大的/>对应重污染。将新的背景大气重新去除90%置信区间外的数据后拟合出背景斜线,对下一周期的雷达信号做预处理和作差。向机器学习分类器输入下一周期对应的时均AQI、天气条件、时均气象资料、作差后的雷达信号/>,输出新的偏差统计分位数F,重复之前的判别过程,不断迭代背景斜线。机器学习自适应偏差统计分位数可以区分不同天气条件和气象条件,选取迭代判别阈值可以分别适应轻、重污染环境下的污染识别,从而使背景大气斜线计算和污染水平分布反演更准确。
图3示意了运用本实施例识别污染的效果图,选取图3的(a)对应周期为背景大气,图3的(b)-(d)为与背景大气临近的三次扫描周期的差值图像,比较图中偏差统计分位数F和阈值,此例为重污染,阈值选择为0.225,可知污染范围都大于偏差参考百分比,即都属于污染周期,且通过图像可以很明显地观察到污染覆盖的区域。
可以知道,本发明方法不仅适用于水平气溶胶污染的识别,通过修改对应的物理参数,还可将该方法拓展到其他激光雷达的探测目标区域的特征识别,如适用于如二氧化碳激光雷达,甲烷激光雷达,臭氧激光雷达等其他激光雷达的探测目标区域的特征识别。以上适用场景只需要根据本发明修改成对应探测目标即可。
空气污染造成的水平大气的不均匀扰动容易淹没在量级更大的背景均匀大气中。同时,传统的水平污染识别方法或是时空分辨率不足,信噪比低,且依赖一些假设条件,只适用于大尺度,或是需要人工筛选合适的背景大气来识别污染时刻和判断污染覆盖情况,效率低。本发明通过置信区间筛选数据并拟合出背景大气斜线,再将探测信号与背景大气对比,通过机器学习分类器输出偏差统计分位数,并选取合适的阈值用于比较判别,实现背景斜率的自动迭代和污染时刻及水平分布的准确识别。这种将机器学习、背景大气数据拟合与判别迭代相结合的方法,能避开对消光系数的反演,且能控制污染识别的敏感程度,提高从激光雷达探测数据中识别污染物的效率和准确性。
综上可见,本发明实施例的基于激光雷达的污染区域增强识别方法,通过置信区间筛选雷达数据,从而拟合出背景大气斜线,再将探测信号与背景大气斜线作差并选取合适的判别阈值,将阈值与机器学习分类器输出偏差统计分位数的相对大小作为判别条件,从而实现背景大气斜线的自动迭代和污染时刻及水平分布的准确识别。该方法能实现大气污染物的自动识别,可以提高城市污染诊断的效率;同时,先根据置信区间筛选数据再拟合,能更准确地拟合背景均匀大气的斜率;进一步地,使用合适的阈值用于迭代的判别,能适应轻、重污染环境,扩展了从激光雷达探测数据中识别污染物的适用性;通过机器学习分类器得到偏差统计分位数,将天气和气象条件都纳入考虑,能综合应用多源观测数据,避免了人工判断的繁琐过程;通过不断选择新的背景大气斜线,可以将各扫描周期探测信号与时间上最临近的背景大气比较,能提高对大气非均匀分布的敏感度,从而捕捉到微弱的污染。
本领域普通技术人员可以理解:实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
Claims (7)
1.一种基于激光雷达的污染区域增强识别方法,其特征在于,先将训练数据输入监督学习的机器学习分类器,机器学习分类器输入空气质量指数、天气条件、气象条件和雷达数据,输出偏差统计分位数F;训练调整参数使机器学习分类器达到最优,再经测试数据测试训练后的机器学习分类器,测试通过后得到训练好的机器学习分类器,再按以下步骤进行处理:
步骤1,以人工选择的一个扫描周期的探测信号作为背景大气,对该扫描周期的探测信号通过预处理进行基础校正,再去除置信区间以外的对应大气非均匀部分和异常的大气数据后作为背景大气数据;
步骤2,拟合背景大气斜线:对背景大气数据中各角度的探测信号求平均,去除角度信息,得到随观测距离变化的平均值,利用该平均值使用最小二乘法拟合出背景大气斜线,该背景大气斜线的斜率即为均匀无污染的背景大气随观测距离的变化率;
步骤3,判断当前周期是否为最后一个扫描周期,若是,则识别完成,结束本方法,若否,则执行步骤4;
步骤4,将下一扫描周期的探测信号预处理后,对每个角度的探测信号都与当前背景大气斜线作差得出探测信号与背景大气斜线的偏差信号;
步骤5,将得出的偏差信号和对应时间的空气质量指数、天气条件、气象条件输入训练好的机器学习分类器,得到偏差统计分位数F;
步骤6,根据该偏差信号对应时间的空气污染状况人工确定阈值;
步骤7,用确定的阈值进行偏差百分比统计,作为污染区域的占比,若偏差统计分位数F大于阈值,则执行步骤8,若偏差统计分位数F小于等于阈值,则执行步骤9;
步骤8,重复执行步骤3~7;
步骤9,用下一扫描周期的探测信号替换当前背景大气数据,并重复执行步骤1~7。
2.根据权利要求1所述的基于激光雷达的污染区域增强识别方法,其特征在于,所述步骤1中,置信区间取90%置信水平对应的区间。
3.根据权利要求1所述的基于激光雷达的污染区域增强识别方法,其特征在于,所述训练数据中,空气质量指数使用气象站的小时级AQI数据,天气条件包括:晴天、阴天、雨天、多云、雾、霾、扬沙和沙尘暴;气象条件包括:气象站小时级温度、气象站小时级湿度。
4.根据权利要求1至3任一项所述的基于激光雷达的污染区域增强识别方法,其特征在于,所述监督学习的机器学习分类器输出的偏差统计分位数F为有限个类。
5.根据权利要求4所述的基于激光雷达的污染区域增强识别方法,其特征在于,所述偏差统计分位数F为70%、80%、85%、90%、95%中的一种。
6.根据权利要求1至3任一项所述的基于激光雷达的污染区域增强识别方法,其特征在于,所述步骤6中,按以下方式根据探测信号对应周期的空气污染状况确定阈值,包括:
阈值选择的范围为:0.15~0.3,在此范围内,根据雷达回波信号结合经验值确定轻污染时的阈值与重污染时的阈值,并使轻污染时的阈值小于重污染时的阈值。
7.根据权利要求1至3任一项所述的基于激光雷达的污染区域增强识别方法,其特征在于,所述步骤6中,在阈值选择的范围0.15~0.3内,确定基准的轻污染的阈值为0.2,重污染的阈值为0.225,再根据检测污染的敏感度,按调节步长0.005对轻污染的阈值或重污染的阈值进行调节,若增加对微污染的敏感度,则按调节步长调小轻污染的阈值,若增加对重污染的敏感度,则按调节步长调大重污染的阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310039662.9A CN116381719B (zh) | 2023-01-13 | 2023-01-13 | 一种基于激光雷达的污染区域增强识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310039662.9A CN116381719B (zh) | 2023-01-13 | 2023-01-13 | 一种基于激光雷达的污染区域增强识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116381719A CN116381719A (zh) | 2023-07-04 |
CN116381719B true CN116381719B (zh) | 2023-08-29 |
Family
ID=86970038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310039662.9A Active CN116381719B (zh) | 2023-01-13 | 2023-01-13 | 一种基于激光雷达的污染区域增强识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116381719B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5568151A (en) * | 1995-05-17 | 1996-10-22 | Merritt; David A. | Statistical averaging method for wind profiler doppler spectra |
RU2006113725A (ru) * | 2006-04-21 | 2007-10-27 | 33 Центральный Научно-Исследовательский Испытательный Институт Министерства Обороны (Ru) | Лидарный способ дистанционного мониторинга радиоактивного загрязнения местности |
CN106611090A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于重构深度学习的道边空气污染物浓度预测方法 |
CN109709577A (zh) * | 2018-12-28 | 2019-05-03 | 南京雨后地软环境技术有限公司 | 一种基于WRF-Chem模式的气溶胶激光雷达反演PM2.5的三维变分同化方法 |
CN110058258A (zh) * | 2019-05-15 | 2019-07-26 | 国耀量子雷达科技有限公司 | 一种基于混合型激光雷达的大气边界层探测方法 |
CN110261271A (zh) * | 2019-07-03 | 2019-09-20 | 安徽科创中光科技有限公司 | 一种基于激光雷达大数据的水平污染溯源人工智能识别系统 |
CN111239699A (zh) * | 2020-03-17 | 2020-06-05 | 河海大学 | 基于增量式极限学习机的气象雷达风电场杂波抑制方法 |
CN111257885A (zh) * | 2020-03-17 | 2020-06-09 | 河海大学 | 基于极限学习机的气象雷达风电场杂波抑制方法 |
-
2023
- 2023-01-13 CN CN202310039662.9A patent/CN116381719B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5568151A (en) * | 1995-05-17 | 1996-10-22 | Merritt; David A. | Statistical averaging method for wind profiler doppler spectra |
RU2006113725A (ru) * | 2006-04-21 | 2007-10-27 | 33 Центральный Научно-Исследовательский Испытательный Институт Министерства Обороны (Ru) | Лидарный способ дистанционного мониторинга радиоактивного загрязнения местности |
CN106611090A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于重构深度学习的道边空气污染物浓度预测方法 |
CN109709577A (zh) * | 2018-12-28 | 2019-05-03 | 南京雨后地软环境技术有限公司 | 一种基于WRF-Chem模式的气溶胶激光雷达反演PM2.5的三维变分同化方法 |
CN110058258A (zh) * | 2019-05-15 | 2019-07-26 | 国耀量子雷达科技有限公司 | 一种基于混合型激光雷达的大气边界层探测方法 |
CN110261271A (zh) * | 2019-07-03 | 2019-09-20 | 安徽科创中光科技有限公司 | 一种基于激光雷达大数据的水平污染溯源人工智能识别系统 |
CN111239699A (zh) * | 2020-03-17 | 2020-06-05 | 河海大学 | 基于增量式极限学习机的气象雷达风电场杂波抑制方法 |
CN111257885A (zh) * | 2020-03-17 | 2020-06-09 | 河海大学 | 基于极限学习机的气象雷达风电场杂波抑制方法 |
Non-Patent Citations (1)
Title |
---|
秋冬季节珠三角典型区域气溶胶浓度垂直分布的激光雷达反演;吴仪 等;《遥感学报》;第24卷(第03期);302-318 * |
Also Published As
Publication number | Publication date |
---|---|
CN116381719A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101957309B (zh) | 一种能见度的全天候视频测量方法 | |
CN102799903A (zh) | 一种基于空间与光谱信息的高光谱自动云检测方法 | |
CN114299417A (zh) | 一种基于雷视融合的多目标跟踪方法 | |
CN100510774C (zh) | 一种合成孔径雷达图像自适应斑点噪声抑制方法 | |
CN103442209A (zh) | 一种输电线路的视频监控方法 | |
CN103808723A (zh) | 一种柴油车烟气黑度自动检测装置 | |
CN114372960B (zh) | 基于图像理解的飞机地面积冰检测方法、系统、终端及介质 | |
KR101255736B1 (ko) | 단일편파 레이더를 이용한 기상 및 비기상 에코 분류 방법 | |
CN116086547B (zh) | 一种基于红外成像和气象监测的接触网覆冰检测方法 | |
CN108830880A (zh) | 一种适用于高速公路的视频能见度检测预警方法及其系统 | |
Sezgin et al. | Safe autonomous driving in adverse weather: Sensor evaluation and performance monitoring | |
CN112883969B (zh) | 一种基于卷积神经网络的降雨强度检测方法 | |
CN118241529A (zh) | 一种智能道路平整度测试方法 | |
CN116381719B (zh) | 一种基于激光雷达的污染区域增强识别方法 | |
CN106446929A (zh) | 基于边缘梯度势能的车辆类型检测方法 | |
CN111914933B (zh) | 降雪检测方法、装置、计算机设备和可读存储介质 | |
CN112215137A (zh) | 基于区域约束的低虚警目标检测方法 | |
CN117671958A (zh) | 一种城市交通优化系统 | |
CN112085725A (zh) | 基于启发式迭代算法的残膜残留量检测方法及预警系统 | |
Yang et al. | Automatic identification of clear-air echoes based on millimeter-wave cloud radar measurements | |
CN117368880A (zh) | 一种毫米波云雷达湍流杂波滤除方法 | |
CN117348116A (zh) | 一种基于非锋性斜压带的局地强对流天气预报方法 | |
CN116879899A (zh) | 一种基于空中降水粒子谱反演的方法 | |
CN108414997A (zh) | 一种基于粒子特性差异的边界层高度反演方法 | |
CN116299547A (zh) | 一种基于智能化的红外探测器报警系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |