CN113092684A - 一种基于时空矩阵分解的空气质量推断方法 - Google Patents

一种基于时空矩阵分解的空气质量推断方法 Download PDF

Info

Publication number
CN113092684A
CN113092684A CN202110370974.9A CN202110370974A CN113092684A CN 113092684 A CN113092684 A CN 113092684A CN 202110370974 A CN202110370974 A CN 202110370974A CN 113092684 A CN113092684 A CN 113092684A
Authority
CN
China
Prior art keywords
matrix
air quality
area
grid
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110370974.9A
Other languages
English (en)
Inventor
胡克勇
郭小兰
刘润露
孙中卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202110370974.9A priority Critical patent/CN113092684A/zh
Publication of CN113092684A publication Critical patent/CN113092684A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
    • G01N33/0068—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display using a computer specifically programmed

Landscapes

  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于时空矩阵分解的空气质量推断方法，涉及风险评估技术领域包括步骤1、收集空气质量监测数据，获取时间特征矩阵和空间特征矩阵；步骤2、设计基于时空矩阵分解的空气质量推断模型，并以此模型为依据推断未知区域的空气质量。本发明提供了一种基于时空矩阵分解的空气质量推断方法，该方法可以依据区域内现有的空气质量监测站的数据，合理推断区域内没有空气质量监测站的地区的空气质量，并且推断的结果具有良好的精度和稳定性。

Description

一种基于时空矩阵分解的空气质量推断方法
技术领域
本发明涉及风险评估技术领域，具体涉及一种基于时空矩阵分解的空气质量推断方法。
背景技术
随着城市化进程的加快，空气污染已成为危害人类身体健康的重要问题。因此，获取高时空分辨率(细粒度)的城市空气质量地图，并依据地图的指导规划出行计划和出行方式，对于保护人类的身体健康具有重要意义。
目前，人们获取城市空气质量数据的途径大致有4种，1、通过空气质量监测站的监测；2、通过卫星遥感；3、通过人群或车辆携带的移动传感器的检测；4、根据已有数据，通过计算来评估一定区域内的空气质量。
通过空气质量监测站监测空气质量具有良好的效果，但也存在着明显的缺陷，具体体现在：虽然这些监测站可以定期采集各种空气污染物，并提供高时间分辨率的准确空气质量值 (如每小时)，但由于其庞大的建设和维护成本(一个基站的建设费用约为20万美元，每年维护的费用为3万美元)严重限制了监测站部署的数量，导致空间覆盖率极小。而卫星遥感数据只能体现大气层的空气质量，不能体现人类居住的城市地面空间的空气质量，在多云天气，卫星遥感数据的准确度会受到较大影响，而且收集使用这类数据的成本也较高。通过人群或车辆携带移动传感器的方式检测空气质量可以弥补空气质量监测站数量稀少的缺陷，但现有的传感器通常是通过光散射法进行感知，对CO等部分气体敏感，而对于具有普遍影响的PM2.5和PM10并不适合，因此，并不能解决实际问题。
通过计算来评估一定区域内的空气质量的方法明显具有低成本的优势，其原理是：基于区域内的空气质量监测站提供的数据，以一定的数学计算方法，对区域内没有空气质量监测站的地区的空气质量进行推断。常见的推断方法有：高斯烟羽模型、土地利用回归(LUR)模型、支持向量回归(SVR)、深度循环神经网络(RNN)、人工神经网络(ANN)、差分自回归综合移动平均(ARIMA)模型、高斯过程回归(GPR)和反距离加权(IDW)插值等。
这些计算方法也存在着一定的缺陷，比如有些方法(如深度循环神经网络(RNN))依赖于大量的空气质量监测站提供的数据，当空气质量监测站数量不足时，该方法就无法使用，再比如，一些方法(如差分自回归综合移动平均(ARIMA)模型)对于没有空气监测站的地区无法作出合理推断，其推断出来的数据的精度和稳定性都不理想。
如何根据现有的空气质量监测站的数据去推断区域内没有空气质量监测站的地区的空气质量，并且使推断数据具有良好的精度和稳定性，能够满足人类保护身体健康的需要，是一个迫切需要解决的问题。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于时空矩阵分解的空气质量推断方法，该方法可以依据区域内现有的空气质量监测站的数据，合理推断区域内没有空气质量监测站的地区的空气质量，并且推断的结果具有良好的精度和稳定性。
为实现上述目的，本发明的技术方案是：
一种基于时空矩阵分解的空气质量推断方法，包括步骤1、收集空气质量监测数据，获取时间特征矩阵和空间特征矩阵；步骤2、设计基于时空矩阵分解的空气质量推断模型，并以此模型为依据推断未知区域的空气质量。
优选的，所述的步骤1包括如下具体步骤：A、确定需推断空气质量区域的经纬度范围，并确定该区域内的空气质量监测站的数量和地点；B、将该区域在经度和纬度方向上划分为若干个网格，将设有空气监测站的网格作为已知监测区，将没有空气质量监测站的未知区域的网格作为未知推断区；C、收集各个已知监测区在一定时间段内的空气污染物的浓度数据，获取空气质量矩阵X，其中一行表示一个网格，一列表示一个时刻，行数为M，列数为N；D、收集区域内上述一定时间段内的各种气象特征数据作为时间特征数据集，使用软件程序对时间特征数据进行整合和提取，形成时间特征矩阵Z，其中一行表示一个时刻，一列表示一个时间特征，行数为N，列数为Q；E、获取区域内的空间特征数据集；F、提取每个网格里面的空间特征数据，对空间特征数据进行整合和提取，获取空间特征矩阵Y，其中一行表示一个网格，一列表示一个空间特征，行数为M，列数为P。
优选的，所述的具体步骤C中，空气污染物指的是PM2.5；所述的具体步骤D中，所述的时间特征数据集由4个数值特征和2个分类特征组成，4个数值特征为：温度、压力、湿度和风速，2个分类特征为：天气和风向。
优选的，所述的具体步骤D中，天气和风向分别设有多个子特征，通过One-hot编码将各个子特征的特征值转换成新的二值向量特征，天气的子分类特征包括14种天气状况，即：晴天、多云、阴天、大雨、小雨、雷雨、小雪、中雪、大雪、大雾、沙尘暴、尘土，风向的子分类特征包括10种风向，即：东、西、南、北、不稳定、东南、东北、西南、西北、无，因此得到Q＝28个时间特征。
优选的，所述的具体步骤E中，提取每个网格的空间特征数据，包括POI(中文译为兴趣点，为开放地图中的常用标注形式，如OSM地图)、道路和土地利用；设定POI为点类型的特征，所述的点类型的特征包括交通工具、学校、交通位置、超市、餐馆、娱乐场所、公交车站、旅馆，计算每个网格内的POI数量；所述的道路设定为线类型的特征，包括高速公路、干线、主干道、二级公路和三级公路共5个特征，在每个网格中记录每种道路的总长度；所述的土地利用是多边形类的特征，包括森林、公园、住宅、工业和商业区域5个特征，计算不同的土地利用在每个网格中的面积，共有P＝18个空间特征。
优选的，所述的步骤2包括如下具体步骤：1、空气质量推断模型的设计；2、对空气质量推断模型进行优化，推断完整的空气质量矩阵。
优选的，所述的具体步骤1的设计步骤为：
a、引入一个与X相同大小的指示矩阵WX，其中当X矩阵中有空气质量值时，相应元素为1,反之为0；
b、引入与Y相同大小的指示矩阵WY，其中当Y矩阵中有空间特征值时，相应元素为1,反之为0；
c、引入与Z相同大小的指示矩阵WZ，其中当Z矩阵中有时间特征值时，相应元素为1,反之为0；
d、设计空气质量推断模型为：
Figure BDA0003009298880000031
式中，λ1，λ2，...，λ6为超参数，||·||F(黑色的圆点是替代符号，方便表示，可替代S、 T、U、V，还可替代WX⊙(X-STT)，WY⊙(Y-SUT)及WZ⊙(Z-TVT))表示Frobenius 范数，⊙表示哈达玛积；
优选的，所述的公式(1)的推理步骤为：
首先，X建模为：
Figure BDA0003009298880000032
其中，
Figure BDA0003009298880000033
为待推断的空气质量矩阵，使用EX∈RM×N对测量过程中的噪声进行建模，矩阵
Figure BDA0003009298880000034
进一步分解为两个因子矩阵(factor matrix)的乘积
Figure BDA0003009298880000035
其中S∈RM×R，T∈RN×R,R是
Figure BDA0003009298880000041
的秩；同理，Y建模为
Figure BDA0003009298880000042
其中，
Figure BDA0003009298880000043
为待推断的空间特征矩阵，使用EY∈RM×P对测量过程中的噪声进行建模，矩阵
Figure BDA0003009298880000044
进一步分解为两个因子矩阵的乘积
Figure BDA0003009298880000045
其中S∈RM×R，U∈RP×R,R是
Figure BDA0003009298880000046
的秩；Z建模为
Figure BDA0003009298880000047
其中，
Figure BDA0003009298880000048
为待推断的时间特征矩阵，使用EZ∈RN×Q对测量过程中的噪声进行建模，矩阵
Figure BDA0003009298880000049
进一步分解为两个因子矩阵的乘积
Figure BDA00030092988800000410
其中T∈RN×R， V∈RQ×R,R是
Figure BDA00030092988800000411
的秩：
其次，按如下步骤进行推理：
1)、最终目的：获得完整的重构矩阵
Figure BDA00030092988800000412
和
Figure BDA00030092988800000413
2)、通过让重构矩阵
Figure BDA00030092988800000414
和
Figure BDA00030092988800000415
尽量接近矩阵X、Y和Z，使得矩阵X、Y和Z分别和所对应的重构矩阵之间的差的Frobenius范数尽可能小，由于
Figure BDA00030092988800000416
和
Figure BDA00030092988800000417
所以得下式：
Figure BDA00030092988800000418
3)、由于矩阵X、Y和Z里部分数据缺失，噪声的存在，加入了指示矩阵WX∈RM×N、 WY∈RM×P和WZ∈RN×Q，使矩阵X、Y和Z的已知元素分别和所对应的重构矩阵
Figure BDA00030092988800000419
Figure BDA00030092988800000420
和
Figure BDA00030092988800000421
之间的相应元素之间误差最小化，所以得下式：
Figure BDA00030092988800000422
4)、若S、T、U和V不受约束，便会有无穷多个等价解，通过引入S、T、U和V的正则化项，防止产生过拟合现象，从而建立空气质量推断模型:
Figure BDA00030092988800000423
优选的，所述的具体步骤2中，以如下方式进行优化：
采用共轭梯度下降法(CGD)求解
Figure BDA00030092988800000424
的最小值，其中变量θ表示为：
θ＝[s1…sMt1…tNu1…uPv1…vQ]T上式中，si表示矩阵S的第i行,i＝1,2,3,...,M，tj表示矩阵T的第j行， j＝1,2,3,...,N,uk表示矩阵U的第k行，k＝1,2,3,...,P,ve表示矩阵V的第e行， e＝1,2,3,...,Q；
在每次迭代中，CGD更新向量θ为：
θ(k+1)＝θ(k)+α(k)d(k) (5)
式中
Figure BDA0003009298880000051
是函数
Figure BDA0003009298880000052
在θ(k)处的梯度，梯度
Figure BDA0003009298880000053
表示为：
Figure BDA0003009298880000054
式(6)中
Figure BDA0003009298880000055
表示为：
Figure BDA0003009298880000056
式(6)中
Figure BDA0003009298880000057
表示为：
Figure BDA0003009298880000058
式(6)中
Figure BDA0003009298880000059
表示为：
Figure BDA00030092988800000510
式(6)中
Figure BDA00030092988800000511
表示为：
Figure BDA00030092988800000512
以上优化算法从随机初始化θ开始，当
Figure BDA00030092988800000513
的变化小于预先指定的阈值或达到最大迭代次数时停止，最后对优化后的θ进行反矢量化，得到S和T，由此获得完整的空气质量矩阵为
Figure BDA00030092988800000514
并可从该矩阵中提取未知推断区的空气质量。
本发明一种基于时空矩阵分解的空气质量推断方法具有如下有益效果：
1、本发明利用空气质量推断模型的结构信息推断未知推断区的空气质量，而不用引入额外的数据源，成本较低；
2、本发明从空间和时间的角度来利用相关特征来表征空气质量的空间相关性和时间依赖性，通过将特征数据嵌入到模型中来解决特征数据缺失的问题，相比起现有模型更合理；
3、本发明易于解释，用交叉验证法对本发明和现有几种空气质量推断方法进行测试，结果表明，与现有技术相比，本发明在推理精度和稳定性上都更优。
具体实施方式
以下所述，是以阶梯递进的方式对本发明的实施方式详细说明，该说明仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
本发明的描述中，需要说明的是，术语“上”“下”“左”“右”“顶”“底”“内”“外”等指示的方位或位置关系，仅是为了描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以及特定的方位构造和操作，因此不能理解为对本发明的限制。
一种基于时空矩阵分解的空气质量推断方法，包括步骤1、收集空气质量监测数据，获取时间特征矩阵和空间特征矩阵；步骤2、设计基于时空矩阵分解的空气质量推断模型，并以此模型为依据推断未知区域的空气质量；
所述的步骤1包括如下具体步骤：A、确定需推断空气质量区域的经纬度范围，并确定该区域内的空气质量监测站的数量和地点；以北京市相关地区为例，位于经纬度(116.12-116.69E,39.67-40.11N)，约50公里x 50公里，该地区有L＝22个空气质量监测站；B、将该区域在经度和纬度方向上划分为若干个网格，将设有空气监测站的网格作为已知监测区，将没有空气质量监测站的网格作为未知推断区；我们将区域划分为M＝50x 50＝2500个网格，因此，每个网格大约是1km x 1km，在2500个网格中，22个网格被观察到，为已知监测区，其余的未被观察到，为未知推断区；C、收集各个已知监测区在一定时间段内的空气污染物的浓度数据，获取空气质量矩阵X，其中一行表示一个网格，一列表示一个时刻，行数为M，列数为N；收集该地区，以PM2.5从2014年5月到2015年4月每小时测量一次为例，一共有8760个时段的PM2.5浓度数据；D、可通过公共网站或其他渠道，比如气象部门的征询，收集区域内上述一定时间段内的各种气象特征数据作为时间特征数据集，使用软件程序，比如matlab程序，对时间特征数据进行整合和提取，形成时间特征矩阵Z，其中一行表示一个时刻，一列表示一个时间特征，行数为N，列数为Q；E、从公共地图，比如百度地图、高德地图，获取区域内的空间特征数据集；F、利用软件程序，比如利用matlab程序提取每个网格里面的空间特征数据，空间特征数据进行整合和提取，形成空间特征矩阵 Y，其中一行表示一个网格，一列表示一个空间特征，行数为M，列数为P；
所述的具体步骤C中，空气污染物指的是PM2.5；空气质量数据集包含六种空气污染物的真实值浓度，包括PM2.5、PM10、SO2、NO2、CO和O3，但是本发明是着重对 PM2.5作为空气质量获取的主导指标进行推断；所述的具体步骤D中，所述的时间特征数据集由4个数值特征和2个分类特征组成，4个数值特征为：温度、压力、湿度和风速，2个分类特征为：天气和风向；
所述的具体步骤D中，天气和风向分别设有多个子特征，通过One-hot编码将各个子特征的特征值转换成新的二值向量特征，天气的子分类特征包括14种天气状况，即晴天、多云、阴天、大雨、小雨、雷雨、小雪、中雪、大雪、大雾、沙尘暴、尘土，风向的子分类特征包括10种风向即：东、西、南、北、不稳定、东南、东北、西南、西北、无，因此得到Q＝28 个时间特征；包括4个数值特征、14个天气子分类特征、10种风向子分类特征；
所述的具体步骤E中，提取每个网格的空间特征数据，包括POI、道路和土地利用；设定POI为点类型的特征，所述的点类型的特征包括交通工具、学校、交通位置、超市、餐馆、娱乐场所、公交车站、旅馆，计算每个网格内的POI数量；所述的道路设定为线类型的特征，包括高速公路、干线、主干道、二级公路和三级公路共5个特征，在每个网格中记录每种道路的总长度；所述的土地利用是多边形类的特征，包括森林、公园、住宅、工业和商业区域5个特征，计算不同的土地利用在每个网格中的面积，共有P＝18个空间特征；
所述的步骤2包括如下具体步骤：1、空气质量推断模型的设计；2、对空气质量推断模型进行优化，推断完整的空气质量矩阵。
所述的具体步骤1的设计步骤为：
a、引入一个与X相同大小的指示矩阵WX，其中当X矩阵中有空气质量值时，相应元素为1,反之为0；
b、引入与Y相同大小的指示矩阵WY，其中当Y矩阵中有空间特征值时，相应元素为1,反之为0；
c、引入与Z相同大小的指示矩阵WZ，其中当Z矩阵中有时间特征值时，相应元素为1,反之为0；
d、设计空气质量推断模型为：
Figure BDA0003009298880000081
式中，λ1，λ2，...，λ6为超参数，||·||F表示Frobenius范数，⊙表示哈达玛积；
X的大部分条目都缺失了(例如，在北京的真实数据集中，当M＝2500,N＝8570时，缺失率高达99.3％)，如此少量的已知条目无法提供足够的信息来准确确定剩下的条目；这促使我们利用时空特征数据提供的条目之间的相似性信息来提高推理性能；
所述的公式(1)的推理步骤为：
首先，X建模为：
Figure BDA0003009298880000082
其中，
Figure BDA0003009298880000083
为待推断的空气质量矩阵，使用
Figure BDA0003009298880000084
对测量过程中的噪声进行建模，矩阵
Figure BDA0003009298880000085
进一步分解为两个因子矩阵(factor matrix)的乘积，即
Figure BDA0003009298880000086
其中S∈RM×R，T∈RN×R,R是
Figure BDA0003009298880000087
的秩；同理，Y建模为
Figure BDA0003009298880000088
其中，
Figure BDA0003009298880000089
为待推断的空间特征矩阵，使用EY∈RM×P对测量过程中的噪声进行建模，矩阵
Figure BDA00030092988800000810
进一步分解为两个因子矩阵的乘积
Figure BDA00030092988800000811
其中S∈RM×R，U∈RP×R,R是
Figure BDA00030092988800000812
的秩；Z建模为
Figure BDA00030092988800000813
其中，
Figure BDA00030092988800000814
为待推断的时间特征矩阵，使用EZ∈RN×Q对测量过程中的噪声进行建模，矩阵
Figure BDA00030092988800000815
进一步分解为两个因子矩阵的乘积
Figure BDA00030092988800000816
其中T∈RN×R， V∈RQ×R,R是
Figure BDA00030092988800000817
的秩；
其次，按如下步骤进行推理：
1)、最终目的：获得完整的重构矩阵
Figure BDA00030092988800000818
和
Figure BDA00030092988800000819
2)、通过让重构矩阵
Figure BDA00030092988800000820
和
Figure BDA00030092988800000821
尽量接近矩阵X、Y和Z，使得矩阵X、Y和Z分别和所对应的重构矩阵之间的差的Frobenius范数尽可能小，由于
Figure BDA00030092988800000822
和
Figure BDA0003009298880000091
所以得下式：
Figure BDA0003009298880000092
3)、由于矩阵X、Y和Z里部分数据缺失，噪声的存在，加入了指示矩阵WX∈RM×N、 WY∈RM×P和WZ∈RN×Q，使矩阵X、Y和Z的已知元素分别和所对应的重构矩阵
Figure BDA0003009298880000093
Figure BDA0003009298880000094
和
Figure BDA0003009298880000095
之间的相应元素之间误差最小化，所以得下式：
Figure BDA0003009298880000096
4)、若S、T、U和V不受约束，便会有无穷多个等价解，通过引入S、T、U和V的正则化项，防止产生过拟合现象，从而建立空气质量推断模型:
Figure BDA0003009298880000097
所述的具体步骤2中，以如下方式进行优化：
采用共轭梯度下降法(CGD)求解
Figure BDA0003009298880000098
的最小值，其中变量θ表示为：
θ＝[s1…sMt1…tNu1…uPv1…vQ]T
上式中，si表示矩阵S的第i行,i＝1,2,3,...,M，tj表示矩阵T的第j行， j＝1,2,3,...,N,uk表示矩阵U的第k行，k＝1,2,3,...,P,ve表示矩阵V的第e行， e＝1,2,3,...,Q；
在每次迭代中，CGD更新向量θ为：
θ(k+1)＝θ(k)+α(k)d(k) (5)
式中
Figure BDA0003009298880000099
是函数
Figure BDA00030092988800000910
在θ(k)处的梯度，梯度
Figure BDA00030092988800000911
表示为：
Figure BDA00030092988800000912
式(6)中
Figure BDA00030092988800000913
表示为：
Figure BDA0003009298880000101
式(6)中
Figure BDA0003009298880000102
表示为：
Figure BDA0003009298880000103
式(6)中
Figure BDA0003009298880000104
表示为：
Figure BDA0003009298880000105
式(6)中
Figure BDA0003009298880000106
表示为：
Figure BDA0003009298880000107
以上优化算法从随机初始化θ开始，当
Figure BDA0003009298880000108
的变化小于预先指定的阈值或达到最大迭代次数时停止，最后对优化后的θ进行反矢量化，得到S和T，由此获得完整的空气质量矩阵为
Figure BDA0003009298880000109
并可从该矩阵中提取未知推断区的空气质量。

Claims (9)

1.一种基于时空矩阵分解的空气质量推断方法，其特征为：包括步骤1、收集空气质量监测数据，获取时间特征矩阵和空间特征矩阵；步骤2、设计基于时空矩阵分解的空气质量推断模型，并以此模型为依据推断未知区域的空气质量。
2.如权利要求1所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的步骤1包括如下具体步骤：A、确定需推断空气质量区域的经纬度范围，并确定该区域内的空气质量监测站的数量和地点；B、将该区域在经度和纬度方向上划分为若干个网格，将设有空气监测站的网格作为已知监测区，将没有空气质量监测站的未知区域的网格作为未知推断区；C、收集各个已知监测区在一定时间段内的空气污染物的浓度数据，获取空气质量矩阵X，其中一行表示一个网格，一列表示一个时刻，行数为M，列数为N；D、收集区域内上述一定时间段内的各种气象特征数据作为时间特征数据集，使用软件程序对时间特征数据进行整合和提取，形成时间特征矩阵Z，其中一行表示一个时刻，一列表示一个时间特征，行数为N，列数为Q；E、获取区域内的空间特征数据集；F、提取每个网格里面的空间特征数据，对空间特征数据进行整合和提取，获取空间特征矩阵Y，其中一行表示一个网格，一列表示一个空间特征，行数为M，列数为P。
3.如权利要求2所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的具体步骤C中，空气污染物指的是PM2.5；所述的具体步骤D中，所述的时间特征数据集由4个数值特征和2个分类特征组成，4个数值特征为：温度、压力、湿度和风速，2个分类特征为：天气和风向。
4.如权利要求3所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的具体步骤D中，天气和风向分别设有多个子特征，通过One-hot编码将各个子特征的特征值转换成新的二值向量特征，天气的子分类特征包括14种天气状况，即晴天、多云、阴天、大雨、小雨、雷雨、小雪、中雪、大雪、大雾、沙尘暴、尘土，风向的子分类特征包括10种风向，即：东、西、南、北、不稳定、东南、东北、西南、西北、无，因此得到Q＝28个时间特征。
5.如权利要求4所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的具体步骤E中，提取每个网格的空间特征数据，包括POI、道路和土地利用；设定POI为点类型的特征，所述的点类型的特征包括交通工具、学校、交通位置、超市、餐馆、娱乐场所、公交车站、旅馆，计算每个网格内的POI数量；所述的道路设定为线类型的特征，包括高速公路、干线、主干道、二级公路和三级公路共5个特征，在每个网格中记录每种道路的总长度；所述的土地利用是多边形类的特征，包括森林、公园、住宅、工业和商业区域5个特征，计算不同的土地利用在每个网格中的面积，共有P＝18个空间特征。
6.如权利要求5所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的步骤2包括如下具体步骤：1、空气质量推断模型的设计；2、对空气质量推断模型进行优化，推断完整的空气质量矩阵。
7.如权利要求6所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的具体步骤1的设计步骤为：
a、引入一个与X相同大小的指示矩阵WX，其中当X矩阵中有空气质量值时，相应元素为1，反之为0；
b、引入与Y相同大小的指示矩阵WY，其中当Y矩阵中有空间特征值时，相应元素为1，反之为0；
c、引入与Z相同大小的指示矩阵WZ，其中当Z矩阵中有时间特征值时，相应元素为1，反之为0；
d、设计空气质量推断模型为：
Figure FDA0003009298870000021
式中，λ1，λ2，...，λ6为超参数，||·||F表示Frobenius范数，⊙表示哈达玛积。
8.如权利要求7所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的公式(1)的推理步骤为：
首先，X建模为：
Figure FDA0003009298870000022
其中，
Figure FDA0003009298870000023
为待推断的空气质量矩阵，使用
Figure FDA0003009298870000024
对测量过程中的噪声进行建模，矩阵
Figure FDA0003009298870000025
进一步分解为两个因子矩阵的乘积
Figure FDA0003009298870000026
其中
Figure FDA0003009298870000027
Figure FDA0003009298870000028
R是
Figure FDA0003009298870000029
的秩；同理，Y建模为
Figure FDA00030092988700000210
其中，
Figure FDA00030092988700000211
为待推断的空间特征矩阵，使用
Figure FDA00030092988700000212
对测量过程中的噪声进行建模，矩阵
Figure FDA00030092988700000213
进一步分解为两个因子矩阵的乘积
Figure FDA00030092988700000214
其中
Figure FDA00030092988700000215
R是
Figure FDA00030092988700000216
的秩；Z建模为
Figure FDA00030092988700000217
其中，
Figure FDA0003009298870000031
为待推断的时间特征矩阵，使用
Figure FDA0003009298870000032
对测量过程中的噪声进行建模，矩阵
Figure FDA0003009298870000033
进一步分解为两个因子矩阵的乘积
Figure FDA0003009298870000034
其中
Figure FDA0003009298870000035
R是
Figure FDA0003009298870000036
的秩：
其次，按如下步骤进行推理：
1)、最终目的：获得完整的重构矩阵
Figure FDA0003009298870000037
和
Figure FDA0003009298870000038
2)、通过让重构矩阵
Figure FDA0003009298870000039
和
Figure FDA00030092988700000310
尽量接近矩阵X、Y和Z，使得矩阵X、Y和Z分别和所对应的重构矩阵之间的差的Frobenius范数尽可能小，由于
Figure FDA00030092988700000311
阳
Figure FDA00030092988700000312
所以得下式：
Figure FDA00030092988700000313
3)、由于矩阵X、Y和Z里部分数据缺失，噪声的存在，加入了指示矩阵
Figure FDA00030092988700000314
Figure FDA00030092988700000315
和
Figure FDA00030092988700000316
使矩阵X、Y和Z的已知元素分别和所对应的重构矩阵
Figure FDA00030092988700000317
Figure FDA00030092988700000318
和
Figure FDA00030092988700000319
之间的相应元素之间误差最小化，所以得下式：
Figure FDA00030092988700000320
4)、若S、T、U和V不受约束，便会有无穷多个等价解，通过引入S、T、U和V的正则化项，防止产生过拟合现象，从而建立空气质量推断模型：
Figure FDA00030092988700000321
9.如权利要求8所述的一种基于时空矩阵分解的空气质量推断方法，其特征为：所述的具体步骤2中，以如下方式进行优化：
采用共轭梯度下降法(CGD)求解
Figure FDA00030092988700000322
的最小值，其中变量θ表示为：
θ＝[s1…sMt1…tNu1…uPv1…vQ]T
式中，si表示矩阵S的第i行，i＝1，2，3，...，M，tj表示矩阵T的第j行，j＝1，2，3，...，N，uk表示矩阵U的第k行，k＝1，2，3，...，P，ve表示矩阵V的第e行，e＝1，2，3，...，Q；
在每次迭代中，CGD更新向量θ为：
θ(k+1)＝θ(k)+α(k)d(k) (5)
式中
Figure FDA0003009298870000041
是函数
Figure FDA0003009298870000042
在θ(k)处的梯度，梯度
Figure FDA0003009298870000043
表示为：
Figure FDA0003009298870000044
式(6)中
Figure FDA0003009298870000045
表示为：
Figure FDA0003009298870000046
式(6)中
Figure FDA0003009298870000047
表示为：
Figure FDA0003009298870000048
式(6)中
Figure FDA0003009298870000049
表示为：
Figure FDA00030092988700000410
式(6)中
Figure FDA00030092988700000411
表示为：
Figure FDA00030092988700000412
以上优化算法从随机初始化θ开始，当
Figure FDA00030092988700000413
的变化小于预先指定的阈值或达到最大迭代次数时停止，最后对优化后的θ进行反矢量化，得到S和T，由此获得完整的空气质量矩阵为
Figure FDA00030092988700000414
并可从该矩阵中提取未知推断区的空气质量。
CN202110370974.9A 2021-04-07 2021-04-07 一种基于时空矩阵分解的空气质量推断方法 Pending CN113092684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110370974.9A CN113092684A (zh) 2021-04-07 2021-04-07 一种基于时空矩阵分解的空气质量推断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110370974.9A CN113092684A (zh) 2021-04-07 2021-04-07 一种基于时空矩阵分解的空气质量推断方法

Publications (1)

Publication Number Publication Date
CN113092684A true CN113092684A (zh) 2021-07-09

Family

ID=76674312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110370974.9A Pending CN113092684A (zh) 2021-04-07 2021-04-07 一种基于时空矩阵分解的空气质量推断方法

Country Status (1)

Country Link
CN (1) CN113092684A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496310A (zh) * 2021-06-16 2021-10-12 国家超级计算深圳中心(深圳云计算中心) 基于深度学习模型的大气污染物预测方法和系统
CN114661754A (zh) * 2022-01-20 2022-06-24 福建中兴电子科技有限公司 一种基于分数引导正则化网络的水质污染无监督预警方法
CN115018454A (zh) * 2022-05-24 2022-09-06 北京交通大学 一种基于出行模式识别的乘客出行时间价值计算方法
CN116500240A (zh) * 2023-06-21 2023-07-28 江西索立德环保服务有限公司 一种土壤环境质量监测方法、系统及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130191425A1 (en) * 2012-01-20 2013-07-25 Fatih Porikli Method for Recovering Low-Rank Matrices and Subspaces from Data in High-Dimensional Matrices
US20160125307A1 (en) * 2013-06-05 2016-05-05 Yu Zheng Air quality inference using multiple data sources
US20170161639A1 (en) * 2014-06-06 2017-06-08 Nokia Technologies Oy Method and apparatus for recommendation by applying efficient adaptive matrix factorization
CN107169830A (zh) * 2017-05-15 2017-09-15 南京大学 一种基于聚类pu矩阵分解的个性化推荐方法
CN108021538A (zh) * 2017-11-15 2018-05-11 国网甘肃省电力公司信息通信公司 一种基于联合天气信息矩阵分解的电量数据恢复方法
CN109684601A (zh) * 2018-11-23 2019-04-26 河海大学常州校区 一种基于低秩矩阵完备化的空气质量数据恢复方法
CN111461423A (zh) * 2020-03-30 2020-07-28 四川国蓝中天环境科技集团有限公司 一种高精度网格化空气质量推断方法、系统、终端设备及存储介质
CN112257351A (zh) * 2020-10-20 2021-01-22 中国科学院地理科学与资源研究所 一种考虑地形和风向的环境空气质量监测异常值检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130191425A1 (en) * 2012-01-20 2013-07-25 Fatih Porikli Method for Recovering Low-Rank Matrices and Subspaces from Data in High-Dimensional Matrices
US20160125307A1 (en) * 2013-06-05 2016-05-05 Yu Zheng Air quality inference using multiple data sources
US20170161639A1 (en) * 2014-06-06 2017-06-08 Nokia Technologies Oy Method and apparatus for recommendation by applying efficient adaptive matrix factorization
CN107169830A (zh) * 2017-05-15 2017-09-15 南京大学 一种基于聚类pu矩阵分解的个性化推荐方法
CN108021538A (zh) * 2017-11-15 2018-05-11 国网甘肃省电力公司信息通信公司 一种基于联合天气信息矩阵分解的电量数据恢复方法
CN109684601A (zh) * 2018-11-23 2019-04-26 河海大学常州校区 一种基于低秩矩阵完备化的空气质量数据恢复方法
CN111461423A (zh) * 2020-03-30 2020-07-28 四川国蓝中天环境科技集团有限公司 一种高精度网格化空气质量推断方法、系统、终端设备及存储介质
CN112257351A (zh) * 2020-10-20 2021-01-22 中国科学院地理科学与资源研究所 一种考虑地形和风向的环境空气质量监测异常值检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496310A (zh) * 2021-06-16 2021-10-12 国家超级计算深圳中心(深圳云计算中心) 基于深度学习模型的大气污染物预测方法和系统
CN114661754A (zh) * 2022-01-20 2022-06-24 福建中兴电子科技有限公司 一种基于分数引导正则化网络的水质污染无监督预警方法
CN114661754B (zh) * 2022-01-20 2024-05-03 福建中兴电子科技有限公司 一种基于分数引导正则化网络的水质污染无监督预警方法
CN115018454A (zh) * 2022-05-24 2022-09-06 北京交通大学 一种基于出行模式识别的乘客出行时间价值计算方法
CN115018454B (zh) * 2022-05-24 2024-04-05 北京交通大学 一种基于出行模式识别的乘客出行时间价值计算方法
CN116500240A (zh) * 2023-06-21 2023-07-28 江西索立德环保服务有限公司 一种土壤环境质量监测方法、系统及可读存储介质
CN116500240B (zh) * 2023-06-21 2023-12-29 江西索立德环保服务有限公司 一种土壤环境质量监测方法、系统及可读存储介质

Similar Documents

Publication Publication Date Title
Zhao et al. High-resolution daily AOD estimated to full coverage using the random forest model approach in the Beijing-Tianjin-Hebei region
CN113092684A (zh) 一种基于时空矩阵分解的空气质量推断方法
Hammerberg et al. Implications of employing detailed urban canopy parameters for mesoscale climate modelling: a comparison between WUDAPT and GIS databases over Vienna, Austria
CN110346517B (zh) 一种智慧城市工业大气污染可视化预警方法及其系统
Gao et al. Assessing neighborhood air pollution exposure and its relationship with the urban form
Alexander et al. Using LCZ data to run an urban energy balance model
CN108280789B (zh) 一种精细时空尺度二氧化碳排放要素间影响的空间分析方法
WO2018214060A1 (zh) 一种城市小尺度空气质量指数预测方法与系统
Makra et al. Airborne pollen in three European cities: Detection of atmospheric circulation pathways by applying three‐dimensional clustering of backward trajectories
Hu et al. BlueAer: A fine-grained urban PM2. 5 3D monitoring system using mobile sensing
CN106404620A (zh) 地统计插值与卫星遥感联合反演地面pm2.5的方法及系统
CN110346518B (zh) 一种交通排放污染可视化预警方法及其系统
CN110503348B (zh) 一种基于位置匹配的个体空气污染暴露模拟测量方法
CN118070619B (zh) 一种利用机器学习的城市内涝模型敏感参数识别优化方法
CN114878748B (zh) 一种co2排放量的监测方法及监测系统
Jiang et al. A Municipal PM2. 5 Forecasting Method Based on Random Forest and WRF Model.
Xu et al. When remote sensing data meet ubiquitous urban data: Fine-grained air quality inference
Scheibenreif et al. Toward global estimation of ground-level no 2 pollution with deep learning and remote sensing
Xu et al. Fine-grained air quality inference with remote sensing data and ubiquitous urban data
Ibrahim et al. The land surface temperature impact to land cover types
Chen et al. A Spatiotemporal Interpolation Graph Convolutional Network for Estimating PM₂. ₅ Concentrations Based on Urban Functional Zones
Liu et al. Monitoring the spatiotemporal dynamics of urban green space and its impacts on thermal environment in Shenzhen city from 1978 to 2018 with remote sensing data
Jung et al. A hybrid model for estimating the number concentration of ultrafine particles based on machine learning algorithms in central Taiwan
Hu et al. An estimated method of urban PM2. 5 concentration distribution for a mobile sensing system
Tong et al. Mapping microscale PM2. 5 distribution on walkable roads in a high-density city

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709

RJ01 Rejection of invention patent application after publication