CN112463877A - 一种三维海洋环境监测数据的压缩感知观测和重构方法 - Google Patents
一种三维海洋环境监测数据的压缩感知观测和重构方法 Download PDFInfo
- Publication number
- CN112463877A CN112463877A CN202011413419.1A CN202011413419A CN112463877A CN 112463877 A CN112463877 A CN 112463877A CN 202011413419 A CN202011413419 A CN 202011413419A CN 112463877 A CN112463877 A CN 112463877A
- Authority
- CN
- China
- Prior art keywords
- matrix
- dimensional
- data
- observation
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开了一种三维海洋环境监测数据的压缩感知观测和重构方法,针对三维海洋环境监测数据压缩感知的过程中,传统的一维化预处理方法以及直接三维观测方法性能不足的问题,提出了一种新颖的基于时空相关性的三维数据压缩感知观测和重构方法。首先通过对三维数据的二维展开矩阵组的特性进行分析,确定经度维上展开数据的性能最好。然后在此基础上,根据全球经度分布呈现环形的特点,对二维矩阵集合进行重叠分组,并指定组内首尾矩阵为关键矩阵,计算相邻矩阵的差值矩阵。最后通过合理分配关键矩阵和差值矩阵采样率的实现高效观测和重构。本发明能够在保证重构性能的前提下大大降低观测数目,缓解系统采集存储的压力。
Description
技术领域
本发明涉及三维数据压缩感知技术,具体地,本发明设计一种三维海洋环境监测数据的压缩感知观测和重构方法,属于压缩感知技术领域。
背景技术
由于广阔的海洋区域,复杂的水下高度和变化的环境,与传统的地面无线传感器网络相比,海洋传感器网络在覆盖区域的广度和深度方面有更高的要求,但是很难通过密集和定期部署大量海洋传感器节点来对大规模海域进行高分辨率监视。若为了获得高分辨率的海上蒸发波导态势,仅仅依靠增大传感器布设的密度提高海洋环境监测数据的空间分辨率,网络建设成本非常高,不但会造成资源的浪费,而且布设、维护以及系统实现都会成为很大的现实难题。一方面,传统的传感器采样频率必须满足Nyquist采样定理,需要采集全部信息再进行计算,舍弃大系数保留小系数,这不仅会造成资源浪费,还会增大编码端计算压力。另一方面,长时间持续不断的数据采集对传感器的续航能力以及系统的数据存储和传输能力提出了巨大的挑战。要想有效地传输和处理这些传感器节点收集的数据也受到诸如节点能耗和网络带宽等约束的限制。因此谋求技术上的突破以缓解日益增长的分辨率需求与增大传感器布设密度浪费资源、实现困难之间的矛盾,具有重要的意义。
压缩感知(Compressed Sensing or Compressed Sampling,CS)的出现引领信号处理进入一个新的时代。在压缩感知理论的基础上,对海洋环境监测数据进行观测,将这些少量的观测值传输至数据处理中心,然后利用相应的重构算法实现数据重构,并将重构出的海洋环境监测数据用于各类数据应用场景。由于海洋环境监测传感器所在的环境十分复杂,监测得到的数据携带了空间物理意义和气象背景,这使得压缩感知理论在实际应用过程中,不能直接套用,需要将数据中存在的时间、空间结构信息转换为二维或三维的形式进行处理,通常情况下,大范围区域内的传感器网络在长时间的观测下获得的监测数据以三维形式存储,这对数据采集和重构框架提出了新的要求,从而导致海洋环境监测数据压缩感知过程中出现许多问题亟待解决。对小范围长时间内的海洋环境空间进行感知时,通常情况下会省略传感器空间位置之间的关系。但是对于广阔空间范围中的传感器数据收集,传感器的空间位置关系不容忽略,加入传感器空间位置关系的时间序列会将数据扩展到三维上。与二维数据相比,三维数据不仅提供了时间维度上的数据关系,还给出了传感器数据空间位置之间的关系。三维数据模式可以更加充分地利用数据的多维相关性,克服向量模式和矩阵模式在维度上的不足。在处理三维信号问题上,通常的做法是通过Kronecker积将三维观测转换为一维观测后进行处理,但是将三维信号一维化之后再进行观测,会导致观测矩阵的相关性急剧增加,迫使观测数目增加以实现精确重构,而观测数目的增加导致CS的优势不再明显。直接利用张量压缩感知对三维信号整体进行观测和重构的方法复杂度太高,内存需求量大。在张量压缩感知的基础上利用多维块的张量压缩感知解决复杂度高的问题,但是多维数据进行分块处理,依然会带来块效应。为更好的利用数据维度之间的相关性,基于时空相关性模型的处理方法发展起来。虽然对三维数据进行了时间维度上的分割,可能导致相关性的断裂,但是为了弥补这一操作的缺陷,在观测和重构过程中充分利用时间维上二维数据之间的相关性,进一步降低时间维度上数据相关性割裂的情况。已有的研究成果中,大多数是在时间维度上对三维数据进行展开,利用相邻时间间隔内的数据之间的相关性,可以从一定程度上减小时间维度数据分割导致内在结构破坏对重构性能的影响。总的来说,基于时空相关性的算法比直接二维分割单独处理的方法重构性能高,比直接三维处理的复杂度低。不过,现有的方法都是默认时间维度上的数据相关性最好,因此直接从时间维度上对数据进行观测和重构,未对空间上的两个维度展开的数据特性进行研究。在不同的感知数据应用背景下,数据的特性(时间分辨率、空间分辨率)不同,不能保证时间维度上的数据相关性总是最大,其他两个维度上的展开得到的数据相关性有待开发。
发明内容
本发明的目的是设计三维海洋环境监测数据的压缩感知观测和重构方法,旨在解决现有三维数据观测和重构方法性能不高的问题。首先通过对三维数据的二维展开矩阵组的特性行分析,确定经度维上展开数据的性能最好。然后在此基础上,根据全球经度分布呈现环形的特点,对二维矩阵集合进行重叠分组,并指定组内首尾矩阵为关键矩阵,计算相邻矩阵的差值矩阵。最后通过合理分配关键矩阵和差值矩阵采样率的实现高效观测,并在此基础上基于分组差值补偿的矩阵重构方法实现重构。本发明能够在保证重构性能的前提下大大降低观测数目,缓解系统采集存储的压力。
为了达到上述目的,本发明所采用的技术方案为——一种三维海洋环境监测数据压缩感知观测方法,包括以下步骤:
步骤1,在经度维上对三维数据进行二维展开,获得二维数据矩阵集合;
步骤2,对矩阵集合进行重叠分组,相邻两组共享一个矩阵,指定组内首尾矩阵为关键矩阵,计算相邻矩阵的差值矩阵;
步骤3,对组内差值矩阵和关键矩阵的采样率进行分配以实现高效观测。
以及一种三维海洋环境监测数据重构方案,在使用上述观测方法对三维数据进行观测后,采用如下方法对观测数据进行重构:以分组观测中得到的第一组观测数据为例,假设此时组内共五个待重构矩阵,那么组内基于分组差值补偿的矩阵重构方法的具体步骤为:
本发明与现有技术相比具有如下优点:
1.对三维海洋环境监测数据的特性分析,研究了四种真实海洋环境数据集在三种不同维度下进行切割获得的数据的稳定性和数据之间的相关性,得出经度维下寻找切割点的方法获得的数据矩阵集合之间的稳定性和相关性更强的结论;
2.以上述结论为基础设计三维数据分割方案,并给出了一种新颖的矩阵集合分组方案,指定关键矩阵和计算相邻矩阵的差值矩阵,通过合理安排关键矩阵和差值矩阵的采样率实现数据的高效观测;
3.提出基于分组差值补偿的矩阵重构方法,在分组方案的指导下,实现矩阵集合内关键矩阵和差值矩阵的重构。
附图说明
图1是本发明提供的一种三维海洋环境监测数据压缩感知方法流程图;
图2是气温数据集在不同维度下的二维展开数据的稳定性分析;
图3是湿度数据集在不同维度下的二维展开数据的稳定性分析;
图4是风速数据集在不同维度下的二维展开数据的稳定性分析;
图5是海表温度数据集在不同维度下的二维展开数据的稳定性分析;
图6是气温数据集在不同维度下展开的二维数据相关性分析;
图7是湿度数据集在不同维度下展开的二维数据相关性分析;
图8是风速数据集在不同维度下展开的二维数据相关性分析;
图9是海表温度数据集在不同维度下展开的二维数据相关性分析;
图10是分组观测示意图;
图11是组内重构示意图。
具体实施方式
下面结合实施例和附图对本发明进行更详细地说明。
如图1所示,本发明的实施例公开了一种三维海洋环境监测数据观测和重构方法,其中三维数据观测方法的具体步骤如下:
步骤1,在经度维上对三维数据进行二维展开,获得二维数据矩阵集合。一段时间内海洋环境监测数据的全球分布数据为在经度维上展开之后获得的二维矩阵可表示为其中Ni表示经度维的长度,Nj表示纬度维的长度,Nt表示时间维的长度,在经度维上展开之后共获得Ni个二维矩阵构成矩阵集合,每个矩阵可表示为因此在MMV模型下对矩阵集合中的每个矩阵进行观测,得到观测值
Ylon=ΦXlon
式中,为观测矩阵,M表示观测数目。其中在稀疏基下能够被稀疏表示,稀疏表示系数为θ=Ψla-tXlon。下面通过对三个维度上展开的二维数据特性进行详细分析。数据集采用美国国家环境预报中心(National Centersfor Environmental Prediction,NCEP)的全球再分析资料中的实测数据,参数具体如下:
时间范围:2017年1月1日20时至2018年9月4日23时
时间分辨率:1小时
空间范围:180°~180°W。90°S~90°N
空间分辨率:2.5°×2.5°
浮标测量海洋和海面上的20多种气象参数。本文仅限于几个典型的数据分析,如海面以上3米处的气温(Air Temperature,AirT)、海面3米处的相对湿度(RelativeHumidity,Rhum)、海面以下1米处的海面温度(Sea Surface Temperature,SST),海面以上4米处的风速(the Winds Speed,WS)。实验前,数据集内均进行了预处理,将缺失、错误数据的剔除,构造出完整的数据集。
1.各维度上的稳定性
为研究各维度数据随维度变化的快慢程度,以确定其稳定性,分别计算各维度下的二维展开数据中相邻维度观测节点之间的数据差异。
1)在时间维度上展开,计算相邻时间间隔数据差异并归一化。
2)在经度维上展开,计算相邻经度间隔数据差异并归一化。
3)在维度维上展开,计算相邻维度间隔数据差异并归一化。
图2~图5中分别展示了AirT、Rhum、WS、SST四种数据集在三种维度下展开得到的二维矩阵组的稳定性分析曲线,曲线在累积分布函数(Cumulative DistributionFunction,CDF)下得到的。总体来看,四种数据集中三种展开情况下的数据稳定性都比较强,其中时间维度下和经度维下数据展开的稳定性更高,归一化差值有超过90%的概率小于0.2。具体来看,对于AirT和WS数据集来说,时间维度上展开的稳定性最好,但是优势不明显,尤其是AirT数据集下时间维和经度维的稳定性几乎相当。而在Rhum和SST数据集下,经度维的稳定性更强,且优势明显,归一化差值小于0.1的概率几乎达到90%。因此,综合上述分析,四种数据集下,选择经度维上进行二维展开得到的二维数据组的稳定性更强。
2.展开后二维空间的相关性
相关系数通常用来作为一种相关性的度量标准,因此本发明采用皮尔逊相关系数(Pearson correlation coefficient,PCC)对数据相关性进行有效度量,对于三维数据展开后相邻维度间隔的二维空间相关性度量也采用PCC进行计算。
1)在时间维度上展开,计算相邻时间间隔的二维矩阵相关系数。
2)在经度维度上展开,计算相邻经度间隔的二维矩阵相关系数。
3)在维度维上展开,计算相邻维度间隔的二维矩阵相关系数。
图6~图9中分别展示了AirT、Rhum、WS和SST四种数据集在三种维度下数据展开得到的二维矩阵组中相邻矩阵之间相关系数的CDF曲线。从总体的曲线走势可以看出,时间维和经度维下展开的数据空间相关性较维度维下展开数据的相关性更强,维度维一直处于劣势,因此不再对其进行讨论。现对时间维和经度维进行详细的比较,通过对比四种数据集下的CDF曲线可以发现,在AirT和SST数据集下,时间维和经度维下展开数据的相关性相当,且经度维稍有优势;在Rhum和WS数据集下,经度维的优势十分明显。综合上述分析,在经度维下对三维数据进行二维展开得到的矩阵之间的相关性更强,相邻矩阵之间可以为彼此的采集和重构提供更多的参考信息。
步骤2,对矩阵集合进行分组,指定各组内的关键矩阵并计算相邻矩阵的差值矩阵。如图10所示,由于经度呈现圆形分布特性,因此在经度维上展开的矩阵集合继承了这一特性。所以首先在圆形分布上进行重叠分组,每一组的第一矩阵也是前一组的最后一个矩阵,被称为关键矩阵,即相邻两组共享同一关键矩阵,每组内矩阵数量p取决于具体的经度分辨率,一般情况下取值为奇数,具体应用时可根据实际情况对组内矩阵数量进行确定。
经度上展开得到的相邻矩阵之间的差值可以表示为
式中,Δi-1表示第i-1个差值矩阵,i=2,3,...,Ni。
步骤3,合理分配组内差值矩阵和关键矩阵的采样率进行观测;
利用不同的观测矩阵对差值矩阵和关键矩阵分别进行观测。对每组关键矩阵的观测得到其中g表示组号,表示对关键矩阵进行观测的观测矩阵,Mf表示对关键矩阵的观测次数;对差值矩阵进行观测得到其中表示对差值矩阵进行观测的观测矩阵,Md表示对差值矩阵的观测次数。从图10中可以看出,圆形分布模式下的分组很好地利用了经度首尾相接的特点,将关键矩阵的位置放在小组内第一个和最后一个,这样每两组之间共享一个关键矩阵,减少了关键矩阵的数量,从而进一步减少观测数目。
在上述观测方法的基础上,以第一组为例对得到观测数据进行基于分组差值补偿的矩阵重构,如图11所示,具体步骤为:
以上内容仅为本发明在具体实施例下的详细说明,并非将本发明限制于上述具体实例的详细描述中,在不脱离本发明原理和精神的前提下,对本发明进行变化、修改和替换都应属于本发明保护的范围之内。
Claims (5)
1.一种三维海洋环境监测数据的压缩感知观测方法,其特征在于,包括以下步骤:
步骤1,在经度维上对三维数据进行二维展开,获得二维数据矩阵集合;
步骤2,对矩阵集合进行重叠分组,相邻两组共享一个矩阵,指定组内首尾矩阵为关键矩阵,通过计算相邻矩阵的差值获得差值矩阵;
步骤3,对组内差值矩阵和关键矩阵的采样率进行分配以实现高效观测。
5.一种三维海洋环境监测数据的压缩感知重构方法,其特征在于,使用如权利要求1至4中任一观测方法对三维数据进行观测后,采用如下方法对观测数据进行重构:以分组观测中得到的第一组观测数据为例,假设此时组内共五个待重构矩阵,那么组内基于分组差值补偿的矩阵重构方法的具体步骤为,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011413419.1A CN112463877B (zh) | 2020-12-04 | 2020-12-04 | 一种三维海洋环境监测数据的压缩感知观测和重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011413419.1A CN112463877B (zh) | 2020-12-04 | 2020-12-04 | 一种三维海洋环境监测数据的压缩感知观测和重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112463877A true CN112463877A (zh) | 2021-03-09 |
CN112463877B CN112463877B (zh) | 2022-12-09 |
Family
ID=74800083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011413419.1A Active CN112463877B (zh) | 2020-12-04 | 2020-12-04 | 一种三维海洋环境监测数据的压缩感知观测和重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112463877B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114462445A (zh) * | 2021-12-24 | 2022-05-10 | 扬州大学 | 给定观测维度的海洋多维非对称信号的特征萃取方法 |
CN117668477A (zh) * | 2024-01-31 | 2024-03-08 | 山东科技大学 | 一种海洋大数据智能轻量化处理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102630011A (zh) * | 2012-03-31 | 2012-08-08 | 浙江师范大学 | 一种视频传感器网络中的压缩感知编解码方法及系统 |
CN102855400A (zh) * | 2012-09-10 | 2013-01-02 | 北京航空航天大学 | 一种基于投影网格的海洋表面建模及实时光照方法 |
CN103595417A (zh) * | 2013-09-06 | 2014-02-19 | 重庆大学 | 压缩感知框架下脉冲-连续核信号混合重构方法 |
CN105354867A (zh) * | 2015-11-27 | 2016-02-24 | 中国矿业大学(北京) | 自适应冗余字典压缩感知的高光谱图像压缩算法研究 |
CN107329141A (zh) * | 2017-08-03 | 2017-11-07 | 厦门大学 | 一种海洋环境下的航体微弱辐射噪声信号检测方法 |
-
2020
- 2020-12-04 CN CN202011413419.1A patent/CN112463877B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102630011A (zh) * | 2012-03-31 | 2012-08-08 | 浙江师范大学 | 一种视频传感器网络中的压缩感知编解码方法及系统 |
CN102855400A (zh) * | 2012-09-10 | 2013-01-02 | 北京航空航天大学 | 一种基于投影网格的海洋表面建模及实时光照方法 |
CN103595417A (zh) * | 2013-09-06 | 2014-02-19 | 重庆大学 | 压缩感知框架下脉冲-连续核信号混合重构方法 |
CN105354867A (zh) * | 2015-11-27 | 2016-02-24 | 中国矿业大学(北京) | 自适应冗余字典压缩感知的高光谱图像压缩算法研究 |
CN107329141A (zh) * | 2017-08-03 | 2017-11-07 | 厦门大学 | 一种海洋环境下的航体微弱辐射噪声信号检测方法 |
Non-Patent Citations (1)
Title |
---|
刘歌: "基于结构特征约束两阶段重构的视频压缩感知", 《基于结构特征约束两阶段重构的视频压缩感知》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114462445A (zh) * | 2021-12-24 | 2022-05-10 | 扬州大学 | 给定观测维度的海洋多维非对称信号的特征萃取方法 |
CN114462445B (zh) * | 2021-12-24 | 2024-03-29 | 扬州大学 | 给定观测维度的海洋多维非对称信号的特征萃取方法 |
CN117668477A (zh) * | 2024-01-31 | 2024-03-08 | 山东科技大学 | 一种海洋大数据智能轻量化处理方法及系统 |
CN117668477B (zh) * | 2024-01-31 | 2024-04-26 | 山东科技大学 | 一种海洋大数据智能轻量化处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112463877B (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | Rapid prediction of peak storm surge from tropical cyclone track time series using machine learning | |
CN112463877B (zh) | 一种三维海洋环境监测数据的压缩感知观测和重构方法 | |
CN109947879B (zh) | 一种基于复杂网络的海洋观测大数据可视化分析方法 | |
CN102682573B (zh) | 一种基于时间序列分析的风暴潮灾害预警系统 | |
CN115393540A (zh) | 基于深度学习的三维海洋环境场的智能融合方法及系统 | |
CN101841932A (zh) | 无线传感器网络中基于动态分簇的分布式压缩感知方法 | |
CN109543356A (zh) | 考虑空间非平稳性的海洋内部温盐结构遥感反演方法 | |
Waseda et al. | Freakish sea index and sea states during ship accidents | |
CN111461423B (zh) | 一种高精度网格化空气质量推断方法、系统、终端设备及存储介质 | |
Mazzaretto et al. | A global evaluation of the JONSWAP spectra suitability on coastal areas | |
CN115984850A (zh) | 基于改进Deeplabv3+的轻量级遥感影像语义分割方法 | |
CN114781576B (zh) | 一种基于随机森林算法的声速剖面估计方法及装置 | |
CN114049545A (zh) | 一种基于点云体素的台风定强方法、系统、设备及介质 | |
CN115859116A (zh) | 一种基于径向基函数回归插值法的海洋环境场重建方法 | |
CN110311685B (zh) | 时序贝叶斯压缩采样及信号解压缩重构方法及数据丢失恢复方法 | |
CN115082809A (zh) | 一种基于遥感影像大数据的潮滩演变监测新方法 | |
CN115248992A (zh) | 一种基于压缩激励PredRNN的海洋三维温盐时空预测方法 | |
Shankar et al. | Wave Boundary Layer Model based wind drag estimation for tropical storm surge modelling in the Bay of Bengal | |
Hjelmervik et al. | Estimating temperature and salinity profiles using empirical orthogonal functions and clustering on historical measurements | |
Benassai et al. | The use of COSMO-SkyMed© SAR data for coastal management | |
CN113221777A (zh) | 一种近岸海浪等级监测方法及装置 | |
Echi et al. | Dynamics of daily rainfall and temperature in Makurdi | |
CN103399361A (zh) | 一种蒸发波导时空态势压缩感知方法 | |
CN112579687B (zh) | 一种海洋环境监测数据压缩感知在线重构方法 | |
Bocci et al. | Geoadditive modeling for extreme rainfall data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |