CN114048588A - 一种海洋ctd异常值剔除方法、系统、存储介质、终端及应用 - Google Patents
一种海洋ctd异常值剔除方法、系统、存储介质、终端及应用 Download PDFInfo
- Publication number
- CN114048588A CN114048588A CN202111209675.3A CN202111209675A CN114048588A CN 114048588 A CN114048588 A CN 114048588A CN 202111209675 A CN202111209675 A CN 202111209675A CN 114048588 A CN114048588 A CN 114048588A
- Authority
- CN
- China
- Prior art keywords
- fitting
- points
- abnormal value
- residual error
- maximum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008569 process Effects 0.000 claims abstract description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 25
- 230000008030 elimination Effects 0.000 claims description 12
- 238000003379 elimination reaction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000006467 substitution reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 150000003839 salts Chemical class 0.000 claims description 3
- 230000010365 information processing Effects 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了海洋CTD异常值剔除方法、系统、存储介质、终端及应用，涉及海洋环境信息处理技术领域。利用三次样条函数对海洋CTD剖面电导率数据进行多项式拟合；基于最小二乘法计算多项式拟合残差，将最大拟合残差点对应的电导率数据用拟合结果替代；经过多次拟合，直至最大拟合残差不再继续减小时停止。将最大拟合残差极小值对应的拟合次数确定为最优拟合次数，最优拟合次数内所有最大拟合残差点对应的电导率数据识别为异常值，并在每次拟合过程中使用拟合结果替代异常值，从而剔除整个剖面数据中的所有电导率异常值。本发明避免了多次无效的重复操作、剔除结果的不确定性及大量误判等。
Description
技术领域
本发明属于海洋环境信息处理技术领域，尤其涉及一种基于三次样条函数拟合控制的海洋CTD异常值剔除方法、系统、信息数据处理终端、收用户输入程序存储介质、应用。
背景技术
目前对Sea-Bird 9plus CTD剖面观测资料的处理，基本按照观测系统所自带的处理软件SBE DataProcessing进行处理，主要步骤包括低通滤波(Filter)、滞后订正(AlignCTD)、热效应订正(Cell Thermal Mass)、消除逆压(Loop Edit)、异常值剔除(Wild Edit与Window Filter) 及衍生计算(Derive)等。其中低通滤波对压力数据进行平滑，为后续消除逆压数据做准备；滞后订正目前多通过SBE11甲板单元实现，并在原始数据头文件中给出订正说明；对于热效应订正，可以采用 Lueck或Morison提供的校正系数对电导率进行热效应校正。通过以上四步可有效去除因各传感器不同步造成的数据“尖峰”及船舶起伏造成的数据“打结”。但在进行异常值剔除时，Wild Edit、Window Filter、中位数绝对偏差(MAD)及中位数滤波结合最大偏差(MDIF)等方法的处理结果受人为因素影响较大，若条件过松无法剔除所有的异常值，若条件过严造成将大量正常数据误判为异常值。
通过上述分析，现有技术存在的问题及缺陷为：
(1)在海洋环境CTD剖面观测信息处理中，现有技术在进行异常值剔除时，需要数据处理人员根据经验进行多次尝试后选取判别阈值，效率低、速度慢；
(2)处理结果因人为选取的阈值的不同，造成最终处理结果的不确定性。
解决以上问题及缺陷的难度为：海洋CTD剖面数据异常值的剔除需要人为设置阈值，结果受阈值影响较大，阈值设置过大则无法剔除所有异常值，阈值设置过小则会将大量正常数据误判为异常值；处理过程中需要不断尝试，根据剔除结果选择最优阈值，效率低、速度慢，并且剔除结果因阈值选取的不同而具有不确定性。
解决以上问题及缺陷的意义为：尽量减少人为因素影响，自动选择最优阈值，快速有效剔除海洋CTD剖面数据异常值，避免剔除结果的不确定性以及大量误判。
本发明使用的原始数据为温盐深剖面观测资料，观测仪器为 SBE911plus CTD温盐深测量系统，采样频率24Hz，其温度传感器分辨率为0.0002℃，准确度为0.001℃；电导率传感器分辨率为0.0004 mS/cm，准确度为0.003mS/cm；压力传感器分辨率为0.06895dbar(满量程的0.001％)，准确度为1.034dbar(满量程的0.015％)。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了基于三次样条函数拟合控制的海洋CTD异常值剔除方法、系统、信息数据处理终端、收用户输入程序存储介质、应用，具体涉及一种基于三次样条函数拟合控制的海洋SBE9plus CTD异常值剔除方法。
本发明以SBE9plus CTD剖面数据为例，根据本发明公开实施例的第一方面，提供一种海洋CTD异常值剔除方法。由于大多数的异常值基本都在150m水深以浅，为此，本发明提出的所有参数以150m 水深以浅的数据为前提。
所述技术方案如下：
利用三次样条函数对海洋150m水深以内的CTD剖面数据进行多项式拟合；用两点三次埃尔米特多项式条件计算拟合的所述多项式系数，基于最小二乘法计算所述多项式拟合残差，并将最大拟合残差点对应的电导率数据使用拟合结果替代；
经过多次拟合，根据所述最大拟合残差极小值对应的拟合次数确定最优拟合次数；
利用所述最优拟合次数内识别的所有最大拟合残差点对应的电导率数据识别为异常值点，并在每次拟合过程中，采用三次样条拟合结果替代所述异常值点。
在本发明一实施例中，所述海洋某一水深为150m水深。
在本发明一实施例中，所述海洋CTD异常值剔除方法具体包括：
步骤一，首先求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
步骤二，根据选取的独立点，使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点对应的电导率数据识别为异常值点，并使用拟合结果替代；
步骤三，经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点对应的电导率数据为整个温盐深剖面资料的所有电导率异常值点，并在每次拟合过程中使用拟合结果进行替代，从而剔除整个剖面数据中的所有异常值点；
所述步骤二，异常值点识别方法具体包括：
第一步，在选取独立点后对原始数据进行三次样条函数拟合，基于最小二乘法，将拟合结果与原始数据相减求得拟合残差；
第二步，将最大拟合残差点识别为异常值点，并使用拟合结果替代异常值点；
第三步，重复上述步骤，直至最大拟合残差点不再继续减小时停止拟合与替代，最大拟合残差极小值对应的次数作为最优拟合次数，最优拟合次数内所有的最大拟合残差点识别为原始剖面电导率数据中的所有异常值点，并在每次拟合过程中使用拟合结果进行替代；
根据本发明公开实施例的第二方面，提供一种海洋CTD异常值剔除系统包括：
独立点选取模块，首先求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
异常值识别与剔除模块，用于根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点识别为异常值点，并使用拟合结果替代；
自动循环与停止模块，如此多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点为整个温盐深剖面资料的所有异常值点。
根据本发明公开实施例的第三方面，提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述海洋CTD异常值剔除方法包括下列步骤：
通过求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点识别为异常值点，并使用拟合结果替代，经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点为整个温盐深剖面资料的所有异常值点；
在每次拟合过程中，利用三次样条拟合结果替代识别出的异常值点，从而剔除整个剖面资料中的所有异常值点。
根据本发明公开实施例的第四方面，提供一种信息数据处理终端，所述信息数据处理终端计包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
通过求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点识别为异常值点，并使用拟合数据替代，经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点为整个温盐深剖面资料的所有异常值点；
在每次拟合过程中，利用三次样条拟合结果替代识别出的异常值点，从而剔除整个剖面资料中的所有异常值点。
根据本发明公开实施例的第五方面，提供一种所述海洋CTD异常值剔除方法在大于等于24Hz高频采样频率的水深150m范围内的海洋CTD剖面数据识别与剔除中的应用。
本发明公开的实施例提供的技术方案可以包括以下有益效果：
针对海洋调查过程中SBE9plus CTD异常值问题，本发明提出了一种利用三次样条函数对150m水深以内的SBE9plus CTD剖面数据进行多项式拟合，基于最小二乘法计算拟合残差，将最大拟合残差点对应的电导率数据使用拟合结果替代；并根据最大拟合残差极小值对应的拟合次数确定最优拟合次数，最优拟合次数内识别的所有最大拟合残差点即识别的所有异常值点，并在每次拟合过程中使用三次样条拟合结果替代异常值。本方法针对150m水深以浅的SBE9plus CTD剖面资料中的异常值进行识别与剔除，快速有效的剔除所有异常值，避免了剔除结果的不确定性及大量误判，为大于等于24Hz的其他高频采样频率的水深150m范围内的CTD剖面资料异常值剔除提供了一种方法。
实验表明：
(1)本发明对异常值的剔除更有针对性，方法快速有效，避免多次无效的重复操作及大量误判；
(2)本发明可以自动优化拟合次数，避免因人为选择不同判别阈值导致剔除结果的不确定性；
(3)本发明对150m水深以浅的SBE9plus CTD异常值剔除具有一般普适性，为其他高频采样频率剖面数据的异常值剔除提供了一种方法；
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的基于三次样条函数拟合控制的海洋 SBE9plus CTD异常值剔除方法流程图。
图2a是本发明实施例提供的电导率原始数据、峰值点示意图。
图2b是本发明实施例提供的独立点示意图。
图3a是本发明实施例提供的最优拟合次数图。
图3b是本发明实施例提供的异常值识别结果与三次样条拟合结果整体图。
图4a是本发明实施例提供的异常值识别结果(黑色圆圈)与三次样条拟合结果(灰色实点)分图1。
图4b是本发明实施例提供的异常值识别结果(黑色圆圈)与三次样条拟合结果(灰色实点)分图2。
图5是本发明实施例提供的在应用例1的基础上，增加另外19 个(实例2-实例20)同样存在异常值的CTD剖面数据实例，剔除结果分别见图5的图5B-图5T。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明利用三次样条函数拟合方法对调查所得的150m以浅水深的温盐深剖面资料进行异常值的识别与剔除。首先通过求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，然后将最大拟合残差点对应的电导率数据识别为异常值，并使用拟合结果替代；经过多次拟合与替代，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点即整个温盐深剖面资料的所有异常值点，通过多次的拟合与替代从而剔除整个剖面资料中的所有异常值。本发明提出的方法主要针对150m水深以浅SBE9plus CTD剖面数据，可为其他型号CTD剖面数据的异常值剔除提供参考。
具体地，本发明以SBE9plus CTD剖面数据为例，如图1所示，本发明公开实施例所提供的基于三次样条函数拟合控制的海洋 SBE9plus CTD异常值剔除方法，利用三次样条函数拟合方法对调查所得的150m以浅水深的温盐深剖面资料进行异常值的识别与剔除包括：
S101，首先通过求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点。
S102，根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，然后将最大拟合残差点识别为异常值点，并使用拟合结果替代异常值点。
S103，经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点即整个温盐深剖面资料的所有异常值点，并在每次拟合过程中利用三次样条拟合结果对识别的异常值进行替代，从而剔除整个剖面资料中的所有异常值点。
本发明提出的方法主要针对150m水深以浅SBE9plus CTD剖面数据，可为其他型号CTD剖面数据的异常值剔除提供参考。
本发明提供一种海洋CTD异常值剔除系统包括：
独立点选取模块，通过求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
异常值识别与剔除模块，用于根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点识别为异常值点，并使用拟合结果替代；
自动循环与停止模块，经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点为整个温盐深剖面资料的所有异常值点。
下面结合具体实施例对本发明技术方案作进一步描述。
在本发明一实施例中，基于三次样条函数拟合控制的海洋SBE9plus CTD异常值剔除方法包括：
首先对电导率数据的变化剧烈区及其他区域分别选取水深点作为独立点，通过三次样条函数将独立点连接，基于最小二乘法进而得到拟合数据。
将拟合数据与原始数据做差，并将最大拟合残差点作为异常值点，使用拟合结果替代最大拟合残差点。如此反复，直至最大拟合残差不再继续减小时停止，最大拟合残差最小值对应的次数作为最优拟合次数，最优拟合次数内的所有最大拟合残差点即为整个剖面数据的所有异常值点。
具体步骤如下：
1)独立点选取
首先求取原始电导率数据的峰值，由于跃层区与逆跃层区等变化剧烈区域的数据具有单调性，因此其峰值间隔大于其他区域。原始数据采样频率为24Hz，在150m水深以浅的跃层区与逆跃层区，对应电导率峰值间隔大于12个点的区域，在此类区域内每间隔6个采样点选取水深数据作为独立点；而在其他区域每间隔72个采样点选取水深数据作为独立点。
2)异常值点识别与剔除
2.1)在选取某些水深数据作为独立点后对原始电导率数据进行三次样条函数拟合，基于最小二乘法，将拟合结果与原始电导率数据相减求得拟合残差。
2.2)将最大拟合残差点作为异常值点，并使用拟合结果替代异常值。
3)自动循环与停止
重复上述步骤，直至最大拟合残差不再继续减小时停止拟合与替代，最大拟合残差极小值对应的拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点即原始电导率数据中的所有异常值点。
下面结合具体应用实施例对本发明地技术方案作进一步描述。
应用例1：
在应用本方法之前对原始数据进行初步质量控制，包括去除感温数据、逆压数据及明显不符合常识的数据等，上述初步质量控制步骤完全可以通过编程实现自动化处理。再进行：
第一步，独立点选取。
如图2a所示，原始电导率数据(黑点)、电导率峰值点(灰点) 示意图。峰值点占原始数据的比例为331/2357；如图2b所示，独立点 (灰点)则分布比较均匀，占原始数据的比例为274/2357。
第二步，异常值点识别与剔除。
根据选取的水深独立点对原始电导率数据进行三次样条函数拟合，基于最小二乘法，将拟合结果与原始数据作差求得拟合残差，将最大拟合残差点作为异常值点，并用拟合数据替代；
第三步，自动循环与停止。
经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，得到最优拟合次数为50(图3a)，前50次最大拟合残差点即异常值点如图3b黑色圈所示，位于原始数据点组成的曲线左侧；三次样条拟合结果位于曲线中的一间隔段(灰度线段)。拟合数据替代所有异常值点结果如图4a与4b中的灰点(位于曲线中的某一段)所示，整体剔除结果如图5A所示。
应用例2-20：
在上述应用例1的基础上，增加另外19个(实例2-实例20)同样存在异常值的CTD剖面数据实例。
对其他19个实例CTD剖面数据进行同样的操作处理，最优三次样条拟合次数及对应的最大拟合残差见表3，平均最优拟合次数26 次，平均最大拟合残差0.085mS/cm。
表1实例(1)-实例(20)CTD剖面数据的最优三次样条拟合次数及对应的最大拟合残差
剔除结果分别为图5的图5A-图5T。图5A-图5T中，CTD原始数据(黑点)、三次样条拟合识别异常值点(黑色圆圈)及最终处理结果(灰色点线)。
本发明提出的基于三次样条拟合结合最大拟合残差控制的异常值剔除方法具有以下特点：
本方法在异常值剔除时，快速有效，对异常值的剔除更有针对性，避免不必要的多次无效重复操作及大量误判；
本方法可以自动优化拟合次数，避免不断改变判别阈值进行多次尝试，避免因人为因素选择不同的判别阈值而导致剔除结果的不确定性；
本方法对150m水深以浅的SBE9plus CTD异常值剔除具有一般普适性。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。
Claims (10)
1.一种海洋CTD异常值剔除方法，其特征在于，所述海洋CTD异常值剔除方法包括：
利用三次样条函数对海洋的CTD剖面电导率数据进行多项式拟合，用两点三次埃尔米特多项式条件计算拟合的多项式系数，基于最小二乘法计算多项式拟合残差，并用拟合结果替代最大拟合残差点对应的电导率数据；
经过多次拟合和替代，直至最大拟合残差不再继续减小时停止拟合和替代，最大拟合残差极小值对应的拟合次数确定为最优拟合次数；
所述最优拟合次数内的所有最大拟合残差点识别为异常值点，并在每次拟合过程中使用拟合结果替代所述异常值点。
2.根据权利要求1所述的海洋CTD异常值剔除方法，其特征在于，所述海洋的水深为150m。
3.根据权利要求1所述的海洋CTD异常值剔除方法，其特征在于，所述海洋CTD异常值剔除方法具体包括：
步骤一，首先求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
步骤二，根据选取的独立点，使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点对应的电导率数据识别为异常值点，并用拟合结果进行替代。
4.根据权利要求3所述的海洋CTD异常值剔除方法，其特征在于，所述海洋CTD异常值剔除方法还包括：重复步骤二，直至最大拟合残差无法继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点识别为整个温盐深剖面资料的所有异常值点，且在每次拟合过程中以拟合结果替代异常值点，从而剔除整个剖面资料中的所有异常值点。
5.根据权利要求3所述的海洋CTD异常值剔除方法，其特征在于，所述步骤二中，异常值点的识别方法具体包括：
第一步，在选取水深点作为独立点后对原始电导率数据进行三次样条拟合，基于最小二乘法，将电导率拟合结果与原始电导率数据相减求得拟合残差；
第二步，将最大拟合残差点对应的电导率数据识别为异常值点，并使用拟合结果替代异常值点；
第三步，重复上述步骤，直至最大拟合残差不再继续减小时停止，最大拟合残差极小值对应的次数作为最优拟合次数，最优拟合次数内所有的最大拟合残差点识别为原始剖面电导率数据中的所有异常值点。
6.根据权利要求3所述的海洋CTD异常值剔除方法，其特征在于，在第二步与第三步中，对识别出的异常值点，利用每次的三次样条拟合结果替代，剔除整个剖面资料中的所有异常值点。
7.一种实施权利要求1～6任意一项所述海洋CTD异常值剔除方法的海洋CTD异常值剔除系统，其特征在于，所述海洋CTD异常值剔除系统包括：
独立点选取模块，通过求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
异常值识别与剔除模块，用于根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点识别为异常值点，并使用拟合结果替代；
自动循环与停止模块，经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点为整个温盐深剖面资料的所有异常值点。
8.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～6任意一项所述海洋CTD异常值剔除方法包括下列步骤：
首先求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
根据选取的独立点，使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点对应的电导率数据识别为异常值点，并使用拟合结果替代；经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点对应的电导率数据为整个温盐深剖面资料的所有电导率异常值点；
在每次拟合过程中，利用拟合结果替代异常值点，最终剔除整个剖面资料中的所有异常值点。
9.一种信息数据处理终端，其特征在于，所述信息数据处理终端计包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述海洋CTD异常值剔除方法步骤。
10.一种如权利要求1～6任意一项所述海洋CTD异常值剔除方法在大于等于24Hz高频采样频率的水深150m范围内的CTD剖面资料异常值剔除中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111209675.3A CN114048588B (zh) | 2021-10-18 | 2021-10-18 | 一种海洋ctd异常值剔除方法、系统、存储介质及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111209675.3A CN114048588B (zh) | 2021-10-18 | 2021-10-18 | 一种海洋ctd异常值剔除方法、系统、存储介质及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114048588A true CN114048588A (zh) | 2022-02-15 |
| CN114048588B CN114048588B (zh) | 2024-03-01 |
Family
ID=80205287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111209675.3A Active CN114048588B (zh) | 2021-10-18 | 2021-10-18 | 一种海洋ctd异常值剔除方法、系统、存储介质及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114048588B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116627380A (zh) * | 2023-07-24 | 2023-08-22 | 自然资源部第一海洋研究所 | 基于三角多项式拟合的电导率异常值识别方法、系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190204465A1 (en) * | 2016-09-09 | 2019-07-04 | Japan Agency For Marine-Earth Science And Technology | Submarine resource exploration system, transmission device, reception device, signal processing device, signal processing method, electrical exploration method, electromagnetic exploration method, and program |
| CN110555191A (zh) * | 2019-09-06 | 2019-12-10 | 自然资源部第一海洋研究所 | 一种海水剖面观测数据的距平求取方法 |
| CN110569912A (zh) * | 2019-09-09 | 2019-12-13 | 自然资源部第一海洋研究所 | 一种海水剖面观测数据奇异值剔除方法 |
-
2021
- 2021-10-18 CN CN202111209675.3A patent/CN114048588B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190204465A1 (en) * | 2016-09-09 | 2019-07-04 | Japan Agency For Marine-Earth Science And Technology | Submarine resource exploration system, transmission device, reception device, signal processing device, signal processing method, electrical exploration method, electromagnetic exploration method, and program |
| CN110555191A (zh) * | 2019-09-06 | 2019-12-10 | 自然资源部第一海洋研究所 | 一种海水剖面观测数据的距平求取方法 |
| CN110569912A (zh) * | 2019-09-09 | 2019-12-13 | 自然资源部第一海洋研究所 | 一种海水剖面观测数据奇异值剔除方法 |
Non-Patent Citations (3)
| Title |
|---|
| 余腾;胡伍生;吴杰;孙小荣;赵升峰;: "铁道工程中两种常用GNSS高程拟合方法的比较研究", 铁道勘察, no. 04, pages 47 - 52 * |
| 杨俊贤;万婧;刘忠民;赵杰;杨立;朱洪海;惠力;杨英;: "海洋水文气象观测设备误差校准算法研究", 山东科学, no. 03, pages 5 - 11 * |
| 陆丹;李海森;魏玉阔;周天;么彬: "基于截断最小二乘估计的多波束异常测深值剔除方法", 大地测量与地球动力学, no. 001, pages 89 - 93 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116627380A (zh) * | 2023-07-24 | 2023-08-22 | 自然资源部第一海洋研究所 | 基于三角多项式拟合的电导率异常值识别方法、系统 |
| CN116627380B (zh) * | 2023-07-24 | 2023-12-05 | 自然资源部第一海洋研究所 | 基于三角多项式拟合的电导率异常值识别方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114048588B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275307B (zh) | 一种水质自动在线站高频连续观测数据质量控制方法 | |
| CN110874674B (zh) | 一种异常检测方法、装置及设备 | |
| CN102547365B (zh) | 视频图像的黑边检测方法及装置 | |
| CN106768383A (zh) | 一种红外焦平面阵列自动盲元检测与补偿方法 | |
| JPH07200040A (ja) | 製造プロセスを制御する方法 | |
| CN114048588A (zh) | 一种海洋ctd异常值剔除方法、系统、存储介质、终端及应用 | |
| CN106197612A (zh) | 一种基于机器视觉的透明瓶装液位检测方法 | |
| CN116304956B (zh) | 一种芯片温度异常在线检测方法 | |
| CN114817228A (zh) | 一种湖泊水位长时间序列监测数据的异常值剔除方法 | |
| CN111207835B (zh) | 红外测温以及热成像优化方法 | |
| CN117668468B (zh) | 一种化工制备数据智能分析管理系统 | |
| JP2019200158A (ja) | 含水率推定装置 | |
| CN116738187B (zh) | 基于人工智能的船舶燃气功率动态预测方法及系统 | |
| CN107075567B (zh) | 用于荧光数据校正的方法 | |
| JP7085952B2 (ja) | 変化率推定装置、変化率推定方法、状態推定装置及び状態推定方法 | |
| CN115727775A (zh) | 一种单晶等径变形检测方法及装置 | |
| CN118013230A (zh) | 一种畜禽水质异常监测数据处理方法及系统 | |
| JP7424112B2 (ja) | 水質判定装置 | |
| CN116627380B (zh) | 基于三角多项式拟合的电导率异常值识别方法、系统 | |
| CN111968109B (zh) | 多传感器自主跟踪中的数据融合方法、装置、设备及介质 | |
| CN117906580B (zh) | 一种航道水下地形变化分析系统及方法 | |
| CN117668472B (zh) | 一种海岛礁环境多参量监测方法及系统 | |
| CN117688311B (zh) | 一种难降解含盐废水深度处理实时监测方法及系统 | |
| CN118010165B (zh) | 一种直发梳自动感应温度预警方法及系统 | |
| JP7466317B2 (ja) | 形態評価装置、含水率推定装置、形態評価方法及び含水率推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |