CN115099371A - 一种lstm异常检测方法、装置、设备及存储介质 - Google Patents
一种lstm异常检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115099371A CN115099371A CN202211015880.0A CN202211015880A CN115099371A CN 115099371 A CN115099371 A CN 115099371A CN 202211015880 A CN202211015880 A CN 202211015880A CN 115099371 A CN115099371 A CN 115099371A
- Authority
- CN
- China
- Prior art keywords
- data
- lstm
- telemetering
- abnormal
- data element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明公开了一种LSTM异常检测方法、装置、设备及存储介质,包括:获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素;根据所述第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据。本发明解决了现有技术中航天器在轨卫星诊断的误检率高的技术问题,实现消除了前置数据异常引发后续数据异常的情况。
Description
技术领域
本发明涉及计算机软件技术领域,尤其涉及一种LSTM异常检测方法、装置、设备及存储介质。
背景技术
卫星作为航天工程的重要组成部分,其安全有效地运行是航天专家所关心的问题之一。卫星遥测参数能够为地面控制站提供反映卫星状态的数据,通过对遥测数据的分析,地面控制站能够了解卫星目前状态,这是之后的卫星管理以及指令传送的重要依据。值得注意的是,卫星遥测参数是一种典型的时间序列数据要想对时间序列数据进行分析使得其具备时间序列异常点检测以及趋势分析/预测的能力,那么实现时间序列的预测功能是必不可少的一环。针对时序异常点检测问题,只有在真实时序数据和预测时序数据共存的前提下,异常点检测模块才能根据异常标准判定出异常点位置;针对趋势分析与预测问题,趋势分析模块提取得到的趋势信息本质上还是时序数据(特征时序数据),随后的趋势预测即是对特征时序的预测。因此,实现时序预测功能至关重要。随着深度学习在语音识别、图像识别以及语言处理方面的广泛应用。一些深度学习模型也逐渐被应用到时间序列数据研究中。深度学习模型不但能够挖掘出更深层次的潜在规律。相对浅层机器学习也有更好的自主性。在众多的深度学习模型中,长短期记忆(Long-Short Term Memory,LSTM)模型作为一种特殊的循环神经网络(Recurrent Neural Network, RNN),不仅拥有 RNN 动态记忆性的优点, 而且在时序数据分析中有更强的适应性,还能避免 RNN 的梯度消失问题以及长期记忆能力不足等问题。
现有的航天器时序数据异常检测有:1、采用数据统计方式进行时序数据的边界,这种方式适合于对上下范围外的异常识别,不适合时序序列间的数据变化在上下门限的情况;2、采用LSTM神经网络算法,进行数据预测,在通过对应的异常检测标注,识别异常点,但是会存在前置数据异常,后者数据受到前置数据影响引起的后置数据误检的情况。
因此,目前亟需一种能够降低对航天器在轨卫星诊断的误检率的LSTM异常检测方法。
发明内容
本发明提供了一种LSTM异常检测方法、装置、设备及存储介质,以解决现有技术中航天器在轨卫星诊断的误检率高的技术问题。
为了解决上述技术问题,本发明实施例提供了一种LSTM异常检测方法,包括:
获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素;
根据所述第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,以使在每一次迭代替换中,根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,并根据替换处理后的第一遥测数据中当前的数据元素的位置,截取出预设长度的第一遥测数据来进行LSTM异常检测,从而得到或更新第二异常数据列表,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据。
作为优选方案,所述LSTM异常检测,具体包括:
对所述第一遥测数据进行预处理;
将预处理后的第一遥测数据输入至预设LSTM异常检测模型中,从而输出得到第一异常数据列表。
作为优选方案,所述预设LSTM异常检测模型的构建方法,具体包括:
获取第二遥测数据,根据预设比例,分别作为训练数据和测试数据;
构建初始LSTM异常检测模型;
对预处理后的训练数据进行初始LSTM异常检测模型的训练,并通过测试数据对训练后的初始LSTM异常检测模型进行测试;
当测试得到初始LSTM异常检测模型符合预设测试结果时,输出当前的初始LSTM异常检测模型,作为LSTM异常检测模型。
作为优选方案,所述根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,具体为:
进行数据元素判断处理;其中,所述数据元素判断处理的具体步骤包括:判断第一遥测数据中当前的数据元素是否为所述第一异常数据列表中的第一个数据元素对应的异常数据;
若是,则将所述第一异常数据列表中的第一个数据元素对应的异常数据添加至第二异常数据列表中,并对第一遥测数据中的当前数据元素进行替换处理,从而重新进行数据元素判断处理;
若否,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理。
作为优选方案,所述根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理,具体为:
对第一遥测数据中当前异常的数据元素在第一异常数据列表的位置进行标识;
对第一遥测数据中标识的数据元素进行替换处理。
作为优选方案,在所述根据第一异常数据列表以及第一遥测数据中数据元素的位置,对第一遥测数据中当前的数据元素进行替换处理之前,还包括:
判断所述第一遥测数据中的数据元素是否在所述第一异常数据列表中有对应的异常数据;
若有,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理;
若无,则获取第一遥测数据中下一个异常的数据元素进行一次迭代替换。
作为优选方案,所述替换处理,具体包括:
若当前的数据元素的位置与前一个数据元素的位置达到预设值时,则将当前的数据元素替换为后一个数据元素;
若当前的数据元素的位置与后一个数据元素的位置达到预设值时,则将当前的数据元素替换为前一个数据元素;
若当前的数据元素的位置分别与前一个数据元素和后一个数据元素的位置均达到预设值时,则将当前的数据元素替换为前一个数据元素和后一个数据元素的均值。
相应地,本发明还提供一种LSTM异常检测装置,包括:异常检测模块和迭代替换模块;
所述异常检测模块,获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素;
所述迭代替换模块,根据所述第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,以使在每一次迭代替换中,根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,并根据替换处理后的第一遥测数据中当前的数据元素的位置,截取出预设长度的第一遥测数据来进行LSTM异常检测,从而得到或更新第二异常数据列表,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据。
作为优选方案,所述LSTM异常检测,具体包括:
对所述第一遥测数据进行预处理;
将预处理后的第一遥测数据输入至预设LSTM异常检测模型中,从而输出得到第一异常数据列表。
作为优选方案,所述预设LSTM异常检测模型的构建方法,具体包括:
获取第二遥测数据,根据预设比例,分别作为训练数据和测试数据;
构建初始LSTM异常检测模型;
对预处理后的训练数据进行初始LSTM异常检测模型的训练,并通过测试数据对训练后的初始LSTM异常检测模型进行测试;
当测试得到初始LSTM异常检测模型符合预设测试结果时,输出当前的初始LSTM异常检测模型,作为LSTM异常检测模型。
作为优选方案,所述根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,具体为:
进行数据元素判断处理;其中,所述数据元素判断处理的具体步骤包括:判断第一遥测数据中当前的数据元素是否为所述第一异常数据列表中的第一个数据元素对应的异常数据;
若是,则将所述第一异常数据列表中的第一个数据元素对应的异常数据添加至第二异常数据列表中,并对第一遥测数据中的当前数据元素进行替换处理,从而重新进行数据元素判断处理;
若否,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理。
作为优选方案,所述根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理,具体为:
对第一遥测数据中当前异常的数据元素在第一异常数据列表的位置进行标识;
对第一遥测数据中标识的数据元素进行替换处理。
作为优选方案,在所述根据第一异常数据列表以及第一遥测数据中数据元素的位置,对第一遥测数据中当前的数据元素进行替换处理之前,还包括:
判断所述第一遥测数据中的数据元素是否在所述第一异常数据列表中有对应的异常数据;
若有,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理;
若无,则获取第一遥测数据中下一个异常的数据元素进行一次迭代替换。
作为优选方案,所述替换处理,具体包括:
若当前的数据元素的位置与前一个数据元素的位置达到预设值时,则将当前的数据元素替换为后一个数据元素;
若当前的数据元素的位置与后一个数据元素的位置达到预设值时,则将当前的数据元素替换为前一个数据元素;
若当前的数据元素的位置分别与前一个数据元素和后一个数据元素的位置均达到预设值时,则将当前的数据元素替换为前一个数据元素和后一个数据元素的均值。
相应地,本发明还提供一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如上任一项所述的LSTM异常检测方法。
相应地,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序;其中,所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上任一项所述的LSTM异常检测方法。
相比于现有技术,本发明实施例具有如下有益效果:
本发明的技术方案能够通过获取第一遥测数据,并对第一遥测数据进行LSTM异常检测,保证了航天器时序数据异常检测的准确率与效率,进而根据得到第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据,同时通过多轮迭代、异常数据识别和异常数据替换的方式,降低LSTM时序神经网络算法中前置异常数据对后者数据的影响,从而降低数据误检,进而减少不必要的人工确认,减轻人员工作量,降低了航天器在轨卫星诊断的误检率预计故障误判。
附图说明
图1:为本发明实施例所提供的一种LSTM异常检测方法的步骤流程图;
图2:为本发明实施例所提供的一种LSTM异常检测方法中的具体实施流程图;
图3:为本发明实施例所提供的一种LSTM异常检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
请参照图1,为本发明实施例提供的一种LSTM异常检测方法,包括以下步骤S101-S102:
S101:获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素。
作为本实施例的优选方案,所述LSTM异常检测,具体包括:
对所述第一遥测数据进行预处理;将预处理后的第一遥测数据输入至预设LSTM异常检测模型中,从而输出得到第一异常数据列表。
需要说明的是,对第一遥测数据进行预处理的步骤,包括但不限于:对数据进行剔野、归一化处理等,以适配于LSTM算法。进一步地,第一遥测数据中的每个数据元素为航天器不同时间时序遥测检测所得到的,经过LSTM异常检测,能够得到对应于每个存在异常的数据元素,进而集合为第一异常数据列表,第一异常数据列表包括LSTM异常检测的结果,例如:时间、数值和第一遥测数据中的索引信息等。
作为本实施例的优选方案,所述预设LSTM异常检测模型的构建方法,具体包括:
获取第二遥测数据,根据预设比例,分别作为训练数据和测试数据;构建初始LSTM异常检测模型;对预处理后的训练数据进行初始LSTM异常检测模型的训练,并通过测试数据对训练后的初始LSTM异常检测模型进行测试;当测试得到初始LSTM异常检测模型符合预设测试结果时,输出当前的初始LSTM异常检测模型,作为LSTM异常检测模型。
在本实施例中,可以理解的是,LSTM异常检测的步骤包括但不限于数据预处理,数据模型训练与测试、模型生成、数据预测、异常检测流程进行航天器时序数据异常检测。因此,进行LSTM异常检测的步骤需要建立在预设LSTM异常检测模型的构建之上,可示例性地,通过对获取的遥测数据预处理,加载预设的LSTM异常检测模型,结合模型进行数据预测和异常检测以及结果生成,即可得到异常数据列表;其中,LSTM异常检测模型主要包括:获取数据:为模型训练和测试提供基础数据;训练和测试数据预处理:进行数据剔野、归一化处理,以适配LSTM算法;通过测试数据进行模型训练;通过测试数据进行模型测试,测试和模型迭代进行;通过测试情况较好的部分,生成模型文件并存储。
S102:根据所述第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,以使在每一次迭代替换中,根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,并根据替换处理后的第一遥测数据中当前的数据元素的位置,截取出预设长度的第一遥测数据来进行LSTM异常检测,从而得到或更新第二异常数据列表,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据。
需要说明的是,对替换处理后的第一遥测数据重新进行LSTM异常检测,从而得到或更新第二异常数据列表,能够确保替换处理后的第一遥测数据是否还存在真实的异常数据,并在有且只有最后一个异常数据的时候将异常数据进行输出,从而实现降低前置异常数据对后者数据的影响,从而降低数据误检。
作为本实施例的优选方案,在所述根据第一异常数据列表以及第一遥测数据中数据元素的位置,对第一遥测数据中当前的数据元素进行替换处理之前,还包括:
判断所述第一遥测数据中的数据元素是否在所述第一异常数据列表中有对应的异常数据;若有,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理;若无,则获取第一遥测数据中下一个异常的数据元素进行一次迭代替换。
需要说明的是,在本实施例中,第一遥测数据中异常的数据元素若在第一异常数据列表中没有对应的异常数据,则说明该数据元素为正常数据,无需进行数据异常替换等操作,因此则需等待下一个数据元素,进行是否存在于第一异常数据列表中的判断,进而提高整个LSTM异常检测以及异常数据替换的效率。
作为本实施例的优选方案,所述根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,具体为:
进行数据元素判断处理;其中,所述数据元素判断处理的具体步骤包括:判断第一遥测数据中当前的数据元素是否为所述第一异常数据列表中的第一个数据元素对应的异常数据;若是,则将所述第一异常数据列表中的第一个数据元素对应的异常数据添加至第二异常数据列表中,并对第一遥测数据中的当前数据元素进行替换处理,从而重新进行数据元素判断处理;若否,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理。
需要说明的是,数据元素判断处理能够确定当前的数据元素是否为第一异常数据列表中的第一个数据元素,以此来准确对异常数据进行替换处理,同时在数据元素为第一异常数据列表中的第一个数据元素进行第二异常数据列表的添加,对数据元素不是第一异常数据列表中的第一个数据元素,进行第一遥测数据中对应的当前数据元素进行替换处理,避免了时序不同的数据对后续以及整体的数据替换、新数据生成和异常检测等出现误判,实现消除了前置数据异常引发后续数据异常的情况。
作为本实施例的优选方案,所述根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理,具体为:
对第一遥测数据中当前异常的数据元素在第一异常数据列表的位置进行标识;对第一遥测数据中标识的数据元素进行替换处理。
需要说明的是,通过对第一遥测数据中当前异常的数据元素在第一异常数据列表的位置进行标识,能够准确地对数据元素进行替换处理,保证准确替换的数据均为异常数据,降低了前置数据异常引发后续数据异常的出现的概率。可示例性地,在本实施例中,异常数据的标识位置为index。
作为本实施例的优选方案,所述替换处理,具体包括:
若当前的数据元素的位置与前一个数据元素的位置达到预设值时,则将当前的数据元素替换为后一个数据元素;若当前的数据元素的位置与后一个数据元素的位置达到预设值时,则将当前的数据元素替换为前一个数据元素;若当前的数据元素的位置分别与前一个数据元素和后一个数据元素的位置均达到预设值时,则将当前的数据元素替换为前一个数据元素和后一个数据元素的均值。
进一步地,在对第一遥测数据中当前异常的数据元素进行替换处理之后,还需要根据替换处理后的第一遥测数据中当前的数据元素的位置,截取出预设长度的第一遥测数据来进行LSTM异常检测,以此来得到第二异常数据列表,并在最后一个异常的数据元素完成了替换处理后,得到的第二异常数据列表中的异常数据,即为LSTM异常检测的真实数据。
在本实施例中,请参阅图2,其为本发明实施例的具体处理流程图。通过算法初始化以及原始遥测数据(对应列表m)的获取,进行LSTM异常检测,进而记录异常数据信息(对应列表e),判断列表m中当前的数据元素在记录异常数据信息列表e是存在数据,否则就等待至下一个的数据元素进行处理。若当前的数据元素在记录异常数据信息列表e是存在数据,数据时间都是由远及近的时序数据,判断当前数据元素是否为e中第一个数据元素,如果是将其加入到另一个记录异常数据信息列表f中,并且对原始数据m中的该异常数据进行替换处理,并重新执行判断当前数据元素是否为e中第一个数据元素的步骤;如果不是,判断当前元素是否为e中最后一个数据,在当前元素为e中最后一个数据时,为表示exit赋值为true,反之则为false,从而进行替换原始数据中的当前的异常数据,生成新的数据m,替换新的数据m中的下标是index的异常数据,其中,index为异常数据在原始遥测数据中的标识位置,结合LSMT算法窗口大小信息w(即用多少个数据预测下后一个数据),截取并生成新的测试数据test_data(test_data大小为w),数据前后起止位置为(index-w-1, index-1),再此为降低数据运算量做了优化,通过对test_data进行异常检测判断,即可得到新的数据m的index结果,如果异常检测所得到的结果为异常,则将当前的异常数据元素写入记录异常数据信息列表f,并在exit为true时结束算法,否则重新返回至判断当前元素是否为e中最后一个数据的步骤。
需要说明的是,对于LSTM算法或者类似LSTM之类的神经网络算法,通过本方案实现降低数据误检率,可以结合航天器任务特点,实现对跨圈次,数据识别,可以降低的对航天器数据的误检情况,防止误检而引发的不必要的工作。作为本实施例的另一优选方案,通过统计算法与LSTM算法结合方式,通过统计算法方式识别出时序数据中的野值,进行相应的野值替换,再进行LSTM算法进行异常点检测,此种方式检测会效率高于本方案,但是不能彻底解决统计算法对野值的识别问题。
实施以上实施例,具有如下效果:
相比于现有技术,本发明的技术方案能够通过获取第一遥测数据,并对第一遥测数据进行LSTM异常检测,保证了航天器时序数据异常检测的准确率与效率,进而根据得到第一异常数据列表,依依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据,同时通过多轮迭代、异常数据识别和异常数据替换的方式,降低LSTM时序神经网络算法中前置异常数据对后者数据的影响,从而降低数据误检,进而减少不必要的人工确认,减轻人员工作量,降低了航天器在轨卫星诊断的误检率预计故障误判。
实施例二
请参阅图3,本发明实施例还提供一种LSTM异常检测装置,包括:异常检测模块201和迭代替换模块202。
所述异常检测模块201,用于获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素。
所述迭代替换模块202,用于根据所述第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,以使在每一次迭代替换中,根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,并根据替换处理后的第一遥测数据中当前的数据元素的位置,截取出预设长度的第一遥测数据来进行LSTM异常检测,从而得到或更新第二异常数据列表,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据。
作为优选方案,所述LSTM异常检测,具体包括:
对所述第一遥测数据进行预处理;将预处理后的第一遥测数据输入至预设LSTM异常检测模型中,从而输出得到第一异常数据列表。
作为优选方案,所述预设LSTM异常检测模型的构建方法,具体包括:
获取第二遥测数据,根据预设比例,分别作为训练数据和测试数据;构建初始LSTM异常检测模型;对预处理后的训练数据进行初始LSTM异常检测模型的训练,并通过测试数据对训练后的初始LSTM异常检测模型进行测试;当测试得到初始LSTM异常检测模型符合预设测试结果时,输出当前的初始LSTM异常检测模型,作为LSTM异常检测模型。
作为优选方案,所述根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,具体为:
进行数据元素判断处理;其中,所述数据元素判断处理的具体步骤包括:判断第一遥测数据中当前的数据元素是否为所述第一异常数据列表中的第一个数据元素对应的异常数据;若是,则将所述第一异常数据列表中的第一个数据元素对应的异常数据添加至第二异常数据列表中,并对第一遥测数据中的当前数据元素进行替换处理,从而重新进行数据元素判断处理;若否,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理。
作为优选方案,所述根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理,具体为:
对第一遥测数据中当前异常的数据元素在第一异常数据列表的位置进行标识;对第一遥测数据中标识的数据元素进行替换处理。
作为优选方案,在所述根据第一异常数据列表以及第一遥测数据中数据元素的位置,对第一遥测数据中当前的数据元素进行替换处理之前,还包括:
判断所述第一遥测数据中的数据元素是否在所述第一异常数据列表中有对应的异常数据;若有,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理;若无,则获取第一遥测数据中下一个异常的数据元素进行一次迭代替换。
作为优选方案,所述替换处理,具体包括:
若当前的数据元素的位置与前一个数据元素的位置达到预设值时,则将当前的数据元素替换为后一个数据元素;若当前的数据元素的位置与后一个数据元素的位置达到预设值时,则将当前的数据元素替换为前一个数据元素;若当前的数据元素的位置分别与前一个数据元素和后一个数据元素的位置均达到预设值时,则将当前的数据元素替换为前一个数据元素和后一个数据元素的均值。
所属领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
实施本发明实施例,具有如下效果:
相比于现有技术,本发明的技术方案能够通过获取第一遥测数据,并对第一遥测数据进行LSTM异常检测,保证了航天器时序数据异常检测的准确率与效率,进而根据得到第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据,同时通过多轮迭代、异常数据识别和异常数据替换的方式,降低LSTM时序神经网络算法中前置异常数据对后者数据的影响,从而降低数据误检,进而减少不必要的人工确认,减轻人员工作量,降低了航天器在轨卫星诊断的误检率预计故障误判。
实施例三
相应地,本发明还提供一种终端设备,包括:处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上任意一项实施例所述的LSTM异常检测方法。
该实施例的终端设备包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序、计算机指令。所述处理器执行所述计算机程序时实现上述实施例一中的各个步骤,例如图1所示的步骤S101至S102。或者,所述处理器执行所述计算机程序时实现上述装置实施例中各模块/单元的功能,例如异常检测模块201。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述终端设备中的执行过程。例如,所述异常检测模块201,用于获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,示意图仅仅是终端设备的示例,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据移动终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(SecureDigital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
实施例四
相应地,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项实施例所述的LSTM异常检测方法。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种LSTM异常检测方法,其特征在于,包括:
获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素;
根据所述第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,以使在每一次迭代替换中,根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,并根据替换处理后的第一遥测数据中当前的数据元素的位置,截取出预设长度的第一遥测数据来进行LSTM异常检测,从而得到或更新第二异常数据列表,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据。
2.如权利要求1所述的一种LSTM异常检测方法,其特征在于,所述LSTM异常检测,具体包括:
对所述第一遥测数据进行预处理;
将预处理后的第一遥测数据输入至预设LSTM异常检测模型中,从而输出得到第一异常数据列表。
3.如权利要求2所述的一种LSTM异常检测方法,其特征在于,所述预设LSTM异常检测模型的构建方法,具体包括:
获取第二遥测数据,根据预设比例,分别作为训练数据和测试数据;
构建初始LSTM异常检测模型;
对预处理后的训练数据进行初始LSTM异常检测模型的训练,并通过测试数据对训练后的初始LSTM异常检测模型进行测试;
当测试得到初始LSTM异常检测模型符合预设测试结果时,输出当前的初始LSTM异常检测模型,作为LSTM异常检测模型。
4.如权利要求1所述的一种LSTM异常检测方法,其特征在于,所述根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,具体为:
进行数据元素判断处理;其中,所述数据元素判断处理的具体步骤包括:判断第一遥测数据中当前的数据元素是否为所述第一异常数据列表中的第一个数据元素对应的异常数据;
若是,则将所述第一异常数据列表中的第一个数据元素对应的异常数据添加至第二异常数据列表中,并对第一遥测数据中的当前数据元素进行替换处理,从而重新进行数据元素判断处理;
若否,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理。
5.如权利要求4所述的一种LSTM异常检测方法,其特征在于,所述根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理,具体为:
对第一遥测数据中当前异常的数据元素在第一异常数据列表的位置进行标识;
对第一遥测数据中标识的数据元素进行替换处理。
6.如权利要求5所述的一种LSTM异常检测方法,其特征在于,在所述根据第一异常数据列表以及第一遥测数据中数据元素的位置,对第一遥测数据中当前的数据元素进行替换处理之前,还包括:
判断所述第一遥测数据中的数据元素是否在所述第一异常数据列表中有对应的异常数据;
若有,则根据第一遥测数据中的数据元素在第一异常数据列表的位置,对第一遥测数据中对应当前异常的数据元素进行替换处理;
若无,则获取第一遥测数据中下一个异常的数据元素进行一次迭代替换。
7.如权利要求1-6任意一项所述的一种LSTM异常检测方法,其特征在于,所述替换处理,具体包括:
若当前的数据元素的位置与前一个数据元素的位置达到预设值时,则将当前的数据元素替换为后一个数据元素;
若当前的数据元素的位置与后一个数据元素的位置达到预设值时,则将当前的数据元素替换为前一个数据元素;
若当前的数据元素的位置分别与前一个数据元素和后一个数据元素的位置均达到预设值时,则将当前的数据元素替换为前一个数据元素和后一个数据元素的均值。
8.一种LSTM异常检测装置,其特征在于,包括:异常检测模块和迭代替换模块;
所述异常检测模块,获取第一遥测数据,并对所述第一遥测数据进行LSTM异常检测,得到第一异常数据列表;所述第一遥测数据中包括不同时间遥测检测得到的数据元素;
所述迭代替换模块,根据所述第一异常数据列表,依次对所述第一遥测数据中所有异常的数据元素逐个进行迭代替换,以使在每一次迭代替换中,根据第一异常数据列表,对第一遥测数据中当前异常的数据元素进行替换处理,并根据替换处理后的第一遥测数据中当前的数据元素的位置,截取出预设长度的第一遥测数据来进行LSTM异常检测,从而得到或更新第二异常数据列表,直至最后一个异常的数据元素完成了替换处理,从而输出第二异常数据列表,作为LSTM异常检测真实数据。
9.一种终端设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如权利要求1-7中任一项所述的LSTM异常检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序;其中,所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1-7中任一项所述的LSTM异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211015880.0A CN115099371B (zh) | 2022-08-24 | 2022-08-24 | 一种lstm异常检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211015880.0A CN115099371B (zh) | 2022-08-24 | 2022-08-24 | 一种lstm异常检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115099371A true CN115099371A (zh) | 2022-09-23 |
CN115099371B CN115099371B (zh) | 2022-11-29 |
Family
ID=83301071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211015880.0A Active CN115099371B (zh) | 2022-08-24 | 2022-08-24 | 一种lstm异常检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115099371B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108063698A (zh) * | 2017-12-15 | 2018-05-22 | 东软集团股份有限公司 | 设备异常检测方法和装置、程序产品及存储介质 |
CN108197845A (zh) * | 2018-02-28 | 2018-06-22 | 四川新网银行股份有限公司 | 一种基于深度学习模型lstm的交易指标异常的监测方法 |
CN109934337A (zh) * | 2019-03-14 | 2019-06-25 | 哈尔滨工业大学 | 一种基于集成lstm的航天器遥测数据异常的检测方法 |
US20200104639A1 (en) * | 2018-09-28 | 2020-04-02 | Applied Materials, Inc. | Long short-term memory anomaly detection for multi-sensor equipment monitoring |
US20200236005A1 (en) * | 2017-07-31 | 2020-07-23 | Robert Bosch Gmbh | Method and device for ascertaining anomalies in a communications network |
US20210027170A1 (en) * | 2018-10-17 | 2021-01-28 | Wangsu Science & Technology Co., Ltd. | Training method and apparatus for service quality evaluation models |
-
2022
- 2022-08-24 CN CN202211015880.0A patent/CN115099371B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200236005A1 (en) * | 2017-07-31 | 2020-07-23 | Robert Bosch Gmbh | Method and device for ascertaining anomalies in a communications network |
CN108063698A (zh) * | 2017-12-15 | 2018-05-22 | 东软集团股份有限公司 | 设备异常检测方法和装置、程序产品及存储介质 |
CN108197845A (zh) * | 2018-02-28 | 2018-06-22 | 四川新网银行股份有限公司 | 一种基于深度学习模型lstm的交易指标异常的监测方法 |
US20200104639A1 (en) * | 2018-09-28 | 2020-04-02 | Applied Materials, Inc. | Long short-term memory anomaly detection for multi-sensor equipment monitoring |
US20210027170A1 (en) * | 2018-10-17 | 2021-01-28 | Wangsu Science & Technology Co., Ltd. | Training method and apparatus for service quality evaluation models |
CN109934337A (zh) * | 2019-03-14 | 2019-06-25 | 哈尔滨工业大学 | 一种基于集成lstm的航天器遥测数据异常的检测方法 |
Non-Patent Citations (2)
Title |
---|
TOLGA ERGEN等: "Unsupervised Anomaly Detection With LSTM Neural Networks", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
范潇杰,陈振安: "基于LSTM和多种异常定义的卫星异常检测方法", 《测控技术》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115099371B (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200110965A1 (en) | Method and apparatus for generating vehicle damage information | |
CN109871315B (zh) | 基于机器学习的系统升级失败的诊断方法及装置 | |
US11508163B2 (en) | Method and apparatus for training lane line identifying model, device, and storage medium | |
CN110363121B (zh) | 指纹图像处理方法及装置、存储介质和电子设备 | |
CN110673936B (zh) | 编排业务的断点续作方法、装置、存储介质及电子设备 | |
US20230108920A1 (en) | System and method for providing robust artificial intelligence inference in edge computing devices | |
CN111368878B (zh) | 一种基于ssd目标检测的优化方法、计算机设备和介质 | |
CN110780879B (zh) | 一种基于智能编译技术的决策执行方法、装置、设备及介质 | |
CN112949767A (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
CN110955590A (zh) | 界面检测方法、图像处理方法、装置、电子设备及存储介质 | |
CN113377484A (zh) | 弹窗处理方法及装置 | |
CN109684309A (zh) | 一种数据质量评测方法及装置、计算机设备和存储介质 | |
CN114445682A (zh) | 训练模型的方法、装置、电子设备、存储介质及产品 | |
CN112989256B (zh) | 识别响应信息中web指纹的方法和装置 | |
CN114238980A (zh) | 一种工控设备漏洞挖掘方法、系统、设备及存储介质 | |
CN115099371B (zh) | 一种lstm异常检测方法、装置、设备及存储介质 | |
CN114692767B (zh) | 异常检测方法和装置、计算机可读存储介质、电子设备 | |
CN115272896A (zh) | 识别模型的自动迭代训练方法、系统、设备和存储介质 | |
CN110083807B (zh) | 合同的修改影响自动预测方法、装置、介质及电子设备 | |
CN115061921A (zh) | 自动测试方法、装置、电子设备及可读存储介质 | |
US11681920B2 (en) | Method and apparatus for compressing deep learning model | |
CN113010571A (zh) | 数据检测方法、装置、电子设备、存储介质和程序产品 | |
CN118245888B (zh) | 一种时序数据的异常识别方法、装置、设备及存储介质 | |
CN116244488A (zh) | 一种目标数据识别方法及识别装置 | |
CN113554154A (zh) | 一种卷积运算方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |