CN111898080B - 数据序列去噪方法、装置、电子设备及计算机存储介质 - Google Patents

数据序列去噪方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN111898080B
CN111898080B CN202010844951.2A CN202010844951A CN111898080B CN 111898080 B CN111898080 B CN 111898080B CN 202010844951 A CN202010844951 A CN 202010844951A CN 111898080 B CN111898080 B CN 111898080B
Authority
CN
China
Prior art keywords
data
subsequence
preset
correlation
subsequences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010844951.2A
Other languages
English (en)
Other versions
CN111898080A (zh
Inventor
黄景昌
沈国斌
何田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rajax Network Technology Co Ltd
Original Assignee
Rajax Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rajax Network Technology Co Ltd filed Critical Rajax Network Technology Co Ltd
Priority to CN202010844951.2A priority Critical patent/CN111898080B/zh
Publication of CN111898080A publication Critical patent/CN111898080A/zh
Application granted granted Critical
Publication of CN111898080B publication Critical patent/CN111898080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本公开实施例公开了一种数据序列去噪方法、装置、电子设备及计算机存储介质，所述数据序列去噪方法包括：获取待处理数据序列；对所述待处理数据序列进行首次划分，得到两个或多个数据子序列，对所述数据子序列分别进行傅立叶变换，去除傅立叶变换结果不满足预设条件的数据子序列；计算剩余数据子序列之间的互相关性，获得互相关性满足预设相关性条件的第一目标数据子序列，组合所述第一目标数据子序列，得到去噪后的数据序列。该技术方案既能够保障数据序列去噪效果，提升训练数据的质量，而且还具有操作简便、运算量小、易于推广的优点。

Description

数据序列去噪方法、装置、电子设备及计算机存储介质
技术领域
本公开涉及数据处理技术领域，具体涉及一种数据序列去噪方法、装置、电子设备及计算机存储介质。
背景技术
随着科学技术的发展，行为识别等基于时间序列数据的分析需求越来越多。为了实现高精准度的分析，通常需要采集大量的训练数据进行训练，然后再基于训练结果完成分析，但在实际应用中，采集到的训练数据往往质量低下，比如，采集到的数据中通常存在着大量的噪声。以行为识别中下楼梯动作识别为例，由于楼梯转折点处为平路，因此，采集到的时序数据中除了下楼梯动作数据，还掺杂有走平路的动作数据。若使用上述含噪数据直接进行模型训练，则将影响训练模型的准确率，因此，需要对于采集到的时间序列数据进行降噪处理。现有技术中通常使用OneClassSVM等异常检测方案来检测采集数据中掺杂着的异常数据，该方案虽然能够有效检测出采集数据中的异常数据，但其需要针对每种行为单独进行建模训练，运算量大，操作繁琐，难以推广，因此，亟需一种能够有效去噪、操作简便、运算量小、易于推广的数据序列去噪方案。
发明内容
本公开实施例提供一种数据序列去噪方法、装置、电子设备及计算机存储介质。
第一方面，本公开实施例中提供了一种数据序列去噪方法。
具体的，所述数据序列去噪方法，包括：
获取待处理数据序列；
对所述待处理数据序列进行首次划分，得到两个或多个数据子序列，对所述数据子序列分别进行傅立叶变换，去除傅立叶变换结果不满足预设条件的数据子序列；
计算剩余数据子序列之间的互相关性，获得互相关性满足预设相关性条件的第一目标数据子序列，组合所述第一目标数据子序列，得到去噪后的数据序列。
结合第一方面，本公开在第一方面的第一种实现方式中，所述数据子序列的长度大于预设长度阈值，其中，所述预设长度阈值为经验值或者由所述待处理数据序列经傅立叶变换变换后得到的最高N个能量对应的最小频率值确定。
结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，所述预设条件包括：
所述数据子序列经傅立叶变换变换后对应最大能量的频率值与所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值之间的频率差小于或等于预设频率差阈值。
结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开实施例在第一方面的第三种实现方式中，所述预设相关性条件包括：
所述数据子序列之间的互相关值大于预设相关阈值。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开实施例在第一方面的第四种实现方式中，所述获得互相关性满足预设相关性条件的第一目标数据子序列之后，还包括：
从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列；
所述组合所述第一目标数据子序列，得到去噪后的数据序列，被实施为：
将所述第一目标数据子序列和第二目标数据子序列组合起来，得到去噪后的数据序列。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开实施例在第一方面的第五种实现方式中，所述从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列，被实施为：
对于互相关性不满足所述预设相关性条件的数据子序列重复进行子序列划分、傅立叶变换筛除、互相关性筛除，直至数据子序列长度小于所述预设长度阈值，将保留的数据子序列确定为所述第二目标数据子序列。
第二方面，本公开实施例中提供了一种数据序列去噪装置。
具体的，所述数据序列去噪装置，包括：
获取模块，被配置为获取待处理数据序列；
划分模块，被配置为对所述待处理数据序列进行首次划分，得到两个或多个数据子序列，对所述数据子序列分别进行傅立叶变换，去除傅立叶变换结果不满足预设条件的数据子序列；
计算模块，被配置为计算剩余数据子序列之间的互相关性，获得互相关性满足预设相关性条件的第一目标数据子序列，组合所述第一目标数据子序列，得到去噪后的数据序列。
结合第二方面，本公开在第二方面的第一种实现方式中，所述数据子序列的长度大于预设长度阈值，其中，所述预设长度阈值为经验值或者由所述待处理数据序列经傅立叶变换变换后得到的最高N个能量对应的最小频率值确定。
结合第二方面和第二方面的第一种实现方式，本公开实施例在第二方面的第二种实现方式中，所述预设条件包括：
所述数据子序列经傅立叶变换变换后对应最大能量的频率值与所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值之间的频率差小于或等于预设频率差阈值。
结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开实施例在第二方面的第三种实现方式中，所述预设相关性条件包括：
所述数据子序列之间的互相关值大于预设相关阈值。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本公开实施例在第二方面的第四种实现方式中，所述计算模块还被配置为：
从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列；
所述组合所述第一目标数据子序列，得到去噪后的数据序列，被实施为：
将所述第一目标数据子序列和第二目标数据子序列组合起来，得到去噪后的数据序列。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式，本公开实施例在第二方面的第五种实现方式中，所述从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列的部分，被配置为：
对于互相关性不满足所述预设相关性条件的数据子序列重复进行子序列划分、傅立叶变换筛除、互相关性筛除，直至数据子序列长度小于所述预设长度阈值，将保留的数据子序列确定为所述第二目标数据子序列。
第三方面，本公开实施例提供了一种电子设备，包括存储器和至少一个处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述至少一个处理器执行以实现上述数据序列去噪方法的方法步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储数据序列去噪装置所用的计算机指令，其包含用于执行上述数据序列去噪方法为数据序列去噪装置所涉及的计算机指令。
本公开实施例提供的技术方案可以包括以下有益效果：
上述技术方案通过对于数据序列进行划分得到子序列，对于子序列进行傅立叶变换实现初次筛除，利用互相关性进行再次筛除来实现数据序列的去噪。上述技术方案既能够保障数据序列去噪效果，提升训练数据的质量，而且还具有操作简便、运算量小、易于推广的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的数据序列去噪方法的流程图；
图2示出根据本公开一实施方式的数据序列去噪装置的结构框图；
图3示出根据本公开一实施方式的电子设备的结构框图；
图4是适于用来实现根据本公开一实施方式的数据序列去噪方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
本公开实施例提供的技术方案通过对于数据序列进行划分得到子序列，对于子序列进行傅立叶变换实现初次筛除，利用互相关性进行再次筛除来实现数据序列的去噪。上述技术方案既能够保障数据序列去噪效果，提升训练数据的质量，而且还具有操作简便、运算量小、易于推广的优点。
图1示出根据本公开一实施方式的数据序列去噪方法的流程图，如图1所示，所述数据序列去噪方法包括以下步骤S101-S103：
在步骤S101中，获取待处理数据序列；
在步骤S102中，对所述待处理数据序列进行首次划分，得到两个或多个数据子序列，对所述数据子序列分别进行傅立叶变换，去除傅立叶变换结果不满足预设条件的数据子序列；
在步骤S103中，计算剩余数据子序列之间的互相关性，获得互相关性满足预设相关性条件的第一目标数据子序列，组合所述第一目标数据子序列，得到去噪后的数据序列。
上文提及，随着科学技术的发展，行为识别等基于时间序列数据的分析需求越来越多。为了实现高精准度的分析，通常需要采集大量的训练数据进行训练，然后再基于训练结果完成分析，但在实际应用中，采集到的训练数据往往质量低下，比如，采集到的数据中通常存在着大量的噪声。以行为识别中下楼梯动作识别为例，由于楼梯转折点处为平路，因此，采集到的时序数据中除了下楼梯动作数据，还掺杂有走平路的动作数据。若使用上述含噪数据直接进行模型训练，则将影响训练模型的准确率，因此，需要对于采集到的时间序列数据进行降噪处理。现有技术中通常使用OneClassSVM等异常检测方案来检测采集数据中掺杂着的异常数据，该方案虽然能够有效检测出采集数据中的异常数据，但其需要针对每种行为单独进行建模训练，运算量大，操作繁琐，难以推广，因此，亟需一种能够有效去噪、操作简便、运算量小、易于推广的数据序列去噪方案。
考虑到上述缺陷，在该实施方式中，提出一种数据序列去噪方法，该方法通过对于数据序列进行划分得到子序列，对于子序列进行傅立叶变换实现初次筛除，利用互相关性进行再次筛除来实现数据序列的去噪。上述技术方案既能够保障数据序列去噪效果，提升训练数据的质量，而且还具有操作简便、运算量小、易于推广的优点。
在本公开一实施方式中，所述数据处理方法可适用于对于数据进行处理的计算机、计算设备、电子设备、服务器、服务集群等。
在本实施例的一个可选实现方式中，所述待处理数据序列指的是需要对其执行去噪处理的数据序列，其中，所述数据序列中的每个数据均存在相应的数据生成时间，不同数据的数据生成时间不同。
在本实施例的一个可选实现方式中，在对所述待处理数据序列进行首次划分时，可根据预设的划分窗口对于所述待处理数据序列进行划分，以得到两个或多个数据子序列。其中，所述划分窗口大于预设长度阈值。在本实施例的一个可选实现方式中，为了对于所述待处理数据序列进行多次划分，以进行充分的筛选，所述划分窗口可设置为远大于所述预设长度阈值。
在本实施例的一个可选实现方式中，所述预设长度阈值由所述待处理数据序列经傅立叶变换变换后得到的最高N个能量中对应的最小频率值确定。其中，N可根据实际应用的需要、所述待处理数据序列的特点以及所述待处理数据序列接下来所进行的操作，比如进行哪种行为识别等等，来确定。其中，所述预设长度阈值与所述最小频率值之间的关系可根据所述待处理数据序列的特点以及所述待处理数据序列接下来所进行的操作，比如进行哪种行为识别等等，利用数据拟合等方式得到。
在本实施例的另一个可选实现方式中，所述预设长度阈值也可基于实际应用的需要、所述待处理数据序列的特点以及所述待处理数据序列接下来所进行的操作，比如进行哪种行为识别等等，根据经验值得到。
在本实施例的一个可选实现方式中，所述预设条件可包括以下条件：所述数据子序列经傅立叶变换变换后对应最大能量的频率值与所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值之间的频率差小于或等于预设频率差阈值。假设对于所述待处理数据序列进行首次划分后得到M个数据子序列，对于所述M个数据子序列分别进行傅立叶变换得到M个傅立叶变换结果：F1，F2…FM，假设M个傅立叶变换结果中对应最大能量的频率值分别为f1，f2…fM，记所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值为fo，则在进行傅立叶变换筛除时，保留频率值f1，f2…fM中与频率值fo之间的频率差小于或等于预设频率差阈值的频率值所对应的数据子序列，去除频率值f1，f2…fM中与频率值fo之间的频率差大于所述预设频率差阈值的频率值所对应的数据子序列。其中，所述预设频率差阈值可根据实际应用的需要确定。
在本实施例的一个可选实现方式中，所述预设相关性条件可包括以下条件：所述数据子序列之间的互相关值大于预设相关阈值。在借助傅立叶变换结果筛除一部分数据子序列后，可再通过互相关性对于剩余数据子序列进行再次筛除，即计算经傅立叶变换筛除后剩余数据子序列之间的两两互相关值，保留互相关值大于预设相关阈值的数据子序列，将其作为第一目标数据子序列，将所述第一目标数据子序列组合起来即可得到对于所述待处理数据序列进行去噪后的数据序列。
在本实施例的一个可选实现方式中，在对于所述第一目标数据子序列进行组合时，可按照所述第一目标数据子序列中不同数据子序列的数据生成时间的先后顺序进行组合。
在上述实施方式中，首先对于所述待处理数据序列进行拆分，然后对于拆分得到的数据子序列基于傅立叶变换和互相关性进行双重筛除，最终保留下来的数据子序列即可认为是对于所述待处理数据序列进行去噪后得到的数据序列。
上文提及，在上述实施方式中，在借助傅立叶变换结果筛除一部分数据子序列后，计算剩余数据子序列之间的互相关值，保留互相关值大于预设相关阈值的数据子序列作为组成去噪数据序列的第一目标数据子序列，也就是说，在利用互相关值进行再次筛除时，去除互相关值小于或等于预设相关阈值的数据子序列。考虑到基于互相关值去除的数据子序列中可能不全为噪声，还存在一部分的有用数据，因此，在本实施例的一个可选实现方式中，还可对于基于互相关值去除的数据子序列进行再次筛选，以挑选出有用数据。
即在本实施例的一个可选实现方式中，所述步骤S103中获得互相关性满足预设相关性条件的第一目标数据子序列的步骤之后，还包括以下步骤：
从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列。
在该实施方式中，所述步骤S103中组合所述第一目标数据子序列，得到去噪后的数据序列的步骤，可被实施为：
将所述第一目标数据子序列和第二目标数据子序列组合起来，得到去噪后的数据序列。
在该实施方式中，若通过对于基于互相关值去除的数据子序列再次筛选，挑选出有用数据，则该部分有用数据可作为第二目标数据子序列，与之前得到的所述第一目标数据子序列一并组合起来，以最终得到去噪后的数据序列。
在本实施例的一个可选实现方式中，所述从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列的步骤，可被实施为：
对于互相关性不满足所述预设相关性条件的数据子序列重复进行子序列划分、傅立叶变换筛除、互相关性筛除，直至数据子序列长度小于所述预设长度阈值，将保留的数据子序列确定为所述第二目标数据子序列。
在该实施方式中，在对于基于互相关值去除的数据子序列再次筛选，挑选出有用数据时，重复上述子序列划分、傅立叶变换筛除、互相关性筛除的步骤，直至划分后的数据子序列长度小于所述预设长度阈值，最后将上述迭代处理中保留得到的数据子序列确定为所述第二目标数据子序列。其中，在进行迭代互相关性筛除时，作为筛除依据的互相关值为当前数据子序列与经第一次划分、傅立叶变换筛除、互相关计算筛除保留下来的数据子序列之间的互相关值。
在本实施例的一个可选实现方式中，在重复进行子序列划分、傅立叶变换筛除、互相关性筛除时，为了保证数据筛除质量，划分得到的数据子序列需为两个或两个以上，即每次进行子序列划分时所使用的划分窗口需小于当前数据子序列长度且大于等于2*预设长度阈值。
接下来以举例的方式对于本公开技术方案的整体流程进行解释和说明。假设所述预设长度阈值为Lt，首先对于所述待处理数据序列按照第一划分窗口L1进行首次划分，得到M个数据子序列：D11，D12…D1M，其中，每个数据子序列的长度为L1。然后对所述M个数据子序列分别进行傅立叶变换得到M个傅立叶变换结果：F11，F12…F1M，M个傅立叶变换结果中对应最大能量的频率值分别为f11，f12…f1M，记所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值为fo，假设M个数据子序列中有P个数据子序列的傅立叶变换结果中对应最大能量的频率值与频率值fo之间的频率差小于或等于预设频率差阈值，则保留所述P个数据子序列，去除其余(M-P)个傅立叶变换结果中对应最大能量的频率值与频率值fo之间的频率差大于预设频率差阈值的数据子序列。然后计算保留的P个数据子序列之间的互相关值，将互相关值大于预设相关阈值的Q个数据子序列确定为第一目标数据子序列。
对于互相关值小于等于所述预设相关阈值的R个数据子序列，其中，R+Q＝P，按照第二划分窗口L2进行二次划分，得到S个数据子序列：D21，D22…D2S，其中，每个数据子序列的长度为L2。对所述S个数据子序列分别进行傅立叶变换得到S个傅立叶变换结果：F21，F22…F2S，S个傅立叶变换结果中对应最大能量的频率值分别为f21，f22…f2S，假设S个数据子序列中有T个数据子序列的傅立叶变换结果中对应最大能量的频率值与频率值fo之间的频率差小于或等于所述预设频率差阈值，则保留所述T个数据子序列，去除其余(S-T)个傅立叶变换结果中对应最大能量的频率值与频率值fo之间的频率差大于预设频率差阈值的数据子序列。然后计算保留的T个数据子序列之间的互相关值，得到互相关值大于所述预设相关阈值的U个数据子序列。
对于互相关值小于等于所述预设相关阈值的V个数据子序列，其中，U+V＝T，按照第三划分窗口L3进行三次划分，得到W个数据子序列：D31，D32…D3W，其中，每个数据子序列的长度为L3。对所述W个数据子序列分别进行傅立叶变换得到W个傅立叶变换结果：F31，F32…F3W，W个傅立叶变换结果中对应最大能量的频率值分别为f31，f32…f3W，假设W个数据子序列中有X个数据子序列的傅立叶变换结果中对应最大能量的频率值与频率值fo之间的频率差小于或等于预设频率差阈值，则保留所述X个数据子序列，去除其余(W-X)个傅立叶变换结果中对应最大能量的频率值与频率值fo之间的频率差大于预设频率差阈值的数据子序列。然后计算保留的X个数据子序列之间的互相关值，得到互相关值大于所述预设相关阈值的Y个数据子序列。
对于互相关值小于等于所述预设相关阈值的Z个数据子序列，若所述数据子序列的长度小于2*预设长度阈值，则说明若继续进行第四次划分，则划分得到的数据子序列的长度将会小于所述预设长度阈值，此时可停止划分。将之前得到的U个数据子序列和Y个数据子序列确定为第二目标数据子序列，与之前得到的所述第一目标数据子序列一并组合起来，即可得到去噪后的数据序列。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图2示出根据本公开一实施方式的数据序列去噪装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图2所示，所述数据序列去噪装置包括：
获取模块201，被配置为获取待处理数据序列；
划分模块202，被配置为对所述待处理数据序列进行首次划分，得到两个或多个数据子序列，对所述数据子序列分别进行傅立叶变换，去除傅立叶变换结果不满足预设条件的数据子序列；
计算模块203，被配置为计算剩余数据子序列之间的互相关性，获得互相关性满足预设相关性条件的第一目标数据子序列，组合所述第一目标数据子序列，得到去噪后的数据序列。
上文提及，随着科学技术的发展，行为识别等基于时间序列数据的分析需求越来越多。为了实现高精准度的分析，通常需要采集大量的训练数据进行训练，然后再基于训练结果完成分析，但在实际应用中，采集到的训练数据往往质量低下，比如，采集到的数据中通常存在着大量的噪声。以行为识别中下楼梯动作识别为例，由于楼梯转折点处为平路，因此，采集到的时序数据中除了下楼梯动作数据，还掺杂有走平路的动作数据。若使用上述含噪数据直接进行模型训练，则将影响训练模型的准确率，因此，需要对于采集到的时间序列数据进行降噪处理。现有技术中通常使用OneClassSVM等异常检测方案来检测采集数据中掺杂着的异常数据，该方案虽然能够有效检测出采集数据中的异常数据，但其需要针对每种行为单独进行建模训练，运算量大，操作繁琐，难以推广，因此，亟需一种能够有效去噪、操作简便、运算量小、易于推广的数据序列去噪方案。
考虑到上述缺陷，在该实施方式中，提出一种数据序列去噪装置，该装置通过对于数据序列进行划分得到子序列，对于子序列进行傅立叶变换实现初次筛除，利用互相关性进行再次筛除来实现数据序列的去噪。上述技术方案既能够保障数据序列去噪效果，提升训练数据的质量，而且还具有操作简便、运算量小、易于推广的优点。
在本公开一实施方式中，所述数据处理装置可实现为对于数据进行处理的计算机、计算设备、电子设备、服务器、服务集群等。
在本实施例的一个可选实现方式中，所述待处理数据序列指的是需要对其执行去噪处理的数据序列，其中，所述数据序列中的每个数据均存在相应的数据生成时间，不同数据的数据生成时间不同。
在本实施例的一个可选实现方式中，在对所述待处理数据序列进行首次划分时，可根据预设的划分窗口对于所述待处理数据序列进行划分，以得到两个或多个数据子序列。其中，所述划分窗口大于预设长度阈值。在本实施例的一个可选实现方式中，为了对于所述待处理数据序列进行多次划分，以进行充分的筛选，所述划分窗口可设置为远大于所述预设长度阈值。
在本实施例的一个可选实现方式中，所述预设长度阈值由所述待处理数据序列经傅立叶变换变换后得到的最高N个能量中对应的最小频率值确定。其中，N可根据实际应用的需要、所述待处理数据序列的特点以及所述待处理数据序列接下来所进行的操作，比如进行哪种行为识别等等，来确定。其中，所述预设长度阈值与所述最小频率值之间的关系可根据所述待处理数据序列的特点以及所述待处理数据序列接下来所进行的操作，比如进行哪种行为识别等等，利用数据拟合等方式得到。
在本实施例的另一个可选实现方式中，所述预设长度阈值也可基于实际应用的需要、所述待处理数据序列的特点以及所述待处理数据序列接下来所进行的操作，比如进行哪种行为识别等等，根据经验值得到。
在本实施例的一个可选实现方式中，所述预设条件可包括以下条件：所述数据子序列经傅立叶变换变换后对应最大能量的频率值与所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值之间的频率差小于或等于预设频率差阈值。假设对于所述待处理数据序列进行首次划分后得到M个数据子序列，对于所述M个数据子序列分别进行傅立叶变换得到M个傅立叶变换结果：F1，F2…FM，假设M个傅立叶变换结果中对应最大能量的频率值分别为f1，f2…fM，记所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值为fo，则在进行傅立叶变换筛除时，保留频率值f1，f2…fM中与频率值fo之间的频率差小于或等于预设频率差阈值的频率值所对应的数据子序列，去除频率值f1，f2…fM中与频率值fo之间的频率差大于所述预设频率差阈值的频率值所对应的数据子序列。其中，所述预设频率差阈值可根据实际应用的需要确定。
在本实施例的一个可选实现方式中，所述预设相关性条件可包括以下条件：所述数据子序列之间的互相关值大于预设相关阈值。在借助傅立叶变换结果筛除一部分数据子序列后，可再通过互相关性对于剩余数据子序列进行再次筛除，即计算经傅立叶变换筛除后剩余数据子序列之间的两两互相关值，保留互相关值大于预设相关阈值的数据子序列，将其作为第一目标数据子序列，将所述第一目标数据子序列组合起来即可得到对于所述待处理数据序列进行去噪后的数据序列。
在本实施例的一个可选实现方式中，在对于所述第一目标数据子序列进行组合时，可按照所述第一目标数据子序列中不同数据子序列的数据生成时间的先后顺序进行组合。
在上述实施方式中，首先对于所述待处理数据序列进行拆分，然后对于拆分得到的数据子序列基于傅立叶变换和互相关性进行双重筛除，最终保留下来的数据子序列即可认为是对于所述待处理数据序列进行去噪后得到的数据序列。
上文提及，在上述实施方式中，在借助傅立叶变换结果筛除一部分数据子序列后，计算剩余数据子序列之间的互相关值，保留互相关值大于预设相关阈值的数据子序列作为组成去噪数据序列的第一目标数据子序列，也就是说，在利用互相关值进行再次筛除时，去除互相关值小于或等于预设相关阈值的数据子序列。考虑到基于互相关值去除的数据子序列中可能不全为噪声，还存在一部分的有用数据，因此，在本实施例的一个可选实现方式中，还可对于基于互相关值去除的数据子序列进行再次筛选，以挑选出有用数据。
即在本实施例的一个可选实现方式中，所述计算模块203还被配置为：
从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列。
在该实施方式中，所述计算模块203中组合所述第一目标数据子序列，得到去噪后的数据序列的部分，可被配置为：
将所述第一目标数据子序列和第二目标数据子序列组合起来，得到去噪后的数据序列。
在该实施方式中，若通过对于基于互相关值去除的数据子序列再次筛选，挑选出有用数据，则该部分有用数据可作为第二目标数据子序列，与之前得到的所述第一目标数据子序列一并组合起来，以最终得到去噪后的数据序列。
在本实施例的一个可选实现方式中，所述从互相关性不满足所述预设相关性条件的数据子序列中确定第二目标数据子序列的步骤，可被实施为：
对于互相关性不满足所述预设相关性条件的数据子序列重复进行子序列划分、傅立叶变换筛除、互相关性筛除，直至数据子序列长度小于所述预设长度阈值，将保留的数据子序列确定为所述第二目标数据子序列。
在该实施方式中，在对于基于互相关值去除的数据子序列再次筛选，挑选出有用数据时，重复上述子序列划分、傅立叶变换筛除、互相关性筛除的步骤，直至划分后的数据子序列长度小于所述预设长度阈值，最后将上述迭代处理中保留得到的数据子序列确定为所述第二目标数据子序列。其中，在进行迭代互相关性筛除时，作为筛除依据的互相关值为当前数据子序列与经第一次划分、傅立叶变换筛除、互相关计算筛除保留下来的数据子序列之间的互相关值。
在本实施例的一个可选实现方式中，在重复进行子序列划分、傅立叶变换筛除、互相关性筛除时，为了保证数据筛除质量，划分得到的数据子序列需为两个或两个以上，即每次进行子序列划分时所使用的划分窗口需小于当前数据子序列长度且大于等于2*预设长度阈值。
本公开还公开了一种电子设备，图3示出根据本公开一实施方式的电子设备的结构框图，如图3所示，所述电子设备300包括存储器301和处理器302；其中，
所述存储器301用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器302执行以实现上述方法步骤。
图4是适于用来实现根据本公开一实施方式的数据序列去噪方法的计算机系统的结构示意图。
如图4所示，计算机系统400包括处理单元401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行上述实施方式中的各种处理。在RAM403中，还存储有系统400操作所需的各种程序和数据。处理单元401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。其中，所述处理单元401可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据序列去噪方法，包括：
获取待处理数据序列；
对所述待处理数据序列进行首次划分，得到两个或多个数据子序列，对所述数据子序列分别进行傅立叶变换，去除傅立叶变换结果不满足预设条件的数据子序列；
计算剩余数据子序列之间的互相关性，获得互相关性满足预设相关性条件的第一目标数据子序列，以及获得第二目标数据子序列；所述第二目标数据子序列为对于互相关性不满足所述预设相关性条件的数据子序列重复进行子序列划分、傅立叶变换筛除、互相关性筛除，直至数据子序列长度小于预设长度阈值时保留的数据子序列；
将所述第一目标数据子序列和第二目标数据子序列组合起来，得到去噪后的数据序列。
2.根据权利要求1所述的方法，所述数据子序列的长度大于预设长度阈值，其中，所述预设长度阈值为经验值或者由所述待处理数据序列经傅立叶变换变换后得到的最高N个能量对应的最小频率值确定。
3.根据权利要求1或2所述的方法，所述预设条件包括：
所述数据子序列经傅立叶变换变换后对应最大能量的频率值与所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值之间的频率差小于或等于预设频率差阈值。
4.根据权利要求1或2所述的方法，所述预设相关性条件包括：
所述数据子序列之间的互相关值大于预设相关阈值。
5.一种数据序列去噪装置，包括：
获取模块，被配置为获取待处理数据序列；
划分模块，被配置为对所述待处理数据序列进行首次划分，得到两个或多个数据子序列，对所述数据子序列分别进行傅立叶变换，去除傅立叶变换结果不满足预设条件的数据子序列；
计算模块，被配置为计算剩余数据子序列之间的互相关性，获得互相关性满足预设相关性条件的第一目标数据子序列，获得第二目标数据子序列，将所述第一目标数据子序列和第二目标数据子序列组合起来，得到去噪后的数据序列；所述第二目标数据子序列为对于互相关性不满足所述预设相关性条件的数据子序列重复进行子序列划分、傅立叶变换筛除、互相关性筛除，直至数据子序列长度小于预设长度阈值时保留的数据子序列。
6.根据权利要求5所述的装置，所述数据子序列的长度大于预设长度阈值，其中，所述预设长度阈值为经验值或者由所述待处理数据序列经傅立叶变换变换后得到的最高N个能量对应的最小频率值确定。
7.根据权利要求5或6所述的装置，所述预设条件包括：
所述数据子序列经傅立叶变换变换后对应最大能量的频率值与所述待处理数据序列经傅立叶变换变换后对应最高能量的频率值之间的频率差小于或等于预设频率差阈值。
8.根据权利要求5或6所述的装置，所述预设相关性条件包括：
所述数据子序列之间的互相关值大于预设相关阈值。
9.一种电子设备，其特征在于，包括存储器和至少一个处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述至少一个处理器执行以实现权利要求1-4任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-4任一项所述的方法步骤。
CN202010844951.2A 2020-08-20 2020-08-20 数据序列去噪方法、装置、电子设备及计算机存储介质 Active CN111898080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010844951.2A CN111898080B (zh) 2020-08-20 2020-08-20 数据序列去噪方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010844951.2A CN111898080B (zh) 2020-08-20 2020-08-20 数据序列去噪方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111898080A CN111898080A (zh) 2020-11-06
CN111898080B true CN111898080B (zh) 2024-05-03

Family

ID=73229871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010844951.2A Active CN111898080B (zh) 2020-08-20 2020-08-20 数据序列去噪方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111898080B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814396A (zh) * 2017-03-13 2017-06-09 山东科技大学 一种基于vmd的矿山微震信号的降噪滤波方法
CN107928673A (zh) * 2017-11-06 2018-04-20 腾讯科技（深圳）有限公司 音频信号处理方法、装置、存储介质和计算机设备
CN108562837A (zh) * 2018-04-19 2018-09-21 江苏方天电力技术有限公司 一种电厂开关柜局部放电超声信号降噪方法
CN109766798A (zh) * 2018-12-27 2019-05-17 武汉灏存科技有限公司 基于经验小波的手势数据处理方法、服务器及感知设备
CN110021305A (zh) * 2019-01-16 2019-07-16 上海惠芽信息技术有限公司 一种音频滤波方法、音频滤波装置及可穿戴设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814396A (zh) * 2017-03-13 2017-06-09 山东科技大学 一种基于vmd的矿山微震信号的降噪滤波方法
CN107928673A (zh) * 2017-11-06 2018-04-20 腾讯科技（深圳）有限公司 音频信号处理方法、装置、存储介质和计算机设备
CN108562837A (zh) * 2018-04-19 2018-09-21 江苏方天电力技术有限公司 一种电厂开关柜局部放电超声信号降噪方法
CN109766798A (zh) * 2018-12-27 2019-05-17 武汉灏存科技有限公司 基于经验小波的手势数据处理方法、服务器及感知设备
CN110021305A (zh) * 2019-01-16 2019-07-16 上海惠芽信息技术有限公司 一种音频滤波方法、音频滤波装置及可穿戴设备

Also Published As

Publication number Publication date
CN111898080A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN109754376B (zh) 图像去噪方法及装置
CN111145076B (zh) 数据并行化处理方法、系统、设备及存储介质
CN109710507B (zh) 一种自动化测试的方法和装置
CN110457524B (zh) 模型生成方法、视频分类方法及装置
CN108510084B (zh) 用于生成信息的方法和装置
CN113673697A (zh) 基于相邻卷积的模型剪枝方法、装置及存储介质
CN110633594A (zh) 一种目标检测方法和装置
CN111666279B (zh) 查询数据处理方法、装置、电子设备及计算机存储介质
CN111488892A (zh) 样本数据生成方法及装置
CN112905551B (zh) 数据压缩方法、装置、电子设备及计算机可读存储介质
CN111898080B (zh) 数据序列去噪方法、装置、电子设备及计算机存储介质
CN116503608A (zh) 基于人工智能的数据蒸馏方法及相关设备
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN115759209A (zh) 神经网络模型的量化方法、装置、电子设备及介质
CN114155410A (zh) 图池化、分类模型训练、重建模型训练方法和装置
CN114509791A (zh) 一种缩减存储的卫星定位误差分析方法及装置
WO2019120792A1 (en) Apparatus, method and computer program for processing a piecewise-smooth signal
CN114118155B (zh) 一种火箭着陆冲击信号的处理方法、装置及计算机设备
CN112016599B (zh) 用于图像检索的神经网络训练方法、装置及电子设备
JP2019144808A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
US9268745B2 (en) Method for fast wavelet transform of a signal
Ranganadh et al. Case study of Grigoryan FFT onto FPGAs and DSPs
CN112131248B (zh) 一种数据分析方法、装置、设备及存储介质
CN116628167B (zh) 一种响应确定方法、装置、电子设备及存储介质
EP4123479A2 (en) Method and apparatus for denoising click data, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant