CN109471853B - 数据降噪方法、装置、计算机设备和存储介质 - Google Patents

数据降噪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109471853B
CN109471853B CN201811088984.8A CN201811088984A CN109471853B CN 109471853 B CN109471853 B CN 109471853B CN 201811088984 A CN201811088984 A CN 201811088984A CN 109471853 B CN109471853 B CN 109471853B
Authority
CN
China
Prior art keywords
data
initial
feature combination
preset
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811088984.8A
Other languages
English (en)
Other versions
CN109471853A (zh
Inventor
于修铭
汪伟
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811088984.8A priority Critical patent/CN109471853B/zh
Priority to PCT/CN2018/123176 priority patent/WO2020056968A1/zh
Priority to SG11202002260SA priority patent/SG11202002260SA/en
Priority to US16/634,438 priority patent/US11321287B2/en
Publication of CN109471853A publication Critical patent/CN109471853A/zh
Application granted granted Critical
Publication of CN109471853B publication Critical patent/CN109471853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3428—Benchmarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种基于数据资源的数据降噪方法、装置、计算机设备和存储介质。所述方法包括：接收并根据降噪请求获取对应的特征组合，根据特征组合获取对应的初始数据，计算特征组合的区分度。利用初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合，并根据对应的特征组合生成初始特征组合，根据预设的评价指标从初始特征组合中提取可用特征组合。根据可用特征组合对初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据，并将可用数据发送至终端。采用本方法能够避免对同一初始数据进行重复降噪处理，解决了现有降噪处理中，降噪水平不稳定而导致需要消耗大量资源反复进行操作的问题，降低了资源消耗。

Description

数据降噪方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种数据降噪方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的发展，对于数据处理的需求越来越大，然后对于海量数据进行统计或分析时，大多情况下需要剔除一些干扰数据，包括噪音数据等。用于数据降噪处理包括多种方法：比如均值滤波、中值滤波、低通滤波，以及小波变换和全变分等方法。降噪的关键在于获得噪声分布，将信号按照不同特征进行分解，找到噪声的特征并进行抑制。传统的降噪处理中，信号的分解和噪声特征的提取往往涉及到复杂的数学运算，需要依赖专人经验，容易出现降噪水平不稳定的情况，导致耗费大量时间和精力进行反复操作。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低资源消耗的数据降噪方法、装置、计算机设备和存储介质。
一种数据降噪方法，所述方法包括：
接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合；
根据所述特征组合获取对应的初始数据；
计算所述特征组合的区分度；
利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
根据预设的评价指标从所述初始特征组合中提取可用特征组合；
根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据；
将所述可用数据发送至终端。
在其中一个实施例中，所述接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合，包括：
接收并解析终端发送的降噪请求，获取所述降噪请求对应的特征；
获取预设的特征之间的关联关系，根据所述关联关系生成特征组合。
在其中一个实施例中，所述利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合，包括：
获取预设的初始区分度阈值；
将所述特征组合的区分度与所述初始区分度阈值进行比对；
获取超过所述初始区分度阈值的区分度对应的特征组合。
在其中一个实施例中，所述根据预设的评价指标从所述初始特征组合中提取可用特征组合，包括：
获取预设的评价指标；
根据预设的评价指标和初始特征组合之间的对应关系，利用所述预设的评价指标对所述初始特征组合进行筛选；
获取符合所述预设评价指标的初始特征组合，并根据获取的符合所述预设评价指标的初始特征组合，生成可用特征组合。
在其中一个实施例中，所述根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据，包括：
根据预设的抓取周期获取更新后的初始数据；
根据预设的数据类型和初始数据之间的对应关系，将所述初始数据按照数据类型进行分类；
利用所述可用特征组合分别对分类后的所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据。
在其中一个实施例中，所述根据所述特征组合获取对应的初始数据，包括：
获取与所述特征组合对应的原始数据；
根据预设的特征组合和处理方式之间的对应关系，对所述特征组合对应的原始数据进行数据处理，获得初始数据。
在其中一个实施例中，所述方法还包括：
获取预设的更新步长和初始区分度阈值之间的关联关系；
根据所述更新步长和初始区分度阈值之间的关联关系，设置与所述初始区分度阈值对应的更新步长；
利用所述更新步长在预设的更新周期内，对所述初始数据进行更新。
一种数据降噪装置，所述装置包括：
接收模块，用于接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合；
初始数据获取模块，用于根据所述特征组合获取对应的初始数据；
区分度计算模块，用于计算所述特征组合的区分度；
筛选模块，用于利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
初始特征组合生成模块，用于根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
可用特征组合提取模块，用于根据预设的评价指标从所述初始特征组合中提取可用特征组合；
降噪模块，用于根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据；
发送模块，用于将所述可用数据发送至终端。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合；
根据所述特征组合获取对应的初始数据；
计算所述特征组合的区分度；
利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
根据预设的评价指标从所述初始特征组合中提取可用特征组合；
根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据；
将所述可用数据发送至终端。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合；
根据所述特征组合获取对应的初始数据；
计算所述特征组合的区分度；
利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
根据预设的评价指标从所述初始特征组合中提取可用特征组合；
根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据；
将所述可用数据发送至终端。
上述数据降噪方法、装置、计算机设备和存储介质，服务器根据接收的降噪请求获取特征组合，并计算特征组合的区分度。利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合。根据符合预设要求的区分度对应的特征组合生成初始特征组合，利用预设的评价指标从初始特征组合中提取可用特征组合。根据可用特征组合对获取到的初始数据进行降噪处理，删除噪音数据，生成可用数据。从而可通过预设的初始区分度阈值确定符合预设要求的可用特征组合，利用可用特征组合对初始数据进行降噪处理，获得可用数据，基于区分度对初始数据进行降噪处理，避免出现重复对同一初始数据进行降噪处理的情况，解决了现有降噪处理中由于降噪水平不稳定，导致需要消耗大量时间和精力反复执行降噪操作的问题，降低了资源消耗。
附图说明
图1为一个实施例中数据降噪方法的应用场景图；
图2为一个实施例中数据降噪方法的流程示意图；
图3为一个实施例中根据可用特征组合对初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据的流程示意图；
图4为一个实施例中数据降噪装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据降噪方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104接收终端102发送的降噪请求，并根据降噪请求获取对应的特征组合，根据特征组合获取对应的初始数据。服务器104计算特征组合的区分度，并利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合。根据符合预设要求的区分度对应的特征组合生成初始特征组合，根据预设的评价指标从初始特征组合中提取可用特征组合。根据可用特征组合对初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据，并将可用数据发送至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据降噪方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S202，服务器接收终端发送的降噪请求，并根据降噪请求获取对应的特征组合。
具体地，不同降噪请求与不同特征组合对应，且降噪请求和特征组合之间存在对应关系，可通过根据所获取降噪请求和特征组合之间的对应关系，获取与降噪请求对应的特征组合。其中，降噪请求携带特征标识，服务器可根据预先设置的特征标识和特征组合之间的对应关系，获取与特征标识对应的特征组合。
其中，特征是一个客体或一组客体特性的抽象结果，用来描述概念。任一客体或一组客体都具有众多特性，可根据客体所共有的特性抽象成为特征。特征组合表示多个存在关联关系的特征形成的组合，可根据预设的多个特征之间的关联关系生成特征组合。
以进行图像降噪为例，现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，减少数字图像中噪声的过程即为图像降噪。传统技术中多采用均值滤波器进行图像降噪，其中，采用邻域平均法的均值滤波器适用于去除通过扫描得到的图像中的颗粒噪声，有力地抑制了噪声，但同时也由于平均而引起了模糊现象，模糊程度与邻域半径成正比。
在本实施例中，针对图像降噪，服务器接收终端发送的降噪请求，并解析该降噪请求，获取降噪请求携带的特征标识，根据预设的特征标识和图像特征之间的对应关系，获取与特征标识对应的图像特征，并获取预设的多个图像特征之间的关联关系，根据多个图像特征之间的关联关系，生成图像特征组合。
S204，服务器根据特征组合获取对应的初始数据。
具体地，不同特征组合与不同原始数据对应，特征组合和原始数据之间存在对应关系，服务器可根据预设的特征组合和原始数据之间的对应关系，获取与特征组合对应的原始数据。根据预设的特征组合和处理方式之间的对应关系，对特征组合对应的原始数据进行数据处理，获得初始数据。
其中，处理方式包括筛选、删除以及添加，针对不同的特征组合，根据特征组合和处理方式之间的对应关系，执行与处理方式对应的数据处理。
进一步地，针对第一特征组合和筛选操作之间的对应关系，对第一特征组合对应的原始数据进行筛选操作，其中，筛选规则为预设的筛选规则，包括对原始数据的数据类型进行筛选，以及针对不同数据类型设置的数据取值阈值，服务器根据预设的筛选规则，将原始数据按照预设的数据类型进行分类，删除不属于预设的数据类型类别的数据，并将分类后的原始数据，按照不同数据类型的数据取值阈值进行筛选，提取符合各数据类型对应的数据取值阈值的原始数据，即为初始数据。
针对第一特征组合和删除操作之间的对应关系，对第一特征组合对应的原始数据进行删除操作，其中，需要删除的原始数据为未通过筛选规则的原始数据，即不属于各个预设的数据类型类别的原始数据，以及超出各个预设的数据类型类别对应的数据取值阈值的原始数据。
针对第二特征组合和添加操作之间的对应关系，并通过对第二特征组合对应的原始数据进行验证，当验证未通过是，服务器执行添加操作，添加与第二特征组合对应的原始数据。其中，服务器对第二特征组合进行的验证为完整性校验，服务器利用预设的原始数据的数据量最小阈值，和现有的原始数据的数据量进行比对，当现有的原始数据数据量小于预设的原始数据的数据量最小阈值时，表示第二组合对应的原始数据未通过完整性校验，需要执行添加操作。
S206，服务器计算特征组合的区分度。
其中，区分度也叫做项目的效度，并作为评价项目质量、筛选项目的主要依据。区分度的计算以被测者对项目的反应与某种参照标准之间的关系为基础，其取值范围是-1.00～+1.00。一般情况下，区分度应为正值，称作积极区分，值越大则区分度越好，若区分度为负值，则为消极区分。
具体地，服务器分别获取不同特征组合包括的特征，根据特征之间的关联关系以及多个特征，分别计算不同特征组合的区分度。以进行图像降噪为例，不同图像特征组合由多个图像特征根据各自的关联关系组成，服务器通过获取图像特征组合包括的图像特征，以及各图像特征之间的关联关系，根据所获得的图像特征以及图像特征之间的对应关系，计算图像特征组合对应的区分度。
S208，服务器利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合。
S210，服务器根据符合预设要求的区分度对应的特征组合生成初始特征组合。
具体地，服务器获取预设的初始区分度阈值，并将特征组合的区分度与初始区分度阈值进行比对，获取超过初始区分度阈值的区分度对应的特征组合，即为符合预设要求的区分度对应的特征组合。服务器根据符合预设要求的区分度对应的特征组合，即超过初始区分度阈值的区分度对应的特征组合，生成初始特征组合。
其中，区分度的常用指标为D，取值在-1～1之间，值越大区分度越好。区分度通过比较测验总分高和总分低的两组被试在项目通过率上的差别得来，应用到的公式为：D＝PH－PL，其中PH为高分组被试在该题上的通过率，PL为低分组被试在该题上的通过率，通过计算某一题目得分与测验总得分或效标分数的相关系数来判定，相关系数越大，区分度越高。
具体地的区分度的计算方法包括以下两种：
(1)积差相关法：当项目和试题总分都采用连续分数计分时，可用积差相关法来计算项目的区分度。用变量X表示学生在某项目上的得分，用变量Y表示学生的测验总分，其积差相关系数即可代表该项目的区分度值。
(2)点二列相关法：当项目以二分法计分、测验成绩以连续分数表示时，可用点二列相关公式计算区分度。
进一步地，可根据区分度指标取值范围，将初始区分度阈值设置为0.5，则服务器将初始区分度阈值和特征组合对应的区分度进行比对，获取超过初始区分度阈值0.5的区分度对应的特征组合，并根据超过初始区分度阈值0.5的区分度对应的特征组合生成初始特征组合。
以进行图像降噪为例，服务器将计算得到的图像特征组合的区分度与初始区分度阈值0.5进行比对，获取超过初始区分度阈值0.5的区分度对应的图像特征组合，生成初始图像特征组合。
S212，服务器根据预设的评价指标从初始特征组合中提取可用特征组合。
具体地，服务器获取预设的评价指标，并获取预设的评价指标和初始特征组合之间的对应关系。根据预设的评价指标和初始特征组合之间的对应关系，利用预设的评价指标对初始特征组合进行筛选，获取符合预设评价指标的初始特征组合，并根据获取的符合预设评价指标的初始特征组合，生成可用特征组合。
其中，预设的评价指标包括AUC值、准确率以及召回率，AUC值为感受性曲线下方的面积大小，全称Area Under Curve，被定义为ROC曲线下的面积，其取值范围在0.5和1之间。ROC曲线为感受性曲线，曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，在两种不同的判定标准下所得的结果，受试者工作特征曲线就是以假阳性概率为横轴，真阳性为纵轴所组成的坐标图，和受试者在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。
准确率(Precision)表示对于给定的测试数据集，分类器正确分类的样本数与总样本数之比，也就是损失函数是0-1损失时测试数据集上的准确率。用公式表达可以是：准确率＝系统检索到的相关文件/系统所有检索到的文件总数。召回率(Recall)是覆盖面的度量，度量有多个正例被分为正例。用公式可以表达为：召回率＝系统检索到的相关文件/系统所有相关的文件总数。
进一步地，服务器获取AUC值和初始特征组合之间的对应关系，并根据预设的AUC值对初始特征组合进行筛选，获取符合预设的AUC值的初始特征组合。其中，服务器根据AUC值的取值范围，将AUC值设置为0.8，利用AUC值0.8对初始特征组合进行筛选，获取符合AUC值的初始特征组合。
同样地，服务器获取准确率和初始特征组合之间的对应关系，根据预设的准确率对初始特征组合进行筛选，获得符合预设的准确率的初始特征组合。服务器获取召回率和初始特征组合之间的对应关系，根据预设的召回率对初始特征组合进行筛选，获得符合预设的召回率的初始特征组合。服务器根据符合预设的评价指标AUC值、准确率以及召回率的初始特征组合，生成可用特征组合。
S214，服务器根据可用特征组合对初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据。
具体地，服务器根据预设的抓取周期获取更新后的初始数据，并根据预设的数据类型和初始数据之间的对应关系，将初始数据按照数据类型进行分类。利用可用特征组合分别对分类后的初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据。
其中，数据类型包括数字型、字节型和文本型等，对应的初始数据包括数字型初始数据、字节型初始数据和文本型初始数据。噪音数据表示无意义的数据，指数据中存在着错误或异常，即为偏离期望值的数据，这些数据对数据的分析造成了干扰。现阶段的意义已经扩展到包含所有难以被机器正确理解和翻译的数据，如非结构化文本。任何不可被源程序读取和运用的数据，不管是已经接收、存贮的还是改变的，都被称为噪声(噪音)。
进一步地，服务器可根据预设的数据类型和初始数据之间的对应关系，获取初始数据对应的数据类型，将不同的初始数据分别按照数据类型进行分类。服务器利用可用特征组合分别对分类后的初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据。
S216，服务器将可用数据发送至终端。
上述数据降噪方法中，服务器根据接收的降噪请求获取特征组合，并计算特征组合的区分度。利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合。根据符合预设要求的区分度对应的特征组合生成初始特征组合，利用预设的评价指标从初始特征组合中提取可用特征组合。根据可用特征组合对获取到的初始数据进行降噪处理，删除噪音数据，生成可用数据。从而可通过预设的初始区分度阈值确定符合预设要求的可用特征组合，利用可用特征组合对初始数据进行降噪处理，获得可用数据，基于区分度对初始数据进行降噪处理，避免出现重复对同一初始数据进行降噪处理的情况，解决了现有降噪处理中由于降噪水平不稳定，导致需要消耗大量时间和精力反复执行降噪操作的问题，降低了资源消耗。
在一个实施例中，如图3所示，提供了一种根据可用特征组合对初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据的步骤，包括：
S302，服务器根据预设的抓取周期获取更新后的初始数据。
具体地，服务器将预设的抓取周期设置为120S，也就是说每隔120S，服务器执行初始数据抓取，其中，初始数据的预设更新周期可设置为100S，小于预设的抓取周期，可避免更新操作未执行完毕时，就进行初始数据抓取的操作，可实现所抓取的数据即为更新后的初始数据。
S304，服务器根据预设的数据类型和初始数据之间的对应关系，将初始数据按照数据类型进行分类。
具体地，不同初始数据对应不同的数据类型，数据类型包括数字型、字节型和文本型等，对应的初始数据包括数字型初始数据、字节型初始数据和文本型初始数据。服务器根据预设的数据类型和初始数据之间的对应关系，将初始数据按照数据类型进行分类，可分为数字型初始数据、字节型初始数据和文本型初始数据。
S306，服务器利用可用特征组合分别对分类后的初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据。
具体地，针对不同数据类型的初始数据，执行不同的降噪处理方式，数据类型包括数字型、字节型和文本型等，对应的降噪处理方式为判断处理、赋值处理和声明处理。
针对数字型初始数据，执行判断处理，获取预设的取值范围，将预设的取值范围和数字型初始数据的取值进行比对，判断数字型初始数据的取值是否符合预设的取值范围，提取符合预设取值范围的数字型初始数据，删除数字型初始数据中的噪音数据，生成数字型可用数据。
针对字节型初始数据，执行赋值处理，判断字节型初始数据的取值是否符合预设取值，当字节型初始数据的取值不符合预设取值时，将预设取值赋给对应的字节型初始数据，并删除被赋值后的字节型初始数据中的噪音数据，生成字节型可用数据。
针对文本型初始数据，执行声明处理，获取文本型初始数据的组成成分，根据组成成分和预设组成成分进行比对，当文本型初始数据的组成成分与预设组成成分不一致时，将文本型初始数据声明为预设组成成分，删除文本型初始数据中的噪音数据，生成文本型可用数据。
上述根据可用特征组合对初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据的步骤，通过根据预设的抓取周期获取更新后的初始数据，并将初始数据按照数据类型分类，针对不同数据类型的初始数据进行降噪处理，删除初始数据中的噪音数据，从而得到可用数据。由于按照数据类型进行降噪处理，删除了当中的噪音数据，提高了数据的可用程度，节约数据资源。
在一个实施例中，提供了一种接收终端发送的降噪请求，并根据降噪请求获取对应的特征组合的步骤，包括：
服务器接收并解析终端发送的降噪请求，获取降噪请求对应的特征；获取预设的特征之间的关联关系，根据关联关系生成特征组合。
具体地，不同降噪请求与不同特征组合对应，且降噪请求和特征组合之间存在对应关系，可通过根据所获取降噪请求和特征组合之间的对应关系，获取与降噪请求对应的特征组合。其中，降噪请求携带特征标识，服务器可根据预先设置的特征标识和特征组合之间的对应关系，获取与特征标识对应的特征组合。
在本实施例中，针对图像降噪，服务器接收终端发送的降噪请求，并解析该降噪请求，获取降噪请求携带的特征标识，根据预设的特征标识和图像特征之间的对应关系，获取与特征标识对应的图像特征，并获取预设的多个图像特征之间的关联关系，根据多个图像特征之间的关联关系，生成图像特征组合。
上述接收终端发送的降噪请求，并根据降噪请求获取对应的特征组合的步骤，通过获取降噪请求对应的特征，并获取预设的特征之间的关联关系，可实现根据特征以及各特征之间的关联生成特征组合，进而实现了特征组合的快速形成，提高工作效率。
在一个实施例中，提供了一种利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合的步骤，包括：
服务器获取预设的初始区分度阈值；将特征组合的区分度与初始区分度阈值进行比对；获取超过初始区分度阈值的区分度对应的特征组合。
具体地，服务器获取预设的初始区分度阈值，并将特征组合的区分度与初始区分度阈值进行比对，获取超过初始区分度阈值的区分度对应的特征组合，即为符合预设要求的区分度对应的特征组合。
进一步地，可根据区分度指标取值范围，将初始区分度阈值设置为0.5，则服务器将初始区分度阈值和特征组合对应的区分度进行比对，获取超过初始区分度阈值0.5的区分度对应的特征组合，并根据超过初始区分度阈值0.5的区分度对应的特征组合。
上述利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合的步骤，通过将特征组合的区分度与预设的初始区分度阈值进行比对，获得超过初始区分度阈值的区分度对应的特征组合，从而可避免将不符合预设要求的特征组合进行下一步操作，减少多余操作，节约了资源。
在一个实施例中，提供了一种根据预设的评价指标从初始特征组合中提取可用特征组合的步骤，包括：
服务器获取预设的评价指标；根据预设的评价指标和初始特征组合之间的对应关系，利用预设的评价指标对初始特征组合进行筛选；获取符合预设评价指标的初始特征组合，并根据获取的符合预设评价指标的初始特征组合，生成可用特征组合。
具体地，预设的评价指标包括AUC值、准确率以及召回率，其中，AUC值为感受性曲线下方的面积大小，被定义为ROC曲线下的面积，其取值范围在0.5和1之间。ROC曲线为感受性曲线，曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，在两种不同的判定标准下所得的结果。准确率(Precision)表示对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。召回率(Recall)是覆盖面的度量，度量有多个正例被分为正例。
进一步地，服务器根据符合预设的评价指标AUC值、准确率以及召回率的初始特征组合，生成可用特征组合。
上述根据预设的评价指标从初始特征组合中提取可用特征组合的步骤，通过利用预设的评价指标对初始特征组合进行筛选，获得符合评价指标的可用特征组合。根据评价指标中的AUC值、准确率以及召回率，对初始特征组合进行较为全面的筛选，获得更为符合预设要求的可用特征组合，提高了工作效率。
在一个实施例中，提供了一种根据特征组合获取对应的初始数据的步骤，包括：
服务器获取与特征组合对应的原始数据；根据预设的特征组合和处理方式之间的对应关系，对特征组合对应的原始数据进行数据处理，获得初始数据。
具体地，不同特征组合与不同原始数据对应，特征组合和原始数据之间存在对应关系，服务器可根据预设的特征组合和原始数据之间的对应关系，获取与特征组合对应的原始数据。根据预设的特征组合和处理方式之间的对应关系，对特征组合对应的原始数据进行数据处理，获得初始数据。
其中，处理方式包括筛选、删除以及添加，针对不同的特征组合，根据特征组合和处理方式之间的对应关系，执行与处理方式对应的数据处理，获得初始数据。
上述根据特征组合获取对应的初始数据的步骤，通过利用特征组合和处理方式之间的对应关系，对特征组合对应的原始数据进行数据处理，获得初始数据，从而保证特征组合对应的原始数据得到对应的处理方式的数据处理，提高得到初始数据的效率。
在一个实施例中，提供了一种数据降噪方法，还包括：
服务器获取预设的更新步长和初始区分度阈值之间的关联关系；根据更新步长和初始区分度阈值之间的关联关系，设置与初始区分度阈值对应的更新步长；利用更新步长在预设的更新周期内，对初始数据进行更新。
具体地，更新步长表示前后两次更新的时间点之间的差值，服务器预先设置更新步长和初始区分度阈值之间的关联关系，并根据预设的更新步长和初始区分度阈值之间的关联关系，设置与初始区分度阈值对应的更新步长，在预设的更新周期内，利用更新步长对初始数据进行更新。
进一步地，可根据预设的更新步长和初始区分度阈值之间的关联关系，将与初始区分度阈值对应的更新步长，设置为60S，也就是说前后两次更新时间点之间的差值为60S，预设的更新周期设置为150S，在预设的更新周期150S内，利用更新步长60S，对初始数据进行更新。
上述数据降噪方法，服务器根据更新步长和初始区分度阈值之间的关联关系，设置与初始区分度阈值对应的更新步长，可利用更新步长在预设的更新周期内，对初始数据进行更新，从而保证初始数据的及时更新，所获取得到的数据也为经过更新后的初始数据，进一步提高了工作效率。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种数据降噪装置，包括：接收模块402、初始数据获取模块404、区分度计算模块406、筛选模块408、初始特征组合生成模块410、可用特征组合提取模块412、降噪模块414以及发送模块416，其中：
接收模块402，用于接收终端发送的降噪请求，并根据降噪请求获取对应的特征组合。
初始数据获取模块404，用于根据特征组合获取对应的初始数据。
区分度计算模块406，用于计算特征组合的区分度。
筛选模块408，用于利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合。
初始特征组合生成模块410，用于根据符合预设要求的区分度对应的特征组合生成初始特征组合。
可用特征组合提取模块412，用于根据预设的评价指标从初始特征组合中提取可用特征组合。
降噪模块414，用于根据可用特征组合对初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据。
发送模块416，用于将可用数据发送至终端。
上述数据降噪装置，服务器根据接收的降噪请求获取特征组合，并计算特征组合的区分度。利用预设的初始区分度阈值对特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合。根据符合预设要求的区分度对应的特征组合生成初始特征组合，利用预设的评价指标从初始特征组合中提取可用特征组合。根据可用特征组合对获取到的初始数据进行降噪处理，删除噪音数据，生成可用数据。从而可通过预设的初始区分度阈值确定符合预设要求的可用特征组合，利用可用特征组合对初始数据进行降噪处理，获得可用数据，基于区分度对初始数据进行降噪处理，避免出现重复对同一初始数据进行降噪处理的情况，解决了现有降噪处理中由于降噪水平不稳定，导致需要消耗大量时间和精力反复执行降噪操作的问题，降低了资源消耗。
在一个实施例中，提供了一种接收模块，还用于：
接收并解析终端发送的降噪请求，获取降噪请求对应的特征；获取预设的特征之间的关联关系，根据关联关系生成特征组合。
上述接收模块，通过获取降噪请求对应的特征，并获取预设的特征之间的关联关系，可实现根据特征以及各特征之间的关联生成特征组合，进而实现了特征组合的快速形成，提高工作效率。
在一个实施例中，提供了一种初始数据获取模块，还用于：
获取与特征组合对应的原始数据；根据预设的特征组合和处理方式之间的对应关系，对特征组合对应的原始数据进行数据处理，获得初始数据。
上述初始数据获取模块，通过利用特征组合和处理方式之间的对应关系，对特征组合对应的原始数据进行数据处理，获得初始数据，从而保证特征组合对应的原始数据得到对应的处理方式的数据处理，提高得到初始数据的效率。
在一个实施例中，提供了一种筛选模块，还用于：
获取预设的初始区分度阈值；将特征组合的区分度与初始区分度阈值进行比对；获取超过初始区分度阈值的区分度对应的特征组合。
上述模筛选模块，通过将特征组合的区分度与预设的初始区分度阈值进行比对，获得超过初始区分度阈值的区分度对应的特征组合，从而可避免将不符合预设要求的特征组合进行下一步操作，减少多余操作，节约了资源。
在一个实施例中，提供了一种可用特征组合提取模块，还用于：
获取预设的评价指标；根据预设的评价指标和初始特征组合之间的对应关系，利用预设的评价指标对初始特征组合进行筛选；获取符合预设评价指标的初始特征组合，并根据获取的符合预设评价指标的初始特征组合，生成可用特征组合。
上述可用特征组合提取模块，通过利用预设的评价指标对初始特征组合进行筛选，获得符合评价指标的可用特征组合。根据评价指标中的AUC值、准确率以及召回率，对初始特征组合进行较为全面的筛选，获得更为符合预设要求的可用特征组合，提高了工作效率。
在一个实施例中，提供了一种降噪模块，还用于：
根据预设的抓取周期获取更新后的初始数据；根据预设的数据类型和初始数据之间的对应关系，将初始数据按照数据类型进行分类；利用可用特征组合分别对分类后的初始数据进行降噪处理，删除初始数据中的噪音数据，得到可用数据。
上述降噪模块，通过根据预设的抓取周期获取更新后的初始数据，并将初始数据按照数据类型分类，针对不同数据类型的初始数据进行降噪处理，删除初始数据中的噪音数据，从而得到可用数据。由于按照数据类型进行降噪处理，删除了当中的噪音数据，提高了数据的可用程度，节约数据资源。
在一个实施例中，提供了一种数据降噪装置，还包括更新模块，用于：
获取预设的更新步长和初始区分度阈值之间的关联关系；根据更新步长和初始区分度阈值之间的关联关系，设置与初始区分度阈值对应的更新步长；利用更新步长在预设的更新周期内，对初始数据进行更新。
上述数据降噪装置，服务器根据更新步长和初始区分度阈值之间的关联关系，设置与初始区分度阈值对应的更新步长，可利用更新步长在预设的更新周期内，对初始数据进行更新，从而保证初始数据的及时更新，所获取得到的数据也为经过更新后的初始数据，进一步提高了工作效率。
关于数据降噪装置的具体限定可以参见上文中对于数据降噪方法的限定，在此不再赘述。上述数据降噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据降噪方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据降噪方法，所述方法包括：
接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合；
根据所述特征组合获取对应的初始数据；
计算所述特征组合的区分度；
利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
根据预设的评价指标从所述初始特征组合中提取可用特征组合；所述预设的评价指标包括感受性曲线下方的面积值、准确率和召回率，所述准确率为系统检索到的相关文件和系统所有检索到的文件总数之比，所述召回率为系统检索到的相关文件和系统所有相关的文件总数之比；
根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据；
将所述可用数据发送至终端。
2.根据权利要求1所述的方法，其特征在于，所述接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合，包括：
接收并解析终端发送的降噪请求，获取所述降噪请求对应的特征；
获取预设的特征之间的关联关系，根据所述关联关系生成特征组合。
3.根据权利要求1所述的方法，其特征在于，所述利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合，包括：
获取预设的初始区分度阈值；
将所述特征组合的区分度与所述初始区分度阈值进行比对；
获取超过所述初始区分度阈值的区分度对应的特征组合。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据预设的评价指标从所述初始特征组合中提取可用特征组合，包括：
获取预设的评价指标；
根据预设的评价指标和初始特征组合之间的对应关系，利用所述预设的评价指标对所述初始特征组合进行筛选；
获取符合所述预设评价指标的初始特征组合，并根据获取的符合所述预设评价指标的初始特征组合，生成可用特征组合。
5.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据，包括：
根据预设的抓取周期获取更新后的初始数据；
根据预设的数据类型和初始数据之间的对应关系，将所述初始数据按照数据类型进行分类；
利用所述可用特征组合分别对分类后的所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据。
6.根据权利要求1所述的方法，其特征在于，所述根据所述特征组合获取对应的初始数据，包括：
获取与所述特征组合对应的原始数据；
根据预设的特征组合和处理方式之间的对应关系，对所述特征组合对应的原始数据进行数据处理，获得初始数据。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预设的更新步长和初始区分度阈值之间的关联关系；
根据所述更新步长和初始区分度阈值之间的关联关系，设置与所述初始区分度阈值对应的更新步长；
利用所述更新步长在预设的更新周期内，对所述初始数据进行更新。
8.一种数据降噪装置，其特征在于，所述装置包括：
接收模块，用于接收终端发送的降噪请求，并根据所述降噪请求获取对应的特征组合；
初始数据获取模块，用于根据所述特征组合获取对应的初始数据；
区分度计算模块，用于计算所述特征组合的区分度；
筛选模块，用于利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
初始特征组合生成模块，用于根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
可用特征组合提取模块，用于根据预设的评价指标从所述初始特征组合中提取可用特征组合；所述预设的评价指标包括感受性曲线下方的面积值、准确率和召回率，所述准确率为系统检索到的相关文件和系统所有检索到的文件总数之比，所述召回率为系统检索到的相关文件和系统所有相关的文件总数之比；
降噪模块，用于根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据；
发送模块，用于将所述可用数据发送至终端。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201811088984.8A 2018-09-18 2018-09-18 数据降噪方法、装置、计算机设备和存储介质 Active CN109471853B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811088984.8A CN109471853B (zh) 2018-09-18 2018-09-18 数据降噪方法、装置、计算机设备和存储介质
PCT/CN2018/123176 WO2020056968A1 (zh) 2018-09-18 2018-12-24 数据降噪方法、装置、计算机设备和存储介质
SG11202002260SA SG11202002260SA (en) 2018-09-18 2018-12-24 Data noise reduction method, device, computer apparatus and storage medium
US16/634,438 US11321287B2 (en) 2018-09-18 2018-12-24 Data noise reduction method, device, computer apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811088984.8A CN109471853B (zh) 2018-09-18 2018-09-18 数据降噪方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109471853A CN109471853A (zh) 2019-03-15
CN109471853B true CN109471853B (zh) 2023-06-16

Family

ID=65663039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811088984.8A Active CN109471853B (zh) 2018-09-18 2018-09-18 数据降噪方法、装置、计算机设备和存储介质

Country Status (4)

Country Link
US (1) US11321287B2 (zh)
CN (1) CN109471853B (zh)
SG (1) SG11202002260SA (zh)
WO (1) WO2020056968A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335616B (zh) * 2019-07-18 2024-10-15 平安科技（深圳）有限公司 语音数据降噪方法、装置、计算机设备和存储介质
CN113808564B (zh) * 2020-06-12 2024-03-19 青岛海尔电冰箱有限公司 厨房降噪方法、冰箱及计算机可读存储介质
CN112201270B (zh) * 2020-10-26 2023-05-23 平安科技（深圳）有限公司 语音噪声的处理方法、装置、计算机设备及存储介质
CN112486975A (zh) * 2020-12-10 2021-03-12 四川瀚库智数科技有限公司 基于大数据的数据自动可视化的方法
CN115757068B (zh) * 2022-11-17 2024-03-05 中电云计算技术有限公司 一种基于eBPF的进程日志采集及自动降噪方法和系统
CN117131035B (zh) * 2023-10-24 2024-01-05 山东尚儒弘毅精细化工有限公司 一种化工染料生产数据智能储存方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505207B1 (en) * 2000-04-25 2003-01-07 International Business Machines Corporation Methods and apparatus for performing dimensionality reduction in a supervised application domain
JP2005340928A (ja) * 2004-05-24 2005-12-08 Nikon Corp ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ
CN105302854A (zh) * 2015-09-20 2016-02-03 杭州电子科技大学 一种移动终端图像颜色再现一致性的方法
CN107248161A (zh) * 2017-05-11 2017-10-13 江西理工大学 一种多特征融合的有监督视网膜血管提取方法
CN107504908A (zh) * 2017-08-17 2017-12-22 中国计量大学 基于小波变换模极大值的白光反射动态测量薄膜厚度方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235589B2 (en) * 2015-09-08 2019-03-19 The Johns Hopkins University Small maritime target detector
CN105550257B (zh) 2015-12-10 2019-05-03 杭州当虹科技股份有限公司 一种音视频指纹识别方法及一种基于音视频指纹流媒体的防篡改系统
CN108121764B (zh) 2016-11-26 2022-03-11 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505207B1 (en) * 2000-04-25 2003-01-07 International Business Machines Corporation Methods and apparatus for performing dimensionality reduction in a supervised application domain
JP2005340928A (ja) * 2004-05-24 2005-12-08 Nikon Corp ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ
CN105302854A (zh) * 2015-09-20 2016-02-03 杭州电子科技大学 一种移动终端图像颜色再现一致性的方法
CN107248161A (zh) * 2017-05-11 2017-10-13 江西理工大学 一种多特征融合的有监督视网膜血管提取方法
CN107504908A (zh) * 2017-08-17 2017-12-22 中国计量大学 基于小波变换模极大值的白光反射动态测量薄膜厚度方法

Also Published As

Publication number Publication date
US20210232550A1 (en) 2021-07-29
US11321287B2 (en) 2022-05-03
WO2020056968A1 (zh) 2020-03-26
SG11202002260SA (en) 2020-04-29
CN109471853A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109471853B (zh) 数据降噪方法、装置、计算机设备和存储介质
CN110009225B (zh) 风险评估系统构建方法、装置、计算机设备和存储介质
CN105809035B (zh) 基于安卓应用实时行为的恶意软件检测方法和系统
CN111178380B (zh) 数据分类方法、装置及电子设备
CN109325118B (zh) 不平衡样本数据预处理方法、装置和计算机设备
CN104539484A (zh) 一种动态评估网络连接可信度的方法及系统
Karataş et al. Big Data: controlling fraud by using machine learning libraries on Spark
CN110471945B (zh) 活跃数据的处理方法、系统、计算机设备和存储介质
CN112036476A (zh) 基于二分类业务的数据特征选择方法、装置及计算机设备
CN112052251B (zh) 目标数据更新方法和相关装置、设备及存储介质
CN113553583A (zh) 信息系统资产安全风险评估方法与装置
CN116707859A (zh) 特征规则提取方法和装置、网络入侵检测方法和装置
CN113448955B (zh) 数据集质量评估方法、装置、计算机设备及存储介质
CN117675387B (zh) 基于用户行为分析的网络安全风险预测方法及系统
CN114117421A (zh) 用户访问行为的异常检测方法及装置
CN114022926A (zh) 一种人脸识别方法、装置、设备以及存储介质
CN117290420A (zh) 一种用于财务数据提取的企业财务管理方法及系统
CN109992960B (zh) 一种伪造参数检测方法、装置、电子设备及存储介质
CN116739605A (zh) 交易数据检测方法、装置、设备及存储介质
WO2018162050A1 (en) Tester and method for testing a device under test using relevance scores
CN110852384A (zh) 医学影像质量检测方法、装置和存储介质
Gao et al. Modeling image quality score distribution using alpha stable model
CN116070149A (zh) 基于人工智能的数据分析方法、系统及云平台
CN113518010B (zh) 一种链路预测方法、装置及存储介质
CN112417007A (zh) 一种数据分析方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant