CN110880066A - 特征数据的处理方法、终端、装置及可读存储介质 - Google Patents

特征数据的处理方法、终端、装置及可读存储介质 Download PDF

Info

Publication number
CN110880066A
CN110880066A CN201911077186.XA CN201911077186A CN110880066A CN 110880066 A CN110880066 A CN 110880066A CN 201911077186 A CN201911077186 A CN 201911077186A CN 110880066 A CN110880066 A CN 110880066A
Authority
CN
China
Prior art keywords
data
verified
processing
value
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911077186.XA
Other languages
English (en)
Other versions
CN110880066B (zh
Inventor
唐兴兴
黄启军
陈瑞钦
林冰垠
李诗琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911077186.XA priority Critical patent/CN110880066B/zh
Publication of CN110880066A publication Critical patent/CN110880066A/zh
Application granted granted Critical
Publication of CN110880066B publication Critical patent/CN110880066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种特征数据的处理方法，包括以下步骤：对待验证数据集进行分块处理，得到预设数量的数据块，利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值，对所述各个数据块各自对应的分布值进行聚合处理，得到待验证数据集对应的总体分布值，基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评价结果。本发明还公开了一种装置、终端及可读存储介质。在计算特征值的评分数据时，与单机处理相比，本申请的分布式计算方式提升了计算速度，且在样本集较大时，进一步提升了特征数据的处理效率。

Description

特征数据的处理方法、终端、装置及可读存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种特征数据的处理方法、终端、装置及可读存储介质。
背景技术
当前越来越多的领域开始使用机器学习技术，机器学习模型的准确性和鲁棒性至关重要，这需要大量优质数据集进行训练。
由于逻辑回归模型具有良好的可解释，金融风控、医疗模型等要求可解释的场景通常会使用逻辑回归模型建模。样本集包括特征数据和特征数据对应的目标数据，其中，特征值的评分数据是评价已进入逻辑回归模型的特征是否有效的重要量化指标，目前，评分数据主要是单机数据处理。然而，单机内存有限，若样本集较大时，采用单机确定评分数据，会造成评分数据的处理速度较慢，从而导致特征数据的处理效率较低。
发明内容
本发明的主要目的在于提供一种特征数据的处理方法、终端、装置及可读存储介质，旨在解决样本数量较大时，由于样本集超过单机内存限制导致无法计算评分数据，使特征数据的处理效率较低的技术问题。
为实现上述目的，本发明提供一种特征数据的处理方法，所述的特征数据的处理方法包括以下步骤：
对待验证数据集进行分块处理，得到预设数量的数据块；
利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，在一实施方式中，所述对待验证数据集进行分块处理，得到预设数量的数据块的步骤之前，还包括：
将预设的样本集输入预测模型，生成所述样本集对应的预测概率；
将所述样本集中的特征数据和所述预测概率作为所述待验证数据集。
进一步地，在一实施方式中，所述利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值的步骤包括：
利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值，其中，所述数据对为特征数据和预测概率的组合。
进一步地，在一实施方式中，所述数据块包括多组数据对，将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值的步骤包括：
将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
进一步地，在一实施方式中，所述基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果的步骤包括：
将所述总体分布值输入预设的评分公式，得到待验证数据集中特征数据对应的评分值；
基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，在一实施方式中，所述基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果的步骤包括：
在所述评分值小于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
在所述评分值大于或等于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
进一步地，在一实施方式中，所述对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值的步骤包括：
累加各个数据块各自对应的分布值，得到所述总体分布值。
进一步地，在一实施方式中，所述特征数据的处理装置包括：
分块模块，用于对待验证数据集进行分块处理，得到预设数量的数据块；
计算模块，用于利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
聚合模块，用于对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
确定模块，用于基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
此外，为实现上述目的，本发明还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的特征数据的处理程序，所述特征数据的处理程序被所述处理器执行时实现上述任一项所述的特征数据的处理方法的步骤。
此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有特征数据的处理程序，所述特征数据的处理程序被处理器执行时实现上述任一项所述的特征数据的处理方法的步骤。
本发明对待验证数据集进行分块处理，得到预设数量的数据块，而后利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值，接下来对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值，进一步基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。在计算特征值的评分数据时，与单机处理相比，本申请的分布式计算方式提升了计算速度，且在样本集较大时，进一步提升了特征数据的处理效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中终端的结构示意图；
图2为本发明特征数据的处理方法第一实施例的流程示意图；
图3为本发明特征数据的处理方法第二实施例的流程示意图；
图4为本发明特征数据的处理装置实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境中终端的结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，姿态传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击) 等；当然，终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及特征数据的处理程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接用户端，与用户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的特征数据的处理程序。
在本实施例中，终端包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的特征数据的处理程序，其中，处理器1001调用存储器1005中存储的特征数据的处理程序时，执行本申请各个实施例提供的特征数据的处理方法的步骤。
本发明还提供一种特征数据的处理方法，参照图2，图2为本发明特征数据的处理方法第一实施例的流程示意图。
本发明实施例提供了特征数据的处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，该特征数据的处理方法包括：
步骤S10，对待验证数据集进行分块处理，得到预设数量的数据块；
在本实施例中，对于逻辑回归模型，特征值的评分数据是评价已进入逻辑回归模型的特征是否有效的重要量化指标，根据一部分评分数据的特点，可以采用分布式计算思想，例如Wald卡方，为了便于描述，本申请以Wald 卡方的计算过程进行举例说明。定义变量如下：
特征数据集：X，包括n条数据{x1,x2,...xn}，每一条数据
Figure RE-GDA0002356673120000064
包括 k个特征值{xi1,xi2,...xik}
预测概率集：P，包含n条数据{p1,p2,...pn}；
预测模型的参数θ：是个k维的向量{θ1,θ2,...θk}；
零假设H0：Cθ＝h，C是个t*k的矩阵，h是一个k*1的向量，所有值都为 0；
预测模型的Wald卡方计算公式S如下所示：
Figure RE-GDA0002356673120000061
其中，Hθ的值为：
Figure RE-GDA0002356673120000062
从目标模型的Wald卡方计算公式可以看出，主要计算瓶颈在计算Hθ，Hθ的计算都可以采用以行为单位的矩阵分解，对目标模型对应的Wald卡方公式进行矩阵分解如下：
Figure RE-GDA0002356673120000063
根据总体分布值Hθ的特点，行与行之间的计算在乘法阶段是完全独立的，可以独立进行分布式计算，累加阶段再对每行的计算结果聚合，很方便的采用分布式计算思想。具体地，对待验证数据集进行分块处理，得到预设数量的数据块，然后分别计算每个数据块对应的分布值。
步骤S20，利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
在本实施例中，采用分布式的计算思想，预设的分布式计算公式分别在每一个数据块上进行分布式计算，然后得到各自对应的分布值。
具体地，步骤S20包括：
步骤S21，利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值，其中，所述数据对为特征数据和预测概率的组合。
具体地，步骤S21包括：将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
在本实施例中，数据对为待验证数据集中的特征数据和预测概率的组合，一个数据块中有多个数据对，将数据块的数据对输入分布式计算公式，得到各个数据对各自对应的子分布值，并分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
举例说明，子分布值为
Figure RE-GDA0002356673120000071
将特征数据集和预测概率代入
Figure RE-GDA0002356673120000072
进行计算，得到value的具体值，然后累加一个数据块中的 value，得到该数据块对应的分布值。
步骤S30，对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
具体地，步骤S30包括：累加各个数据块各自对应的分布值，得到所述总体分布值。
在本实施例中，采用分布式的计算思想，预设的分布式计算公式在每一个数据块上进行分布式计算，然后得到各自对应的分布值，接下来根据各个数据块对应的分布值确定待验证数据集对应的总体分布值，用于后续计算。具体地，累加各个数据块各自对应的分布值，得到总体分布值。
步骤S40，基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
在本实施例中，将总体分布值输入到预设的评分公式，得到评分值后，进一步确定待验证数据集中特征数据对应的评分结果，其中评分结果包括两种：合格和不合格。
具体地，步骤S40包括：
步骤S41，将所述总体分布值输入预设的评分公式，得到待验证数据集中特征数据对应的评分值；
在本实施例中，将总体分布值作为输入数据，输入到预设的评分公式中，根据预设的评分公式进行相关计算，从而得到待验证数据集中特征数据对应的评分值，后续利用评分值得到评分结果。
步骤S42，基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果。
具体地，步骤S42包括：
步骤a，在所述评分值小于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
步骤b，在所述评分值大于或等于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
在本实施例中，进一步利用评分值得到评分结果，具体地，在评分值小于阈值时，确定待验证数据集中特征数据对应的评分结果为合格，在评分值大于或等于阈值时，确定待验证数据集中特征数据对应的评分结果为不合格，阈值根据实际情况确定。
可选地，还可以设定预设范围，根据评分值是否在预设范围内来确定评分结果，例如，评分值在预设范围内确定评分结果为合格，评分值不在预设范围内确定评分结果为不合格。
本实施例提出的特征数据处理方法，对待验证数据集进行分块处理，得到预设数量的数据块，而后利用分布式线程、预设的分布式计算公式和预设的似然函数，分别计算各个数据块各自对应的分布值和似然值，接下来基于所述各个数据块对应的分布值以及似然值确定所述待验证数据集对应的总体分布值及总体似然值，然后将所述总体分布值和所述总体似然值输入到预设的评分卡方公式，得到卡方值，并基于所述卡方值确定所述待验证数据集中特征数据对应的评价结果。通过卡方公式计算特征值的预测评分时，与单机处理相比，本申请的分布式计算方式提升了计算速度，尤其是样本集较大，提升了特征数据的评价效率。
基于第一实施例，参照图3，提出本发明特征数据处理方法的第二实施例，在本实施例中，步骤S10之前，还包括：
步骤S50，将预设的样本集输入预测模型，生成所述样本集对应的预测概率；
步骤S60，将所述样本集和所述预测概率作为所述待验证数据集。
在本实施例中，将样本集作为预测模型的输入，在模型输出预测值的同时输出该预测值对应的预测概率，预测概率一般是由模型本身在对输入数据进行预测时，伴随预测值附带的一个0-1之间的数值，数值越大，表示预测值的置信度越高，一般预测概率大于等于0.5表示预测结果可信度较高(超过 50％的概率)，所以这是逻辑回归模型本身自带的一个数值信息，在实际应用中，对于一个数据，通过逻辑回归模型其预测为不同结果的概率大小是不一样的，选取其中预测概率最大的结果作为该数据的最终预测值，所以预测值和预测概率在模型中是伴生关系的。具体地，将预设的样本集输入预测模型，生成样本集对应的预测概率，将样本集和预测概率作为待验证数据集。
本实施例提出的特征数据处理方法，将预设的样本集输入预测模型，生成样本集对应的预测概率，将样本集和预测概率作为待验证数据集，提供了在分布式计算卡方值前的数据准备。
本发明进一步提供一种特征数据的处理装置，参照图4，图4为本发明特征数据的处理装置实施例的功能模块示意图。
分块模块10，用于对待验证数据集进行分块处理，得到预设数量的数据块；
计算模块20，用于利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
聚合模块30，用于对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
确定模块40，用于基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，所述特征数据处理装置还包括：
生成模块，将预设的样本集输入预测模型，生成所述样本集对应的预测概率；
合并模块，将所述样本集中的特征数据和所述预测概率作为所述待验证数据集。
进一步地，所述计算模块20还用于：
利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值，其中，所述数据对为特征数据和预测概率的组合。
进一步地，所述计算模块20还用于：
将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
进一步地，所述确定模块40还用于：
将所述总体分布值输入预设的评分公式，得到待验证数据集中特征数据对应的评分值；
基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，所述确定模块40还用于：
在所述评分值小于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
在所述评分值大于或等于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
进一步地，所述聚合模块30还用于：
累加各个数据块各自对应的分布值，得到所述总体分布值。
此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有特征数据的处理程序，所述特征数据的处理程序被处理器执行时实现上述各个实施例中特征数据的处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台系统设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种特征数据的处理方法，其特征在于，所述的特征数据的处理方法包括以下步骤：
对待验证数据集进行分块处理，得到预设数量的数据块；
利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
2.如权利要求1所述的特征数据的处理方法，其特征在于，所述对待验证数据集进行分块处理，得到预设数量的数据块的步骤之前，还包括：
将预设的样本集输入预测模型，生成所述样本集对应的预测概率；
将所述样本集中的特征数据和所述预测概率作为所述待验证数据集。
3.如权利要求1所述的特征数据的处理方法，其特征在于，所述利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值的步骤包括：
利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值，其中，所述数据对为特征数据和预测概率的组合。
4.如权利要求3所述的特征数据的处理方法，其特征在于，所述数据块包括多组数据对，将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值的步骤包括：
将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
5.如权利要求1所述的特征数据的处理方法，其特征在于，所述基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果的步骤包括：
将所述总体分布值输入预设的评分公式，得到待验证数据集中特征数据对应的评分值；
基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果。
6.如权利要求5所述的特征数据的处理方法，其特征在于，所述基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果的步骤包括：
在所述评分值小于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
在所述评分值大于或等于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
7.如权利要求1-6中任一项所述的特征数据的处理方法，其特征在于，所述对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值的步骤包括：
累加各个数据块各自对应的分布值，得到所述总体分布值。
8.一种特征数据的处理装置，其特征在于，所述特征数据的处理装置包括：
分块模块，用于对待验证数据集进行分块处理，得到预设数量的数据块；
计算模块，用于利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
聚合模块，用于对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
确定模块，用于基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的特征数据的处理程序，所述特征数据的处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的特征数据的处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有所述特征数据的处理程序，所述特征数据的处理程序被处理器执行时实现如权利要求1至7中任一项所述的特征数据的处理方法的步骤。
CN201911077186.XA 2019-11-06 2019-11-06 特征数据的处理方法、终端、装置及可读存储介质 Active CN110880066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911077186.XA CN110880066B (zh) 2019-11-06 2019-11-06 特征数据的处理方法、终端、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911077186.XA CN110880066B (zh) 2019-11-06 2019-11-06 特征数据的处理方法、终端、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN110880066A true CN110880066A (zh) 2020-03-13
CN110880066B CN110880066B (zh) 2023-12-05

Family

ID=69729236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911077186.XA Active CN110880066B (zh) 2019-11-06 2019-11-06 特征数据的处理方法、终端、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN110880066B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183368A (zh) * 2007-12-06 2008-05-21 华南理工大学 联机分析处理中分布式计算及查询海量数据的方法和系统
US20140244604A1 (en) * 2013-02-28 2014-08-28 Microsoft Corporation Predicting data compressibility using data entropy estimation
CN105184368A (zh) * 2015-09-07 2015-12-23 中国科学院深圳先进技术研究院 一种分布式极限学习机优化集成框架方法系统及方法
CN108600321A (zh) * 2018-03-26 2018-09-28 中国科学院计算技术研究所 一种基于分布式内存云的图数据存储方法和系统
CN108763963A (zh) * 2018-06-12 2018-11-06 北京奇虎科技有限公司 基于数据访问权限的分布式处理方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183368A (zh) * 2007-12-06 2008-05-21 华南理工大学 联机分析处理中分布式计算及查询海量数据的方法和系统
US20140244604A1 (en) * 2013-02-28 2014-08-28 Microsoft Corporation Predicting data compressibility using data entropy estimation
CN105184368A (zh) * 2015-09-07 2015-12-23 中国科学院深圳先进技术研究院 一种分布式极限学习机优化集成框架方法系统及方法
CN108600321A (zh) * 2018-03-26 2018-09-28 中国科学院计算技术研究所 一种基于分布式内存云的图数据存储方法和系统
CN108763963A (zh) * 2018-06-12 2018-11-06 北京奇虎科技有限公司 基于数据访问权限的分布式处理方法、装置及系统

Also Published As

Publication number Publication date
CN110880066B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
US10021123B2 (en) Customized network traffic models to detect application anomalies
CN112767366A (zh) 基于深度学习的图像识别方法、装置、设备及存储介质
CN110264093B (zh) 信用模型的建立方法、装置、设备及可读存储介质
CN110825611A (zh) 异常程序的分析方法及装置和计算机可读存储介质
WO2021090771A1 (en) Method, apparatus and system for training a neural network, and storage medium storing instructions
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN114170688B (zh) 人物交互关系识别方法、装置、电子设备
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN111210071A (zh) 业务对象预测方法、装置、设备及可读存储介质
CN111476144B (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN110392115B (zh) 区块链节点管理方法、装置和可读存储介质
CN110766168A (zh) 数据处理方法、终端、装置及存储介质
CN112381224A (zh) 神经网络训练方法、装置、设备及计算机可读存储介质
CN110880066B (zh) 特征数据的处理方法、终端、装置及可读存储介质
CN113537169B (zh) 手势识别方法、设备、存储介质和计算机程序产品
CN116522834A (zh) 时延预测方法、装置、设备及存储介质
CN115629930A (zh) 基于dsp系统的故障检测方法、装置、设备及存储介质
CN110751347A (zh) 特征数据处理方法、终端、装置及可读存储介质
CN108009393B (zh) 数据处理方法、装置及计算机可读存储介质
CN114821173A (zh) 图像分类方法、装置、设备及存储介质
CN114581230A (zh) 流式图中的洗钱行为检测方法、装置、介质
CN109685069B (zh) 图像检测方法、装置及计算机可读存储介质
CN111325357A (zh) 机器学习建模方法、装置、设备及计算机可读存储介质
CN111353602A (zh) 特征衍生方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant