CN110880066B - 特征数据的处理方法、终端、装置及可读存储介质 - Google Patents
特征数据的处理方法、终端、装置及可读存储介质 Download PDFInfo
- Publication number
- CN110880066B CN110880066B CN201911077186.XA CN201911077186A CN110880066B CN 110880066 B CN110880066 B CN 110880066B CN 201911077186 A CN201911077186 A CN 201911077186A CN 110880066 B CN110880066 B CN 110880066B
- Authority
- CN
- China
- Prior art keywords
- data
- verified
- scoring
- value
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000004220 aggregation Methods 0.000 claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims abstract description 11
- 238000007477 logistic regression Methods 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种特征数据的处理方法，包括以下步骤：对待验证数据集进行分块处理，得到预设数量的数据块，利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值，对所述各个数据块各自对应的分布值进行聚合处理，得到待验证数据集对应的总体分布值，基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评价结果。本发明还公开了一种装置、终端及可读存储介质。在计算特征值的评分数据时，与单机处理相比，本申请的分布式计算方式提升了计算速度，且在样本集较大时，进一步提升了特征数据的处理效率。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种特征数据的处理方法、终端、装置及可读存储介质。
背景技术
当前越来越多的领域开始使用机器学习技术，机器学习模型的准确性和鲁棒性至关重要，这需要大量优质数据集进行训练。
由于逻辑回归模型具有良好的可解释，金融风控、医疗模型等要求可解释的场景通常会使用逻辑回归模型建模。样本集包括特征数据和特征数据对应的目标数据，其中，特征值的评分数据是评价已进入逻辑回归模型的特征是否有效的重要量化指标，目前，评分数据主要是单机数据处理。然而，单机内存有限，若样本集较大时，采用单机确定评分数据，会造成评分数据的处理速度较慢，从而导致特征数据的处理效率较低。
发明内容
本发明的主要目的在于提供一种特征数据的处理方法、终端、装置及可读存储介质，旨在解决样本数量较大时，由于样本集超过单机内存限制导致无法计算评分数据，使特征数据的处理效率较低的技术问题。
为实现上述目的，本发明提供一种特征数据的处理方法，所述的特征数据的处理方法包括以下步骤：
对待验证数据集进行分块处理，得到预设数量的数据块；
利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，在一实施方式中，所述对待验证数据集进行分块处理，得到预设数量的数据块的步骤之前，还包括：
将预设的样本集输入预测模型，生成所述样本集对应的预测概率；
将所述样本集中的特征数据和所述预测概率作为所述待验证数据集。
进一步地，在一实施方式中，所述利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值的步骤包括：
利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值，其中，所述数据对为特征数据和预测概率的组合。
进一步地，在一实施方式中，所述数据块包括多组数据对，将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值的步骤包括：
将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
进一步地，在一实施方式中，所述基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果的步骤包括：
将所述总体分布值输入预设的评分公式，得到待验证数据集中特征数据对应的评分值；
基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，在一实施方式中，所述基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果的步骤包括：
在所述评分值小于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
在所述评分值大于或等于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
进一步地，在一实施方式中，所述对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值的步骤包括：
累加各个数据块各自对应的分布值，得到所述总体分布值。
进一步地，在一实施方式中，所述特征数据的处理装置包括：
分块模块，用于对待验证数据集进行分块处理，得到预设数量的数据块；
计算模块，用于利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
聚合模块，用于对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
确定模块，用于基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
此外，为实现上述目的，本发明还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的特征数据的处理程序，所述特征数据的处理程序被所述处理器执行时实现上述任一项所述的特征数据的处理方法的步骤。
此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有特征数据的处理程序，所述特征数据的处理程序被处理器执行时实现上述任一项所述的特征数据的处理方法的步骤。
本发明对待验证数据集进行分块处理，得到预设数量的数据块，而后利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值，接下来对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值，进一步基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。在计算特征值的评分数据时，与单机处理相比，本申请的分布式计算方式提升了计算速度，且在样本集较大时，进一步提升了特征数据的处理效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中终端的结构示意图；
图2为本发明特征数据的处理方法第一实施例的流程示意图；
图3为本发明特征数据的处理方法第二实施例的流程示意图；
图4为本发明特征数据的处理装置实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境中终端的结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，姿态传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及特征数据的处理程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接用户端，与用户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的特征数据的处理程序。
在本实施例中，终端包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的特征数据的处理程序，其中，处理器1001调用存储器1005中存储的特征数据的处理程序时，执行本申请各个实施例提供的特征数据的处理方法的步骤。
本发明还提供一种特征数据的处理方法，参照图2，图2为本发明特征数据的处理方法第一实施例的流程示意图。
本发明实施例提供了特征数据的处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，该特征数据的处理方法包括：
步骤S10，对待验证数据集进行分块处理，得到预设数量的数据块；
在本实施例中，对于逻辑回归模型，特征值的评分数据是评价已进入逻辑回归模型的特征是否有效的重要量化指标，根据一部分评分数据的特点，可以采用分布式计算思想，例如Wald卡方，为了便于描述，本申请以Wald卡方的计算过程进行举例说明。定义变量如下：
特征数据集：X，包括n条数据{x1,x2,...xn}，每一条数据包括k个特征值{xi1,xi2,...xik}
预测概率集：P，包含n条数据{p1,p2,...pn}；
预测模型的参数θ：是个k维的向量{θ1,θ2,...θk}；
零假设H0：Cθ＝h，C是个t*k的矩阵，h是一个k*1的向量，所有值都为0；
预测模型的Wald卡方计算公式S如下所示：
其中，Hθ的值为：
从目标模型的Wald卡方计算公式可以看出，主要计算瓶颈在计算Hθ，Hθ的计算都可以采用以行为单位的矩阵分解，对目标模型对应的Wald卡方公式进行矩阵分解如下：
根据总体分布值Hθ的特点，行与行之间的计算在乘法阶段是完全独立的，可以独立进行分布式计算，累加阶段再对每行的计算结果聚合，很方便的采用分布式计算思想。具体地，对待验证数据集进行分块处理，得到预设数量的数据块，然后分别计算每个数据块对应的分布值。
步骤S20，利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
在本实施例中，采用分布式的计算思想，预设的分布式计算公式分别在每一个数据块上进行分布式计算，然后得到各自对应的分布值。
具体地，步骤S20包括：
步骤S21，利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值，其中，所述数据对为特征数据和预测概率的组合。
具体地，步骤S21包括：将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
在本实施例中，数据对为待验证数据集中的特征数据和预测概率的组合，一个数据块中有多个数据对，将数据块的数据对输入分布式计算公式，得到各个数据对各自对应的子分布值，并分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
举例说明，子分布值为将特征数据集和预测概率代入进行计算，得到value的具体值，然后累加一个数据块中的value，得到该数据块对应的分布值。
步骤S30，对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
具体地，步骤S30包括：累加各个数据块各自对应的分布值，得到所述总体分布值。
在本实施例中，采用分布式的计算思想，预设的分布式计算公式在每一个数据块上进行分布式计算，然后得到各自对应的分布值，接下来根据各个数据块对应的分布值确定待验证数据集对应的总体分布值，用于后续计算。具体地，累加各个数据块各自对应的分布值，得到总体分布值。
步骤S40，基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
在本实施例中，将总体分布值输入到预设的评分公式，得到评分值后，进一步确定待验证数据集中特征数据对应的评分结果，其中评分结果包括两种：合格和不合格。
具体地，步骤S40包括：
步骤S41，将所述总体分布值输入预设的评分公式，得到待验证数据集中特征数据对应的评分值；
在本实施例中，将总体分布值作为输入数据，输入到预设的评分公式中，根据预设的评分公式进行相关计算，从而得到待验证数据集中特征数据对应的评分值，后续利用评分值得到评分结果。
步骤S42，基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果。
具体地，步骤S42包括：
步骤a，在所述评分值小于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
步骤b，在所述评分值大于或等于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
在本实施例中，进一步利用评分值得到评分结果，具体地，在评分值小于阈值时，确定待验证数据集中特征数据对应的评分结果为合格，在评分值大于或等于阈值时，确定待验证数据集中特征数据对应的评分结果为不合格，阈值根据实际情况确定。
可选地，还可以设定预设范围，根据评分值是否在预设范围内来确定评分结果，例如，评分值在预设范围内确定评分结果为合格，评分值不在预设范围内确定评分结果为不合格。
本实施例提出的特征数据处理方法，对待验证数据集进行分块处理，得到预设数量的数据块，而后利用分布式线程、预设的分布式计算公式和预设的似然函数，分别计算各个数据块各自对应的分布值和似然值，接下来基于所述各个数据块对应的分布值以及似然值确定所述待验证数据集对应的总体分布值及总体似然值，然后将所述总体分布值和所述总体似然值输入到预设的评分卡方公式，得到卡方值，并基于所述卡方值确定所述待验证数据集中特征数据对应的评价结果。通过卡方公式计算特征值的预测评分时，与单机处理相比，本申请的分布式计算方式提升了计算速度，尤其是样本集较大，提升了特征数据的评价效率。
基于第一实施例，参照图3，提出本发明特征数据处理方法的第二实施例，在本实施例中，步骤S10之前，还包括：
步骤S50，将预设的样本集输入预测模型，生成所述样本集对应的预测概率；
步骤S60，将所述样本集和所述预测概率作为所述待验证数据集。
在本实施例中，将样本集作为预测模型的输入，在模型输出预测值的同时输出该预测值对应的预测概率，预测概率一般是由模型本身在对输入数据进行预测时，伴随预测值附带的一个0-1之间的数值，数值越大，表示预测值的置信度越高，一般预测概率大于等于0.5表示预测结果可信度较高(超过50％的概率)，所以这是逻辑回归模型本身自带的一个数值信息，在实际应用中，对于一个数据，通过逻辑回归模型其预测为不同结果的概率大小是不一样的，选取其中预测概率最大的结果作为该数据的最终预测值，所以预测值和预测概率在模型中是伴生关系的。具体地，将预设的样本集输入预测模型，生成样本集对应的预测概率，将样本集和预测概率作为待验证数据集。
本实施例提出的特征数据处理方法，将预设的样本集输入预测模型，生成样本集对应的预测概率，将样本集和预测概率作为待验证数据集，提供了在分布式计算卡方值前的数据准备。
本发明进一步提供一种特征数据的处理装置，参照图4，图4为本发明特征数据的处理装置实施例的功能模块示意图。
分块模块10，用于对待验证数据集进行分块处理，得到预设数量的数据块；
计算模块20，用于利用分布式线程以及预设的分布式计算公式，分别计算各个数据块各自对应的分布值；
聚合模块30，用于对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
确定模块40，用于基于所述总体分布值、预设的评分公式以及阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，所述特征数据处理装置还包括：
生成模块，将预设的样本集输入预测模型，生成所述样本集对应的预测概率；
合并模块，将所述样本集中的特征数据和所述预测概率作为所述待验证数据集。
进一步地，所述计算模块20还用于：
利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值，其中，所述数据对为特征数据和预测概率的组合。
进一步地，所述计算模块20还用于：
将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
进一步地，所述确定模块40还用于：
将所述总体分布值输入预设的评分公式，得到待验证数据集中特征数据对应的评分值；
基于所述评分值以及所述阈值，确定所述待验证数据集中特征数据对应的评分结果。
进一步地，所述确定模块40还用于：
在所述评分值小于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
在所述评分值大于或等于所述阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
进一步地，所述聚合模块30还用于：
累加各个数据块各自对应的分布值，得到所述总体分布值。
此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有特征数据的处理程序，所述特征数据的处理程序被处理器执行时实现上述各个实施例中特征数据的处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台系统设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种逻辑回归模型特征数据的处理方法，其特征在于，应用于处理器，所述逻辑回归模型特征数据的处理方法包括以下步骤：
将预设的样本集输入逻辑回归模型，生成所述样本集对应的预测概率；
将所述样本集中的特征数据和所述预测概率组合成数据对，作为待验证数据集，其中，所述待验证数据集超过单机内存限制；
对所述待验证数据集进行分块处理，得到预设数量的数据块；
利用分布式线程获取各个数据块中的数据对，并基于预设的分布式计算公式，确定各个所述数据块各自对应的分布值；
对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
基于所述总体分布值及预设的评分公式，确定所述待验证数据集中特征数据对应的评分值；
基于所述评分值以及预设阈值或预设范围，确定所述待验证数据集中特征数据对应的评分结果，基于所述评分结果确定所述特征数据是否有效。
2.如权利要求1所述的特征数据的处理方法，其特征在于，所述数据块包括多组数据对，将所述数据对输入所述分布式计算公式，得到各个数据块各自对应的分布值的步骤包括：
将数据块的所有数据对输入分布式计算公式，得到各个数据对各自对应的子分布值；
分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值。
3.如权利要求1所述的特征数据的处理方法，其特征在于，所述基于所述评分值以及预设阈值，确定所述待验证数据集中特征数据对应的评分结果的步骤包括：
在所述评分值小于预设阈值时，确定所述待验证数据集中特征数据对应的评分结果为合格；
在所述评分值大于或等于预设阈值时，确定所述待验证数据集中特征数据对应的评分结果为不合格。
4.如权利要求1-3中任一项所述的特征数据的处理方法，其特征在于，所述对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值的步骤包括：
累加各个数据块各自对应的分布值，得到所述总体分布值。
5.一种特征数据的处理装置，其特征在于，应用于处理器，所述特征数据的处理装置包括：
生成模块，用于将预设的样本集输入逻辑回归模型，生成所述样本集对应的预测概率；
数据集确定模块，用于将所述样本集中的特征数据和所述预测概率组合成数据对，作为待验证数据集，其中，所述待验证数据集超过单机内存限制；
分块模块，用于对所述待验证数据集进行分块处理，得到预设数量的数据块；
分布值确定模块，用于利用分布式线程获取各个数据块中的数据对，并基于预设的分布式计算公式，确定各个数据块各自对应的分布值；
聚合模块，用于对所述各个数据块各自对应的分布值进行聚合处理，得到所述待验证数据集对应的总体分布值；
评分值确定模块，用于基于所述总体分布值及预设的评分公式，确定所述待验证数据集中特征数据对应的评分值；
评分结果确定模块，用于基于所述评分值以及预设阈值或预设范围，确定所述待验证数据集中特征数据对应的评分结果，基于所述评分结果确定所述特征数据是否有效。
6.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的特征数据的处理程序，所述特征数据的处理程序被所述处理器执行时实现如权利要求1至4中任一项所述的特征数据的处理方法的步骤。
7.一种可读存储介质，其特征在于，所述可读存储介质上存储有所述特征数据的处理程序，所述特征数据的处理程序被处理器执行时实现如权利要求1至4中任一项所述的特征数据的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911077186.XA CN110880066B (zh) | 2019-11-06 | 2019-11-06 | 特征数据的处理方法、终端、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911077186.XA CN110880066B (zh) | 2019-11-06 | 2019-11-06 | 特征数据的处理方法、终端、装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110880066A CN110880066A (zh) | 2020-03-13 |
| CN110880066B true CN110880066B (zh) | 2023-12-05 |
Family
ID=69729236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911077186.XA Active CN110880066B (zh) | 2019-11-06 | 2019-11-06 | 特征数据的处理方法、终端、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110880066B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183368A (zh) * | 2007-12-06 | 2008-05-21 | 华南理工大学 | 联机分析处理中分布式计算及查询海量数据的方法和系统 |
| CN105184368A (zh) * | 2015-09-07 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种分布式极限学习机优化集成框架方法系统及方法 |
| CN108600321A (zh) * | 2018-03-26 | 2018-09-28 | 中国科学院计算技术研究所 | 一种基于分布式内存云的图数据存储方法和系统 |
| CN108763963A (zh) * | 2018-06-12 | 2018-11-06 | 北京奇虎科技有限公司 | 基于数据访问权限的分布式处理方法、装置及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140244604A1 (en) * | 2013-02-28 | 2014-08-28 | Microsoft Corporation | Predicting data compressibility using data entropy estimation |
-
2019
- 2019-11-06 CN CN201911077186.XA patent/CN110880066B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183368A (zh) * | 2007-12-06 | 2008-05-21 | 华南理工大学 | 联机分析处理中分布式计算及查询海量数据的方法和系统 |
| CN105184368A (zh) * | 2015-09-07 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种分布式极限学习机优化集成框架方法系统及方法 |
| CN108600321A (zh) * | 2018-03-26 | 2018-09-28 | 中国科学院计算技术研究所 | 一种基于分布式内存云的图数据存储方法和系统 |
| CN108763963A (zh) * | 2018-06-12 | 2018-11-06 | 北京奇虎科技有限公司 | 基于数据访问权限的分布式处理方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110880066A (zh) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919251B (zh) | 一种基于图像的目标检测方法、模型训练的方法及装置 | |
| CN111476306B (zh) | 基于人工智能的物体检测方法、装置、设备及存储介质 | |
| US10007866B2 (en) | Neural network image classifier | |
| CN111813532B (zh) | 一种基于多任务机器学习模型的图像管理方法及装置 | |
| CN110738211A (zh) | 一种对象检测的方法、相关装置以及设备 | |
| US20220366259A1 (en) | Method, apparatus and system for training a neural network, and storage medium storing instructions | |
| CN110264093B (zh) | 信用模型的建立方法、装置、设备及可读存储介质 | |
| CN114722937B (zh) | 一种异常数据检测方法、装置、电子设备和存储介质 | |
| CN112084959B (zh) | 一种人群图像处理方法及装置 | |
| CN114092920B (zh) | 一种模型训练的方法、图像分类的方法、装置及存储介质 | |
| US20220414474A1 (en) | Search method, electronic device and storage medium based on neural network model | |
| CN110825611A (zh) | 异常程序的分析方法及装置和计算机可读存储介质 | |
| CN111046742B (zh) | 一种眼部行为检测方法、装置以及存储介质 | |
| CN115131604A (zh) | 一种多标签图像分类方法、装置、电子设备及存储介质 | |
| CN114170688B (zh) | 人物交互关系识别方法、装置、电子设备 | |
| CN117726862A (zh) | 应用于工业检测的模型训练方法、装置及存储介质 | |
| CN117115596B (zh) | 对象动作分类模型的训练方法、装置、设备及介质 | |
| CN111476144B (zh) | 行人属性识别模型确定方法、装置及计算机可读存储介质 | |
| CN110880066B (zh) | 特征数据的处理方法、终端、装置及可读存储介质 | |
| CN110766168A (zh) | 数据处理方法、终端、装置及存储介质 | |
| CN110852261A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
| CN114581230A (zh) | 流式图中的洗钱行为检测方法、装置、介质 | |
| CN111862015B (zh) | 一种图像质量等级确定方法、装置及电子设备 | |
| CN110751347A (zh) | 特征数据处理方法、终端、装置及可读存储介质 | |
| CN108009393B (zh) | 数据处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |