CN111325463A - 数据质量检测方法、装置、设备及计算机可读存储介质 - Google Patents
数据质量检测方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111325463A CN111325463A CN202010099927.0A CN202010099927A CN111325463A CN 111325463 A CN111325463 A CN 111325463A CN 202010099927 A CN202010099927 A CN 202010099927A CN 111325463 A CN111325463 A CN 111325463A
- Authority
- CN
- China
- Prior art keywords
- early warning
- data
- quality detection
- service
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 168
- 238000010801 machine learning Methods 0.000 claims abstract description 56
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Strategic Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及金融科技领域，并公开了一种基于机器学习的数据质量检测方法、装置、设备和计算机可读存储介质。所述方法包括如下步骤：获取历史业务数据，根据所述历史业务数据构建预警模型；在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。本发明提高了数据质量检测的效率，减少了数据质量检测过程中人力资源的浪费。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及数据质量检测方法、装置、设备及计算机可读存储介质。
背景技术
近年来，互联网金融科技(Fintech)的飞速发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域。
金融业务的数据量和业务量指数增长，为了保证数据质量通常需要对金融业务数据进行数据质量检测和预警，当前对金融业务数据质量检测及预警时，首先需要数据测试人员配置具体数据信息，然后根据数据测试人员经验，配置预警规则；若数据测试人员配置的规则无效，还需要数据测试人员手动进行配置修改，直至最终得出数据质量情况及数据预警；当前的这种数据质量检测的方法需要人工手动配置，大数据场景常涉及海量数据字段，配置工作繁琐且工作量大，同时数据质量检测时预警规则配置依赖业务经验及数据理解，需对历史数据进行大量的数据分析，这要求数据测试人员具有较高的专业水平，这导致数据质量检测过程中人力资源浪费严重，此外，若出现大量无效告警时，对告警进行收敛需要修改大量告警配置，导致数据质量检测的周期长。
发明内容
本发明的主要目的在于提出一种基于机器学习的数据质量检测方法、装置、设备及计算机可读存储介质，旨在通过灵活调整测试任务的数量，提高了数据质量检测的效率，减少了数据质量检测过程中人力资源的浪费。
为实现上述目的，本发明提供一种基于机器学习的数据质量检测方法，所述基于机器学习的数据质量检测方法包括如下步骤：
获取历史业务数据，根据所述历史业务数据构建预警模型；
在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；
将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；
若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。
在一实施例中，所述获取历史业务数据，根据所述历史业务数据构建预警模型的步骤，包括：
获取历史业务数据，随机抽取预设数量的历史业务数据作为根节点；
在所述根节点中随机产生一个第一切割点，其中，所述第一切割点在所述根节点的最大值和最小值之间；
以所述第一切割点生成了一个超平面，通过所述超平面将所述预设数量的历史业务数据中小于所述第一切割点的第一历史业务数据划分为左叶子节点，将大于或等于所述第一切割点的第二历史业务数据划分为右叶子节点；
获取划分所述超平面的最近分隔函数，在所述叶子节点中随机产生一个第二切割点，构造新的叶子节点，训练所述最近分隔函数；
若所述叶子节点中只有一个历史业务数据和/或所述叶子节点已到达预设层数，则将训练得到的最近分隔函数作为预警模型。
在一实施例中，所述获取历史业务数据，根据所述历史业务数据构建预警模型的步骤，包括：
获取历史业务数据，根据所述历史业务数据的类型对所述历史业务数据进行分类，获得历史业务数据子集；
根据所述历史业务数据子集分别构建预警子模型，将所述预警子模型封装得到预警模型。
在一实施例中，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值的步骤，包括：
将所述业务场景标识输入至所述预警模型，通过所述预警模型获取所述业务场景标识对应的样本数据；
通过所述预警模型对所述样本数据进行处理，获得所述样本数据的数据特征；
获取所述数据特征关联的预设阈值作为所述业务场景标识的预警阈值。
在一实施例中，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值的步骤，包括：
将所述业务场景标识输入至所述预警模型，所述预警模型根据所述业务场景标识选择预警子模型；
通过所述预警子模型处理所述业务数据，获得所述业务场景标识对应的预警阈值。
在一实施例中，所述若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息的步骤之后，包括：
接收异常分析请求，计算所述预警阈值与所述异常的业务数据之间的相对比例；
获取所述相对比例关联的业务异常信息，并将所述业务异常信息发送至所述业务场景标识关联的预设终端；
在接收所述预设终端发送的删除指令时，将所述业务数据作为样本数据输入至所述预警模型；
通过所述样本数据训练所述预警模型，得到更新后的预警模型。
在一实施例中，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对的步骤之后，包括：
若所述业务数据小于或等于所述预警阈值，则将所述业务数据作为样本数据输入至所述预警模型；
通过所述样本数据训练所述预警模型，得到更新后的预警模型。
此外，为实现上述目的，本发明还提供一种基于机器学习的数据质量检测装置，所述基于机器学习的数据质量检测装置包括：
获取构建模块，用于获取历史业务数据，根据所述历史业务数据构建预警模型；
接收确定模块，用于在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；
生成比对模块，用于将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；
提示输出模块，用于若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。
此外，为实现上述目的，本发明还提供一种基于机器学习的数据质量检测设备，所述基于机器学习的数据质量检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于机器学习的数据质量检测对应的计算机程序，所述基于机器学习的数据质量检测对应的计算机程序被所述处理器执行时实现如上所述的基于机器学习的数据质量检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于机器学习的数据质量检测对应的计算机程序，所述基于机器学习的数据质量检测对应的计算机程序被处理器执行时实现如上所述的基于机器学习的数据质量检测方法的步骤。
本发明提供一种基于机器学习的数据质量检测方法、装置、设备及计算机可读存储介质，本发明本实施例中通过获取历史业务数据，根据所述历史业务数据构建预警模型；在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息；本发明实施例中基于机器学习自动构建预警模型，然后利用预警模型生成数据质量检测的预警阈值，通过将业务数据与预警阈值进行比较，从而进行数据质量检测及数据预警，这样的数据质量检测方法减少数据测试人员繁琐配置及分析操作，从而提高了数据质量检测的效率，减少了数据质量检测过程中人力资源的浪费。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明基于机器学习的数据质量检测方法第一实施例的流程示意图；
图3为本发明基于机器学习的数据质量检测方法第三实施例的流程示意图；
图4为本发明基于机器学习的数据质量检测装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例基于机器学习的数据质量检测设备可以是PC机或服务器设备，如图1所示，该基于机器学习的数据质量检测设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作网络通信模块、用户接口模块以及基于机器学习的数据质量检测对应的计算机程序。
在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于机器学习的数据质量检测对应的计算机程序，并执行下述基于机器学习的数据质量检测方法中的操作。
基于上述硬件结构，提出本发明基于机器学习的数据质量检测方法实施例。
参照图2，图2为本发明基于机器学习的数据质量检测方法第一实施例的流程示意图，在本实施例中所述基于机器学习的数据质量检测方法包括：
步骤S10，获取历史业务数据，根据所述历史业务数据构建预警模型。
本实施例中基于机器学习的数据质量检测方法应用于金融行业的金融机构(银行机构、保险机构、证券机构等)中的数据质量检测设备。
数据质量检测设备中预先设置预警模型，预警模型是通过机器学习得到的，即，数据质量检测设备获取历史业务数据，数据质量检测设备根据历史业务数据构建预警模型。具体地，用户根据历史业务数据，自动进行少量的数据预警规则配置，数据质量检测设备获取历史业务数据和配置的数据预警规则，数据质量检测设备根据历史业务数据和配置的数据预警规则进行训练生成预警模型。
比如，用户标记销售xxx产品的业务数据异常，数据质量检测设备获取用户的标记信息，数据质量检测设备获取预设时间段(预设时间段根据具体场景灵活设置，例如，预设时间段可以设置为1个月或者1个星期)的历史业务数据，数据质量检测设备自动统计预设时间段历史业务数据的最大值、最小值、求和值，数据质量检测设备从这些数据中抽取部分样本数据，数据质量检测设备根据样本数据和用户的标记信息通过孤独森林算法进行初始化建模，在得到初始模型之后，数据质量检测设备进行迭代训练，生成数据质量检测使用的预警模型。
本实施例中，数据质量检测设备根据历史业务数据构建预警模型，这样基于机器学习自动构建预警模型，从而进行大数据质量检测及数据预警，减少业务人员繁琐配置及分析操作。
本实施中训练预警模型，通过预警模型进行数据质量监测，减少了数据质量检测过程中人力资源的浪费，具体地：
步骤S20，在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据。
数据质量检测设备接收数据质量检测请求，数据质量检测请求的触发方式不作具体限定，即，数据质量检测请求可以是用户主动触发的，例如，用户在数据质量检测设备上点击“数据质量检测”按键触发数据质量检测请求；或者数据质量检测请求还可以是数据质量检测设备自动触发的，例如，数据质量检测设备中预设每月1日自动触发触发数据质量检测请求，数据质量检测设备在检测到符合预设的数据质量检测条件时，自动触发数据质量检测请求。
数据质量检测设备在接收数据质量检测请求时，数据质量检测设备确定需要进行数据质量检测的业务场景标识(业务场景标识是指识别业务场景的标识信息，例如，业务场景标识可以是编号01产品销售场景)，数据质量检测设备查询预设数据表，预设数据表是指业务场景标识与业务数据映射表；数据质量检测设备获取业务场景标识对应的业务数据，本实施例中的业务数据可以是产品销量、产品销售价格等。
步骤S30，将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对。
数据质量检测设备将业务场景标识输入至预警模型，预警模型获得业务场景标识对应的预警阈值，即，数据质量检测设备会根据业务场景标识选择样本数据进行处理，生成预警阈值。
本实施例中预警模型生成预警阈值的方式不作具体限定：
实现方式一：
步骤a1，将所述业务场景标识输入至所述预警模型，通过所述预警模型获取所述业务场景标识对应的样本数据；
步骤a2，通过所述预警模型对所述样本数据进行处理，获得所述样本数据的数据特征；
步骤a3，获取所述数据特征关联的预设阈值作为所述业务场景标识的预警阈值。
本实施例中数据质量检测设备将业务场景标识输入至预警模型，预警模型获取业务场景标识对应的样本数据(样本数据可以是历史业务数据，还可以按照数据变化规则调整后的历史业务数据)；数据质量检测设备中预警模型将样本数据进行清洗去除无效样本数据，然后预警模型对剩余的样本数据进行分类统计等处理，获得样本数据的数据特征；数据质量检测设备中预先配置数据特征与预设阈值的映射表，数据质量检测设备获取数据特征关联的预设阈值作为业务场景标识的预警阈值。
实现方式二：
步骤b1，将所述业务场景标识输入至所述预警模型，所述预警模型根据所述业务场景标识选择预警子模型；
步骤b2，通过所述预警子模型处理所述业务数据，获得所述业务场景标识对应的预警阈值。
即，数据质量检测设备将业务场景标识输入至预警模型，预警模型根据业务场景标识选择预警子模型；数据质量检测设备通过预警子模型处理业务场景标识对应的业务数据，获得业务场景标识对应的预警阈值。本实施例中预警模型中包含多个预警子模型，通过预警模型直接处理业务数据，获取预警阈值这样在保证预警模型训练量最小的情况下，还可以保证数据质量检测的准确性。
数据质量检测设备获得业务场景标识对应的预警阈值之后，数据质量检测设备将业务数据与预警阈值进行比对，以根据业务数据与预警阈值的比对结果，判断是否进行预警，具体地：
步骤S40，若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。
若业务数据大于预警阈值，数据质量检测设备判定数据质量检测不通过，数据质量检测设备输出业务数据异常的提示信息，反之，若业务数据小于或等于预警阈值，数据质量检测设备判定数据质量检测通过，数据质量检测设备输出业务数据正常的提示信息。
本实施例中基于机器学习自动构建预警模型，然后利用预警模型生成数据质量检测的预警阈值，通过将业务数据与预警阈值进行比较，从而进行数据质量检测及数据预警，这样的数据质量检测方法减少数据测试人员繁琐配置及分析操作，从而提高了数据质量检测的效率，减少了数据质量检测过程中人力资源的浪费，同时使得数据质量检测的结果更加准确。在银行机构等金融机构内采用上述基于机器学习的数据质量检测方式，提高了金融业务数据分析的时效性，使得金融机构可以更加高效地处理金融业务，更加符合银行机构等金融机构的需求。
进一步地，基于本发明基于机器学习的数据质量检测方法第一实施例，提出本发明基于机器学习的数据质量检测方法第二实施例。
本实施例是第一实施例中步骤S10的细化，本实施例中给出了两种预警模型训练的具体实现方式，包括：
预警模型训练的实现方式一：
获取历史业务数据，随机抽取预设数量的历史业务数据作为根节点；
在所述根节点中随机产生一个第一切割点，其中，所述第一切割点在所述根节点的最大值和最小值之间；
以所述第一切割点生成了一个超平面，通过所述超平面将所述预设数量的历史业务数据中小于所述第一切割点的第一历史业务数据划分为左叶子节点，将大于或等于所述第一切割点的第二历史业务数据划分为右叶子节点；
获取划分所述超平面的最近分隔函数，在所述叶子节点中随机产生一个第二切割点，构造新的叶子节点，训练所述最近分隔函数；
若所述叶子节点中只有一个历史业务数据和/或所述叶子节点已到达预设层数，则将训练得到的最近分隔函数作为预警模型。
即，本实施例中数据质量检测设备采用孤立森林算法实现预警模型构建，过程如下：数据质量检测设备获取历史业务数据，数据质量检测设备从历史业务数据中随机抽取预设数量(预设数量可以根据具体场景设置，例如预设数据设置为总数据量的10％)的历史业务数据作为根节点；数据质量检测设备在根节点中随机产生一个第一切割点，第一切割点在根节点的最大值和最小值之间；数据质量检测设备以第一切割点生成了一个超平面，然后，数据质量检测模型通过超平面将预设数量的历史业务数据中小于第一切割点的第一历史业务数据划分为左叶子节点，将大于或等于第一切割点的第二历史业务数据划分为右叶子节点；数据质量检测设备获取划分超平面的最近分隔函数，数据质量检测设备在各个叶子节点中随机产生一个第二切割点，构造新的叶子节点，这样训练最近分隔函数；数据质量检测设备实时地检测叶子节点的数量和/或叶子节点的层数；若叶子节点中只有一个历史业务数据和/或叶子节点已到达预设层数(预设层数根据具体场景设置例如设置为10层)，数据质量检测设备则将训练得到的最近分隔函数作为预警模型。
例如：
c1:随机抽取最近半年数据作为树的根节点；
c2:在当前节点数据中随机产生一个切割点p——切割点产生于当前节点数据中指定维度的最大值和最小值之间；
c3:以此切割点生成了一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度中小于p的数据放在当前节点的左叶子，把大于等于p的数据放在当前节点的右叶子；
c4:在叶子节点中递归步骤c2和c3，不断构造新的叶子节点，直到叶子节点中只有一个数据(无法再继续切割)或叶子节点已到达限定高度。
本实施例中基于机器学习的进行预警模型构建，减少了数据测试人员进行数据分析的过程，有效提高了后期进行数据质量检测的效率，同时使得数据质量检测分析更加准确。
预警模型训练的实现方式二：
获取历史业务数据，根据所述历史业务数据的类型对所述历史业务数据进行分类，获得历史业务数据子集；
根据所述历史业务数据子集分别构建预警子模型，将所述预警子模型封装得到预警模型。
数据质量检测设备获取历史业务数据，数据质量检测设备根据历史业务数据的类型对所述历史业务数据进行分类，获得不同类型的历史业务数据子集；数据质量检测设备根据历史业务数据子集分别构建预警子模型，可以理解的是历史业务数据子集分别构建预警子模型的具体实现方式与直接利用数历史业务数据构建模型的方式相同，本实施例中不作赘述，此外，本实施例中将历史业务数据根据数据类型进行分类构建预警子模型，可以使得数据分析量最少，数据质量检测设备将不同类型历史业务数据训练得到的预警子模型封装得到预警模型。
本实施例中数据质量检测模型根据数据类型生成不同的预警子模型，然后将预警子模型进行数据封装得到预警模型；这样可以减少预警模型的构建时间，同时保证训练得到的预警模型进行数据质量检测得到的结果更加准确。
进一步地，参照图3，基于本发明基于机器学习的数据质量检测方法上述实施例，提出本发明基于机器学习的数据质量检测方法第三实施例。
本实施例是第一实施例中步骤S40之后的步骤，本实施例与上述实施例的区别在于：
步骤S50，接收异常分析请求，计算所述预警阈值与所述异常的业务数据之间的相对比例；
数据质量检测设备输出业务数据异常的提示信息之后，数据质量检测设备判断是否接收到异常分析请求，异常分析请求的触发方式不作具体限定，若数据质量检测设备接收到异常分析请求，数据质量检测设备则计算预警阈值与异常的业务数据之间的相对比例，以根据相对比例确定业务数据异常的因素。
步骤S60，获取所述相对比例关联的业务异常信息，并将所述业务异常信息发送至所述业务场景标识关联的预设终端；
数据质量检测设备中设置有不同相对比例与业务异常信息的映射关系，数据质量检测设备获取计算得到的相对比例关联的业务异常信息，数据质量检测设备将业务异常信息发送至业务场景标识关联的预设终端，以使持有预设终端的数据测试人员进行查看；若数据测试人员判定业务数据异常，可以根据业务数据进行业务调整，若数据测试人员确定业务数据正常，数据测试人员则基于预设终端向数据质量检测设备发送删除指令。
步骤S70，在接收所述预设终端发送的删除指令时，将所述业务数据作为样本数据输入至所述预警模型，通过所述样本数据训练所述预警模型，得到更新后的预警模型。
数据质量检测设备在接收预设终端发送的删除指令时，数据质量检测设备判定预警模型生成的预警阈值不准确，此时，数据质量检测设备对预警模型进行更新，即，数据质量检测设备将业务数据作为样本数据输入至预警模型，通过样本数据训练预警模型，得到更新后的预警模型。
本实施例中数据质量检测设备输出业务数据异常的业务异常信息，将业务异常信息发送至业务场景标识关联的预设终端，本实施例中减少了人工数据分析的过程，同时在确认预警错误时，还可以将业务数据作为样本数据输入至预警模型，通过样本数据训练预警模型，得到更新后的预警模型，这样通过更新预警模型，以有效保证数据质量检测分析的准确性。
进一步地，基于本发明基于机器学习的数据质量检测方法上述实施例，提出本发明基于机器学习的数据质量检测方法第四实施例。
本实施例是第一实施例中步骤S30之后的步骤，本实施例与上述实施例的区别在于：
若所述业务数据小于或等于所述预警阈值，则将所述业务数据作为样本数据输入至所述预警模型；
通过所述样本数据训练所述预警模型，得到更新后的预警模型。
本实施例中若业务数据小于或等于预警阈值，数据质量检测设备判定数据质量检测通过，数据质量检测设备则将业务数据作为样本数据输入至预警模型；数据质量检测设备通过样本数据训练预警模型，得到更新后的预警模型。这样通过更新预警模型，以有效保证数据分析准确性。
参照图4，本发明还提供一种基于机器学习的数据质量检测装置，所述基于机器学习的数据质量检测装置包括：
获取构建模块10，用于获取历史业务数据，根据所述历史业务数据构建预警模型；
接收确定模块20，用于在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；
生成比对模块30，用于将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；
提示输出模块40，用于若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。
在一实施例中，所述获取构建模块10，包括：
获取抽取单元，用于获取历史业务数据，随机抽取预设数量的历史业务数据作为根节点；
切割点确定单元，用于在所述根节点中随机产生一个第一切割点，其中，所述第一切割点在所述根节点的最大值和最小值之间；
节点划分单元，用于以所述第一切割点生成了一个超平面，通过所述超平面将所述预设数量的历史业务数据中小于所述第一切割点的第一历史业务数据划分为左叶子节点，将大于或等于所述第一切割点的第二历史业务数据划分为右叶子节点；
模型训练单元，用于获取划分所述超平面的最近分隔函数，在所述叶子节点中随机产生一个第二切割点，构造新的叶子节点，训练所述最近分隔函数；
模型确定单元，用于若所述叶子节点中只有一个历史业务数据和/或所述叶子节点已到达预设层数，则将训练得到的最近分隔函数作为预警模型。
在一实施例中，所述获取构建模块10，包括：
数据划分单元，用于获取历史业务数据，根据所述历史业务数据的类型对所述历史业务数据进行分类，获得历史业务数据子集；
模型封装单元，用于根据所述历史业务数据子集分别构建预警子模型，将所述预警子模型封装得到预警模型。
在一实施例中，所述生成比对模块30，包括：
数据输入单元，用于将所述业务场景标识输入至所述预警模型，通过所述预警模型获取所述业务场景标识对应的样本数据；
数据处理单元，用于通过所述预警模型对所述样本数据进行处理，获得所述样本数据的数据特征；
阈值配置单元，用于获取所述数据特征关联的预设阈值作为所述业务场景标识的预警阈值。
在一实施例中，所述生成比对模块30，包括：
模型选择单元，用于将所述业务场景标识输入至所述预警模型，所述预警模型根据所述业务场景标识选择预警子模型；
阈值生成单元，用于通过所述预警子模型处理所述业务数据，获得所述业务场景标识对应的预警阈值。
在一实施例中，所述基于机器学习的数据质量检测装置，包括：
请求接收模块，用于接收异常分析请求，计算所述预警阈值与所述异常的业务数据之间的相对比例；
获取发送模块，用于获取所述相对比例关联的业务异常信息，并将所述业务异常信息发送至所述业务场景标识关联的预设终端；
数据输入模块，用于在接收所述预设终端发送的删除指令时，将所述业务数据作为样本数据输入至所述预警模型；
模型更新模块，用于通过所述样本数据训练所述预警模型，得到更新后的预警模型。
在一实施例中，所述基于机器学习的数据质量检测装置，包括：
数据输出模块，用于若所述业务数据小于或等于所述预警阈值，则将所述业务数据作为样本数据输入至所述预警模型；
数据更新模块，用于通过所述样本数据训练所述预警模型，得到更新后的预警模型。
其中，在所述处基于机器学习的数据质量检测装置被执行时所实现的方法可参照本发明基于机器学习的数据质量检测方法各个实施例，此处不再赘述。
本实施例中数据质量检测装置基于机器学习自动构建预警模型，然后利用预警模型生成数据质量检测的预警阈值，通过将业务数据与预警阈值进行比较，从而进行数据质量检测及数据预警，这样的数据质量检测方法减少数据测试人员繁琐配置及分析操作，从而提高了数据质量检测的效率，减少了数据质量检测过程中人力资源的浪费。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有基于机器学习的数据质量检测对应的计算机程序，所述基于机器学习的数据质量检测对应的计算机程序被处理器执行时实现如上所述的基于机器学习的数据质量检测方法的步骤。
其中，在所述处理器上运行的基于机器学习的数据质量检测对应的计算机程序被执行时所实现的方法可参照本发明基于机器学习的数据质量检测方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于机器学习的数据质量检测方法，其特征在于，所述基于机器学习的数据质量检测方法包括如下步骤：
获取历史业务数据，根据所述历史业务数据构建预警模型；
在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；
将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；
若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。
2.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述获取历史业务数据，根据所述历史业务数据构建预警模型的步骤，包括：
获取历史业务数据，随机抽取预设数量的历史业务数据作为根节点；
在所述根节点中随机产生一个第一切割点，其中，所述第一切割点在所述根节点的最大值和最小值之间；
以所述第一切割点生成了一个超平面，通过所述超平面将所述预设数量的历史业务数据中小于所述第一切割点的第一历史业务数据划分为左叶子节点，将大于或等于所述第一切割点的第二历史业务数据划分为右叶子节点；
获取划分所述超平面的最近分隔函数，在所述叶子节点中随机产生一个第二切割点，构造新的叶子节点，训练所述最近分隔函数；
若所述叶子节点中只有一个历史业务数据和/或所述叶子节点已到达预设层数，则将训练得到的最近分隔函数作为预警模型。
3.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述获取历史业务数据，根据所述历史业务数据构建预警模型的步骤，包括：
获取历史业务数据，根据所述历史业务数据的类型对所述历史业务数据进行分类，获得历史业务数据子集；
根据所述历史业务数据子集分别构建预警子模型，将所述预警子模型封装得到预警模型。
4.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值的步骤，包括：
将所述业务场景标识输入至所述预警模型，通过所述预警模型获取所述业务场景标识对应的样本数据；
通过所述预警模型对所述样本数据进行处理，获得所述样本数据的数据特征；
获取所述数据特征关联的预设阈值作为所述业务场景标识的预警阈值。
5.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值的步骤，包括：
将所述业务场景标识输入至所述预警模型，所述预警模型根据所述业务场景标识选择预警子模型；
通过所述预警子模型处理所述业务数据，获得所述业务场景标识对应的预警阈值。
6.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息的步骤之后，包括：
接收异常分析请求，计算所述预警阈值与所述异常的业务数据之间的相对比例；
获取所述相对比例关联的业务异常信息，并将所述业务异常信息发送至所述业务场景标识关联的预设终端；
在接收所述预设终端发送的删除指令时，将所述业务数据作为样本数据输入至所述预警模型；
通过所述样本数据训练所述预警模型，得到更新后的预警模型。
7.如权利要求1至6任意一项所述的基于机器学习的数据质量检测方法，其特征在于，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对的步骤之后，包括：
若所述业务数据小于或等于所述预警阈值，则将所述业务数据作为样本数据输入至所述预警模型；
通过所述样本数据训练所述预警模型，得到更新后的预警模型。
8.一种基于机器学习的数据质量检测装置，其特征在于，所述基于机器学习的数据质量检测装置包括：
获取构建模块，用于获取历史业务数据，根据所述历史业务数据构建预警模型；
接收确定模块，用于在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；
生成比对模块，用于将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；
提示输出模块，用于若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。
9.一种基于机器学习的数据质量检测设备，其特征在于，所述基于机器学习的数据质量检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于机器学习的数据质量检测对应的计算机程序，所述基于机器学习的数据质量检测对应的计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于机器学习的数据质量检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于机器学习的数据质量检测对应的计算机程序，所述基于机器学习的数据质量检测对应的计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于机器学习的数据质量检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099927.0A CN111325463A (zh) | 2020-02-18 | 2020-02-18 | 数据质量检测方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099927.0A CN111325463A (zh) | 2020-02-18 | 2020-02-18 | 数据质量检测方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111325463A true CN111325463A (zh) | 2020-06-23 |
Family
ID=71168873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010099927.0A Pending CN111325463A (zh) | 2020-02-18 | 2020-02-18 | 数据质量检测方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325463A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782753A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 异常作业预警方法、装置、电子设备和存储介质 |
| CN112115121A (zh) * | 2020-11-20 | 2020-12-22 | 陕西云基华海信息技术有限公司 | 一种数据治理实时数据质量检测系统 |
| CN112181254A (zh) * | 2020-10-10 | 2021-01-05 | 武汉中科通达高新技术股份有限公司 | 数据质量管理方法及装置 |
| CN112231475A (zh) * | 2020-10-14 | 2021-01-15 | 宁夏回族自治区教育信息化管理中心 | 一种基于动态分布函数的数据检测预警方法 |
| CN112422638A (zh) * | 2020-10-28 | 2021-02-26 | 北京北明数科信息技术有限公司 | 数据实时流处理方法、系统、计算机装置和存储介质 |
| CN112650661A (zh) * | 2020-12-29 | 2021-04-13 | 北京嘀嘀无限科技发展有限公司 | 数据处理质量控制方法、装置、计算机设备和存储介质 |
| CN112711579A (zh) * | 2020-12-30 | 2021-04-27 | 医渡云（北京）技术有限公司 | 医疗数据的质量检测方法及装置、存储介质及电子设备 |
| CN112861140A (zh) * | 2021-01-26 | 2021-05-28 | 上海德启信息科技有限公司 | 一种业务数据的处理方法及装置、可读存储介质 |
| CN113010508A (zh) * | 2021-03-23 | 2021-06-22 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种电力计量数据质量监控方法、装置及大数据计算平台 |
| CN113076350A (zh) * | 2021-03-02 | 2021-07-06 | 无锡先导智能装备股份有限公司 | 焊接异常检测方法、装置、计算机设备和存储介质 |
| CN113849362A (zh) * | 2020-06-28 | 2021-12-28 | 腾讯科技（深圳）有限公司 | 一种业务服务平台管理方法、装置和计算机可读存储介质 |
| CN114091930A (zh) * | 2021-11-25 | 2022-02-25 | 深圳前海微众银行股份有限公司 | 业务指标预警方法、装置、电子设备和存储介质 |
| US11283727B2 (en) | 2017-01-27 | 2022-03-22 | Triangle Ip, Inc. | Thin data warning and remediation system |
| CN116166701A (zh) * | 2023-03-17 | 2023-05-26 | 湖北坤盈数字科技有限公司 | 一种业务数据实时预警方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024315A1 (zh) * | 2013-08-19 | 2015-02-26 | 中广核工程有限公司 | 核电站网络入侵报警方法和系统 |
| CN107526666A (zh) * | 2017-07-17 | 2017-12-29 | 阿里巴巴集团控股有限公司 | 基于深度学习的报警方法、系统、装置以及电子设备 |
| CN108011782A (zh) * | 2017-12-06 | 2018-05-08 | 北京百度网讯科技有限公司 | 用于推送告警信息的方法和装置 |
| CN108322347A (zh) * | 2018-02-09 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 数据检测方法、装置、检测服务器及存储介质 |
| JP2019074927A (ja) * | 2017-10-16 | 2019-05-16 | 株式会社ブリヂストン | タイヤの使用履歴データからの異常データ検出方法とその装置 |
| CN109785595A (zh) * | 2019-02-26 | 2019-05-21 | 成都古河云科技有限公司 | 一种基于机器学习的车辆异常轨迹实时识别方法 |
| US20190263417A1 (en) * | 2018-02-28 | 2019-08-29 | CaIAmp Corp. | Systems and methods for driver scoring with machine learning |
| WO2019233189A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 一种传感网络异常数据检测方法 |
-
2020
- 2020-02-18 CN CN202010099927.0A patent/CN111325463A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024315A1 (zh) * | 2013-08-19 | 2015-02-26 | 中广核工程有限公司 | 核电站网络入侵报警方法和系统 |
| CN107526666A (zh) * | 2017-07-17 | 2017-12-29 | 阿里巴巴集团控股有限公司 | 基于深度学习的报警方法、系统、装置以及电子设备 |
| JP2019074927A (ja) * | 2017-10-16 | 2019-05-16 | 株式会社ブリヂストン | タイヤの使用履歴データからの異常データ検出方法とその装置 |
| CN108011782A (zh) * | 2017-12-06 | 2018-05-08 | 北京百度网讯科技有限公司 | 用于推送告警信息的方法和装置 |
| CN108322347A (zh) * | 2018-02-09 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 数据检测方法、装置、检测服务器及存储介质 |
| US20190263417A1 (en) * | 2018-02-28 | 2019-08-29 | CaIAmp Corp. | Systems and methods for driver scoring with machine learning |
| WO2019233189A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 一种传感网络异常数据检测方法 |
| CN109785595A (zh) * | 2019-02-26 | 2019-05-21 | 成都古河云科技有限公司 | 一种基于机器学习的车辆异常轨迹实时识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘振浩;张明智;赵晔;王富军;: "卫星预警探测仿真模型研究", 指挥控制与仿真, vol. 32, no. 03, pages 58 - 62 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11902182B2 (en) | 2017-01-27 | 2024-02-13 | Triangle IP | Thin data warning and remediation system |
| US11283727B2 (en) | 2017-01-27 | 2022-03-22 | Triangle Ip, Inc. | Thin data warning and remediation system |
| CN113849362A (zh) * | 2020-06-28 | 2021-12-28 | 腾讯科技（深圳）有限公司 | 一种业务服务平台管理方法、装置和计算机可读存储介质 |
| CN113849362B (zh) * | 2020-06-28 | 2024-06-04 | 腾讯科技（深圳）有限公司 | 一种业务服务平台管理方法、装置和计算机可读存储介质 |
| CN111782753B (zh) * | 2020-06-30 | 2023-09-29 | 北京百度网讯科技有限公司 | 异常作业预警方法、装置、电子设备和存储介质 |
| CN111782753A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 异常作业预警方法、装置、电子设备和存储介质 |
| CN112181254A (zh) * | 2020-10-10 | 2021-01-05 | 武汉中科通达高新技术股份有限公司 | 数据质量管理方法及装置 |
| CN112231475A (zh) * | 2020-10-14 | 2021-01-15 | 宁夏回族自治区教育信息化管理中心 | 一种基于动态分布函数的数据检测预警方法 |
| CN112422638A (zh) * | 2020-10-28 | 2021-02-26 | 北京北明数科信息技术有限公司 | 数据实时流处理方法、系统、计算机装置和存储介质 |
| CN112115121A (zh) * | 2020-11-20 | 2020-12-22 | 陕西云基华海信息技术有限公司 | 一种数据治理实时数据质量检测系统 |
| CN112115121B (zh) * | 2020-11-20 | 2023-12-12 | 陕西云基华海信息技术有限公司 | 一种数据治理实时数据质量检测系统 |
| CN112650661A (zh) * | 2020-12-29 | 2021-04-13 | 北京嘀嘀无限科技发展有限公司 | 数据处理质量控制方法、装置、计算机设备和存储介质 |
| CN112711579A (zh) * | 2020-12-30 | 2021-04-27 | 医渡云（北京）技术有限公司 | 医疗数据的质量检测方法及装置、存储介质及电子设备 |
| CN112861140A (zh) * | 2021-01-26 | 2021-05-28 | 上海德启信息科技有限公司 | 一种业务数据的处理方法及装置、可读存储介质 |
| CN112861140B (zh) * | 2021-01-26 | 2024-03-22 | 上海德启信息科技有限公司 | 一种业务数据的处理方法及装置、可读存储介质 |
| CN113076350A (zh) * | 2021-03-02 | 2021-07-06 | 无锡先导智能装备股份有限公司 | 焊接异常检测方法、装置、计算机设备和存储介质 |
| CN113076350B (zh) * | 2021-03-02 | 2024-05-07 | 无锡先导智能装备股份有限公司 | 焊接异常检测方法、装置、计算机设备和存储介质 |
| CN113010508A (zh) * | 2021-03-23 | 2021-06-22 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种电力计量数据质量监控方法、装置及大数据计算平台 |
| CN114091930A (zh) * | 2021-11-25 | 2022-02-25 | 深圳前海微众银行股份有限公司 | 业务指标预警方法、装置、电子设备和存储介质 |
| CN114091930B (zh) * | 2021-11-25 | 2024-06-18 | 深圳前海微众银行股份有限公司 | 业务指标预警方法、装置、电子设备和存储介质 |
| CN116166701B (zh) * | 2023-03-17 | 2023-07-25 | 湖北坤盈数字科技有限公司 | 一种业务数据实时预警方法、装置、设备及存储介质 |
| CN116166701A (zh) * | 2023-03-17 | 2023-05-26 | 湖北坤盈数字科技有限公司 | 一种业务数据实时预警方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325463A (zh) | 数据质量检测方法、装置、设备及计算机可读存储介质 | |
| CN107992490B (zh) | 一种数据处理方法以及数据处理设备 | |
| CN111290916B (zh) | 大数据监控方法、装置、设备及计算机可读存储介质 | |
| CN109726108B (zh) | 基于模拟数据的前端代码测试方法、装置、系统和介质 | |
| CN110287316A (zh) | 一种告警分类方法、装置、电子设备及存储介质 | |
| CN112733146B (zh) | 基于机器学习的渗透测试方法、装置、设备及存储介质 | |
| CN108764369B (zh) | 基于数据融合的人物识别方法、装置和计算机存储介质 | |
| CN110648172A (zh) | 一种融合多种移动设备的身份识别方法和系统 | |
| CN113918526A (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
| CN112615873A (zh) | 物联网设备安全检测方法、设备、存储介质及装置 | |
| CN107871055B (zh) | 一种数据分析方法和装置 | |
| CN111581258A (zh) | 一种安全数据分析方法、装置、系统、设备及存储介质 | |
| CN114610372A (zh) | 评审文件的处理方法及装置、存储介质、处理器、终端 | |
| CN112732693B (zh) | 智能化物联网数据采集方法、装置、设备及存储介质 | |
| CN114020585A (zh) | 业务处理方法、装置和计算机可读存储介质 | |
| CN115208938B (zh) | 用户行为管控方法及装置、计算机可读存储介质 | |
| CN112612679A (zh) | 系统运行状态监控方法、装置、计算机设备和存储介质 | |
| CN113411236B (zh) | 质差路由器检测方法、装置、设备及存储介质 | |
| CN112785418B (zh) | 信贷风险建模方法、装置、设备及计算机可读存储介质 | |
| CN115426299A (zh) | 无特征数据标识方法、装置、计算机设备及存储介质 | |
| CN112579833B (zh) | 基于用户操作数据的业务关联关系获取方法及装置 | |
| CN113569879B (zh) | 异常识别模型的训练方法、异常账号识别方法及相关装置 | |
| CN113435176A (zh) | 报告数据的解析方法、装置、计算机设备及存储介质 | |
| CN112363705B (zh) | 系统包生成方法、装置、计算机设备及存储介质 | |
| CN116562923B (zh) | 一种基于电商行为的大数据分析方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |