CN113780580B - 基于机器学习的数据分析方法、装置、设备及存储介质 - Google Patents
基于机器学习的数据分析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113780580B CN113780580B CN202111059048.6A CN202111059048A CN113780580B CN 113780580 B CN113780580 B CN 113780580B CN 202111059048 A CN202111059048 A CN 202111059048A CN 113780580 B CN113780580 B CN 113780580B
- Authority
- CN
- China
- Prior art keywords
- data analysis
- data
- log information
- target service
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 334
- 238000010801 machine learning Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002159 abnormal effect Effects 0.000 claims abstract description 94
- 230000006870 function Effects 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例涉及人工智能领域，公开了一种基于机器学习的数据分析方法、装置、设备及存储介质，该方法包括：调用SDK接口获取一个或多个业务终端发送的数据分析请求，数据分析请求中携带指定格式的一个或多个业务应用的日志信息以及数据分析标识；选取与数据分析标识对应的预训练的数据分析模型；将日志信息输入预训练的数据分析模型，得到数据分析结果；当根据数据分析结果确定出存在异常数据的目标业务应用时，向目标业务应用对应的目标业务终端发送通知消息，通知消息用于通知目标业务终端处理异常数据，从而提高数据分析的能力和效率。本发明涉及区块链技术，如可将日志信息写入区块链中，以用于数据取证等场景。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种基于机器学习的数据分析方法、装置、设备及存储介质。
背景技术
目前，使用大数据技术进行流式数据的处理，从日志搜集到实时数据进行处理或分析都需要专业的大数据工程师进行编码实现。跨系统的日志整合需要做很多数据清洗的工作，使用门槛比较高，导致很多系统都没有专门做日志分析、数字化运营的能力。因此，如何更有效地提高自动化运营的能力，提高数据分析的效率成为研究的重点。
发明内容
本发明实施例提供了一种基于机器学习的数据分析方法、装置、设备及存储介质，可以提高自动化运营的能力、数据分析的能力以及数据分析的效率。
第一方面，本发明实施例提供了一种基于机器学习的数据分析方法，应用于大数据平台，所述大数据平台上设置了SDK接口，所述方法包括：
调用所述SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；
根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；
将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；
当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。
进一步地，所述将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果，包括：
从所述指定格式的各个业务应用的日志信息中获取一个或多个第一指定字段；
将所述一个或多个第一指定字段中的第一字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结。
进一步地，所述将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果，包括：
根据所述数据分析请求中携带的数据分析标识，确定数据分析的类型；
根据所述数据分析的类型从所述指定格式的各个业务应用的日志信息中选取与所述数据分析的类型对应的一个或多个第二指定字段；
将所述一个或多个第二指定字段中的第二字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
进一步地，所述当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，包括：
根据所述数据分析结果确定所述各个业务应用中是否存在异常数据；
如果检测结果为存在，则获取存在异常数据的目标业务应用，并向存在异常数据的目标业务应用对应的目标业务终端发送通知消息。
进一步地，所述根据所述数据分析结果确定所述各个业务应用中是否存在异常数据，包括：
获取所述数据分析结果中所述各个业务应用存在异常数据的概率；
当所述各个业务应用存在异常数据的概率大于预设阈值时，确定所述概率大于所述预设阈值的目标业务应用存在异常数据。
进一步地，所述根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型之前，还包括：
根据数据分析的类型收集与数据分析的类型对应的样本数据集，所述样本数据集中包括多个训练样本数据，所述训练样本数据包括但不限于不同业务应用的历史日志信息；
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型。
进一步地，所述将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型，包括：
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中，得到损失函数值；
当所述损失函数值不满足预设条件时，根据所述损失函数值调整所述预设的机器学习算法模型的模型参数，并将所述训练样本数据输入调整所述模型参数后的机器学习算法模型中重新训练；
当重新训练得到的损失函数值满足所述预设条件时，确定得到所述数据分析模型。
第二方面，本发明实施例提供了一种基于机器学习的数据分析装置，应用于大数据平台，所述大数据平台上设置了SDK接口，所述装置包括：
获取单元，用于通过所述SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；
选取单元，用于根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的数据分析模型；
分析单元，用于将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；
通知单元，用于当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
本发明实施例可以调用SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。通过这种实施方式，可以提高自动化运营的能力、数据分析的能力以及数据分析的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于机器学习的数据分析方法的示意流程图；
图2是本发明实施例提供的一种基于机器学习的数据分析装置的示意框图；
图3是本发明实施例提供的一种计算机设备的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于机器学习的数据分析方法可以应用于一种基于机器学习的数据分析装置，在某些实施例中，所述基于机器学习的数据分析装置设置于大数据平台中，所述大数据平台设置于计算机设备中。在某些实施例中，所述大数据平台是基于Flink框架的平台，所述大数据平台上设置了SDK接口。在某些实施例中，所述计算机设备包括但不限于智能手机、平板电脑、膝上型电脑等中的一种或者多种。
本发明实施例可以调用SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；当根据所述数据分析结果确定出存在异常数据的业务应用时，向存在异常数据的业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。通过这种实施方式，可以降低各应用系统做实时数字化运营的门槛，提高自动化运营的能力、数据分析的能力以及数据分析的效率。
本申请实施例可以基于人工智能技术对相关的数据(如日志信息)进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例能够应用于多种不同的领域中，如：医疗数据分析领域、金融数据分析领域等。
在一种可能的实现方式中，在医疗数据分析领域中，所述数据可以是与医疗相关联的医疗数据，如与医疗相关联的检查数据、化验数据等。
下面结合附图1对本发明实施例提供的基于机器学习的数据分析方法进行示意性说明。
请参见图1，图1是本发明实施例提供的一种基于机器学习的数据分析方法的示意流程图，如图1所示，该方法可以由基于机器学习的数据分析装置执行，所述基于机器学习的数据分析装置设置于大数据平台中，所述大数据平台上设置了SDK接口，所述大数据平台设置于计算机设备中。具体地，本发明实施例的所述方法包括如下步骤。
S101：调用SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识。
本发明实施例中，基于机器学习的数据分析装置可以调用所述SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理。
在某些实施例中，所述数据分析标识用于后续选取与数据分析标识对应的数据分析模型。
在某些实施例中，所述SDK接口设置在所述大数据平台上；在某些实施例中，所述日志信息携带了业务应用的标识、业务终端信息、业务信息等，在某些实施例中，所述业务应用的标识包括但不限于业务应用的编号等，所述业务终端信息包括但不限于业务终端的编号等，所述业务信息包括但不限于业务编号(如合同号等)。
在某些实施例中，所述SDK接口中配置了指定规则，所述指定规则可以包括但不限于固定字段规则、动态字段规则、跟踪字段规则等。在某些实施例中，所述固定字段规则用于指示所述日志信息中的固定字段用于存储指定的业务字段，例如，所述固定字段规则用于指示所述日志信息中的固定字段用于存储客户编号、用户编号等指定的用户信息字段；在某些实施例中，所述动态字段规则用于指示所述日志信息中的动态字段用于存储授信额度、放款金额等指定的业务信息字段。
通过在SDK接口中配置固定字段规则、动态字段规则、跟踪字段规则等指定规则，有助于提高后续数据分析的效率，例如，通过在SDK接口中配置跟踪字段规则，有助于统计业务应用的访问信息(如访问量等)；又例如，通过在SDK接口中配置跟踪字段规则，有助于统计业务应用的访问信息(如访问量等)。
S102：根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型。
本发明实施例中，基于机器学习的数据分析装置可以根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型。
在某些实施例中，所述数据分析标识用于指示不同类型的数据分析，所述数据分析标识包括但不限于文字、字母、数字等。
在一个实施例中，基于机器学习的数据分析装置在根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型之前，可以训练多个数据分析模型，其中，不同的数据分析模型对应不同的数据分析标识，不同的数据分析模型的数据分析结果不相同。例如，错误分析模型、闪退分析模型、访问量分析模型等。
在一个实施例中，基于机器学习的数据分析装置在根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型之前，可以根据数据分析的类型收集与数据分析的类型对应的样本数据集，所述样本数据集中包括多个训练样本数据，所述训练样本数据包括但不限于不同业务应用的历史日志信息；并将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型。
在一个实施例中，基于机器学习的数据分析装置在将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型时，可以将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中，得到损失函数值；当所述损失函数值不满足预设条件时，根据所述损失函数值调整所述预设的机器学习算法模型的模型参数，并将所述训练样本数据输入调整所述模型参数后的机器学习算法模型中重新训练；当重新训练得到的损失函数值满足所述预设条件时，确定得到所述数据分析模型。
S103：将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果。
本发明实施例中，基于机器学习的数据分析装置可以将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果。
在某些实施例中，所述数据分析结果包括对应的数据分析类型的数据分析结果的概率，例如，当数据分析类型为异常数据分析时，所述数据分析结果包括异常数据的概率。
在一个实施例中，基于机器学习的数据分析装置在将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果时，可以从所述指定格式的各个业务应用的日志信息中获取一个或多个第一指定字段；并将所述一个或多个第一指定字段中的第一字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
在一个实施例中，基于机器学习的数据分析装置在将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果时，可以根据所述数据分析请求中携带的数据分析标识，确定数据分析的类型；并根据所述数据分析的类型从所述指定格式的各个业务应用的日志信息中选取与所述数据分析的类型对应的一个或多个第二指定字段；以及将所述一个或多个第二指定字段中的第二字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
S104：当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。
本发明实施例中，基于机器学习的数据分析装置可以当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。
在一个实施例中，基于机器学习的数据分析装置在当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息时，可以根据所述数据分析结果确定所述各个业务应用中是否存在异常数据；如果检测结果为存在，则可以获取存在异常数据的目标业务应用，并向存在异常数据的目标业务应用对应的目标业务终端发送通知消息。
在一个实施例中，基于机器学习的数据分析装置在根据所述数据分析结果确定所述各个业务应用中是否存在异常数据时，可以获取所述数据分析结果中所述各个业务应用存在异常数据的概率；当所述各个业务应用存在异常数据的概率大于预设阈值时，确定所述概率大于所述预设阈值的目标业务应用存在异常数据。
在一个实施例中，基于机器学习的数据分析装置在确定目标业务应用中存在异常数据时，可以将所述异常数据输出显示在所述大数据平台的用户界面上，有助于用户通过所述用户界面查看异常数据。
本发明实施例中，基于机器学习的数据分析装置可以调用SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。通过这种实施方式，可以降低各应用系统做实时数字化运营的门槛，提高自动化运营的能力、数据分析的能力以及数据分析的效率。
本发明实施例还提供了一种基于机器学习的数据分析装置，该基于机器学习的数据分析装置用于执行前述任一项所述的方法的单元。具体地，参见图2，图2是本发明实施例提供的一种基于机器学习的数据分析装置的示意框图。本实施例的基于机器学习的数据分析装置应用于大数据平台，所述大数据平台上设置了SDK接口，所述装置包括：获取单元201、选取单元202、分析单元203、以及通知单元204。
获取单元201，用于调用所述SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；
选取单元202，用于根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；
分析单元203，用于将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；
通知单元204，用于当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。
进一步地，所述分析单元203将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果时，具体用于：
从所述指定格式的各个业务应用的日志信息中获取一个或多个第一指定字段；
将所述一个或多个第一指定字段中的第一字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
进一步地，所述分析单元203将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果时，具体用于：
根据所述数据分析请求中携带的数据分析标识，确定数据分析的类型；
根据所述数据分析的类型从所述指定格式的各个业务应用的日志信息中选取与所述数据分析的类型对应的一个或多个第二指定字段；
将所述一个或多个第二指定字段中的第二字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
进一步地，所述通知单元204当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息时，具体用于：
根据所述数据分析结果确定所述各个业务应用中是否存在异常数据；
如果检测结果为存在，则获取存在异常数据的目标业务应用，并向存在异常数据的目标业务应用对应的目标业务终端发送通知消息。
进一步地，所述通知单元204根据所述数据分析结果确定所述各个业务应用中是否存在异常数据时，具体用于：
获取所述数据分析结果中所述各个业务应用存在异常数据的概率；
当所述各个业务应用存在异常数据的概率大于预设阈值时，确定所述概率大于所述预设阈值的目标业务应用存在异常数据。
进一步地，所述选取单元202根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型之前，还用于：
根据数据分析的类型收集与数据分析的类型对应的样本数据集，所述样本数据集中包括多个训练样本数据，所述训练样本数据包括但不限于不同业务应用的历史日志信息；
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型。
进一步地，所述选取单元202将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型时，具体用于：
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中，得到损失函数值；
当所述损失函数值不满足预设条件时，根据所述损失函数值调整所述预设的机器学习算法模型的模型参数，并将所述训练样本数据输入调整所述模型参数后的机器学习算法模型中重新训练；
当重新训练得到的损失函数值满足所述预设条件时，确定得到所述数据分析模型。
本发明实施例中，基于机器学习的数据分析装置可以调用SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。通过这种实施方式，可以降低各应用系统做实时数字化运营的门槛，提高自动化运营的能力、数据分析的能力以及数据分析的效率。
参见图3，图3是本发明实施例提供的一种计算机设备的示意框图，在某些实施例中，如图3所示的本实施例中的计算机设备可以包括：一个或多个处理器301；一个或多个输入设备302，一个或多个输出设备303和存储器304。上述处理器301、输入设备302、输出设备303和存储器304通过总线305连接。存储器304用于存储计算机程序，所述计算机程序包括程序，处理器301用于执行存储器304存储的程序。其中，处理器301被配置用于调用所述程序执行：
调用SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；
根据所述数据分析标识从大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；
将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；
当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。
进一步地，所述处理器301将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果时，具体用于：
从所述指定格式的各个业务应用的日志信息中获取一个或多个第一指定字段；
将所述一个或多个第一指定字段中的第一字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
进一步地，所述处理器301将所述指定格式的一个或多个业务应用的日志信息输入从大数据平台选取的所述预训练的数据分析模型，得到数据分析结果时，具体用于：
根据所述数据分析请求中携带的数据分析标识，确定数据分析的类型；
根据所述数据分析的类型从所述指定格式的各个业务应用的日志信息中选取与所述数据分析的类型对应的一个或多个第二指定字段；
将所述一个或多个第二指定字段中的第二字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
进一步地，所述处理器301当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息时，具体用于：
根据所述数据分析结果确定所述各个业务应用中是否存在异常数据；
如果检测结果为存在，则获取存在异常数据的目标业务应用，并向存在异常数据的目标业务应用对应的目标业务终端发送通知消息。
进一步地，所述处理器301根据所述数据分析结果确定所述各个业务应用中是否存在异常数据时，具体用于：
获取所述数据分析结果中所述各个业务应用存在异常数据的概率；
当所述各个业务应用存在异常数据的概率大于预设阈值时，确定所述概率大于所述预设阈值的目标业务应用存在异常数据。
进一步地，所述处理器301根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的数据分析模型之前，还用于：
根据数据分析的类型收集与数据分析的类型对应的样本数据集，所述样本数据集中包括多个训练样本数据，所述训练样本数据包括但不限于不同业务应用的历史日志信息；
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型。
进一步地，所述处理器301将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型时，具体用于：
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中，得到损失函数值；
当所述损失函数值不满足预设条件时，根据所述损失函数值调整所述预设的机器学习算法模型的模型参数，并将所述训练样本数据输入调整所述模型参数后的机器学习算法模型中重新训练；
当重新训练得到的损失函数值满足所述预设条件时，确定得到所述数据分析模型。
本发明实施例中，计算机设备可以调用SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；根据所述数据分析标识从大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。通过这种实施方式，可以降低各应用系统做实时数字化运营的门槛，提高自动化运营的能力、数据分析的能力以及数据分析的效率。
应当理解，在本发明实施例中，所称处理器301可以是中央处理单元(CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigiSalSignal Processor，DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列(Field-Programmable GaSe Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备302可以包括触控板、麦克风等，输出设备303可以包括显示器(LCD等)、扬声器等。
该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器304的一部分还可以包括非易失性随机存取存储器。例如，存储器304还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器301、输入设备302、输出设备303可执行本发明实施例提供的图1所述的方法实施例中所描述的实现方式，也可执行本发明实施例图2所描述的基于机器学习的数据分析装置的实现方式，在此不再赘述。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图1所对应实施例中描述的基于机器学习的数据分析方法，也可实现本发明图2所对应实施例的基于机器学习的数据分析装置，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的基于机器学习的数据分析装置的内部存储单元，例如基于机器学习的数据分析装置的硬盘或内存。所述计算机可读存储介质也可以是所述基于机器学习的数据分析装置的外部存储装置，例如所述基于机器学习的数据分析装置上配备的插接式硬盘，智能存储卡(SmarS Media Card,SMC)，安全数字(Secure DigiSal,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述基于机器学习的数据分析装置的内部存储单元也包括外部存储装置。所述计算机可读存储介质用于存储所述计算机程序以及所述基于机器学习的数据分析装置所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于机器学习的数据分析方法，其特征在于，应用于大数据平台，所述大数据平台上设置了SDK接口，所述方法包括：
调用所述SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；
根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；
将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；
当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据；
所述将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果，包括：
从所述指定格式的各个业务应用的日志信息中获取一个或多个第一指定字段；
将所述一个或多个第一指定字段中的第一字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果，包括：
根据所述数据分析请求中携带的数据分析标识，确定数据分析的类型；
根据所述数据分析的类型从所述指定格式的各个业务应用的日志信息中选取与所述数据分析的类型对应的一个或多个第二指定字段；
将所述一个或多个第二指定字段中的第二字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
3.根据权利要求1所述的方法，其特征在于，所述当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，包括：
根据所述数据分析结果确定所述各个业务应用中是否存在异常数据；
如果检测结果为存在，则获取存在异常数据的目标业务应用，并向存在异常数据的目标业务应用对应的目标业务终端发送通知消息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述数据分析结果确定所述各个业务应用中是否存在异常数据，包括：
获取所述数据分析结果中所述各个业务应用存在异常数据的概率；
当所述各个业务应用存在异常数据的概率大于预设阈值时，确定所述概率大于所述预设阈值的目标业务应用存在异常数据。
5.根据权利要求1所述的方法，其特征在于，所述根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型之前，还包括：
根据数据分析的类型收集与数据分析的类型对应的样本数据集，所述样本数据集中包括多个训练样本数据，所述训练样本数据包括但不限于不同业务应用的历史日志信息；
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型。
6.根据权利要求5所述的方法，其特征在于，所述将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中进行训练，得到所述数据分析模型，包括：
将所述样本数据集中的多个训练样本数据输入预设的机器学习算法模型中，得到损失函数值；
当所述损失函数值不满足预设条件时，根据所述损失函数值调整所述预设的机器学习算法模型的模型参数，并将所述训练样本数据输入调整所述模型参数后的机器学习算法模型中重新训练；
当重新训练得到的损失函数值满足所述预设条件时，确定得到所述数据分析模型。
7.一种基于机器学习的数据分析装置，其特征在于，应用于大数据平台，所述大数据平台上设置了SDK接口，所述装置包括：
获取单元，用于调用所述SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；
选取单元，用于根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；
分析单元，用于将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；
通知单元，用于当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据；
所述分析单元将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果时，具体用于：
从所述指定格式的各个业务应用的日志信息中获取一个或多个第一指定字段；
将所述一个或多个第一指定字段中的第一字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。
8.一种计算机设备，其特征在于，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述处理器被配置用于调用所述计算机程序，执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111059048.6A CN113780580B (zh) | 2021-09-09 | 2021-09-09 | 基于机器学习的数据分析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111059048.6A CN113780580B (zh) | 2021-09-09 | 2021-09-09 | 基于机器学习的数据分析方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113780580A CN113780580A (zh) | 2021-12-10 |
| CN113780580B true CN113780580B (zh) | 2024-04-19 |
Family
ID=78842208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111059048.6A Active CN113780580B (zh) | 2021-09-09 | 2021-09-09 | 基于机器学习的数据分析方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780580B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116166967B (zh) * | 2023-04-21 | 2023-07-14 | 深圳开鸿数字产业发展有限公司 | 基于元学习与残差网络的数据处理方法、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665164A (zh) * | 2016-07-29 | 2018-02-06 | 百度在线网络技术（北京）有限公司 | 安全数据检测方法和装置 |
| CN109935338A (zh) * | 2019-03-07 | 2019-06-25 | 平安科技（深圳）有限公司 | 基于机器学习的数据预测处理方法、装置和计算机设备 |
| CN110445637A (zh) * | 2019-07-05 | 2019-11-12 | 深圳壹账通智能科技有限公司 | 事件监控方法、系统、计算机设备和存储介质 |
| CN113111153A (zh) * | 2021-05-13 | 2021-07-13 | 中国平安人寿保险股份有限公司 | 一种数据分析方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210174253A1 (en) * | 2019-12-10 | 2021-06-10 | Triad National Security, Llc | Analysis of system log data using machine learning |
-
2021
- 2021-09-09 CN CN202111059048.6A patent/CN113780580B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665164A (zh) * | 2016-07-29 | 2018-02-06 | 百度在线网络技术（北京）有限公司 | 安全数据检测方法和装置 |
| CN109935338A (zh) * | 2019-03-07 | 2019-06-25 | 平安科技（深圳）有限公司 | 基于机器学习的数据预测处理方法、装置和计算机设备 |
| CN110445637A (zh) * | 2019-07-05 | 2019-11-12 | 深圳壹账通智能科技有限公司 | 事件监控方法、系统、计算机设备和存储介质 |
| CN113111153A (zh) * | 2021-05-13 | 2021-07-13 | 中国平安人寿保险股份有限公司 | 一种数据分析方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113780580A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135856B (zh) | 一种重复交易风险监测方法、装置及计算机可读存储介质 | |
| CN112860841B (zh) | 一种文本情感分析方法、装置、设备及存储介质 | |
| CN112669138B (zh) | 数据处理方法及相关设备 | |
| CN112801800A (zh) | 行为资金分析系统、方法、计算机设备及存储介质 | |
| CN113938408B (zh) | 一种数据流量测试方法、装置、服务器及存储介质 | |
| US20230410222A1 (en) | Information processing apparatus, control method, and program | |
| CN113780580B (zh) | 基于机器学习的数据分析方法、装置、设备及存储介质 | |
| CN113837075A (zh) | 基于人脸识别的业务办理方法、装置、电子设备及介质 | |
| CN116168403A (zh) | 医疗数据分类模型训练方法、分类方法、装置及相关介质 | |
| CN116166999A (zh) | 异常交易数据识别方法、装置、计算机设备及存储介质 | |
| CN115757075A (zh) | 任务异常检测方法、装置、计算机设备及存储介质 | |
| CN113111153B (zh) | 一种数据分析方法、装置、设备及存储介质 | |
| CN111859985B (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
| CN112307757A (zh) | 基于辅助任务的情感分析方法、装置、设备及存储介质 | |
| CN113704618B (zh) | 基于深度学习模型的数据处理方法、装置、设备及介质 | |
| CN112232960A (zh) | 交易应用系统监控方法及装置 | |
| CN113887406B (zh) | 基于人脸识别的预警方法、装置、电子设备及介质 | |
| CN112488860B (zh) | 一种团单处理方法和系统 | |
| CN117874211B (zh) | 基于saas软件的智能问答方法、系统、介质及电子设备 | |
| CN115086434B (zh) | 基于区块链的银行业务办理方法及装置 | |
| CN117034173A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN113706174A (zh) | 基于机器学习算法的违约预测方法、装置、设备及介质 | |
| CN117422523A (zh) | 产品上线方法、装置、计算机设备及存储介质 | |
| CN118170546A (zh) | 请求的处理方法、装置、计算机存储介质以及电子设备 | |
| CN117876021A (zh) | 基于人工智能的数据预测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |