CN113268478A - 大数据分析方法、装置、电子设备及存储介质 - Google Patents

大数据分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113268478A
CN113268478A CN202110703678.6A CN202110703678A CN113268478A CN 113268478 A CN113268478 A CN 113268478A CN 202110703678 A CN202110703678 A CN 202110703678A CN 113268478 A CN113268478 A CN 113268478A
Authority
CN
China
Prior art keywords
data
analyzed
requirement
service
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110703678.6A
Other languages
English (en)
Inventor
赖雪丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110703678.6A priority Critical patent/CN113268478A/zh
Publication of CN113268478A publication Critical patent/CN113268478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Abstract

本发明涉及大数据技术领域，提供一种大数据分析方法、装置、电子设备及存储介质，所述方法包括：解析数据分析请求，根据业务需求中的数据主题获取待分析数据；当监控到待分析数据满足预设的质量要求和业务需求中的数据规则要求时，将待分析数据推送至数据仓库中进行预处理后，确定第一数据；将第一数据读取至对应的数据管道，并写入数据落地层；在数据落地层中调用数据管道配置作业，并执行作业得到第二数据；将第二数据加载至数据展示层进行展示。本发明通过将待分析数据推送至数据仓库中，将同一个数据主题的数据统一口径，确保第一数据的准确性和完整性，提高了数据分析结果的准确率。

Description

大数据分析方法、装置、电子设备及存储介质
技术领域
本发明涉及大数据技术领域，具体涉及一种大数据分析方法、装置、电子设备及存储介质。
背景技术
目前大数据分析面临数据源和数据质量问题，数据报表中的数据质量参差不齐，同一个数据主题的数据可能来自多个不同的数据源。现有技术未对数据源的数据进行质量监控，直接根据获取的数据得到数据报表。
然而，由于同一个数据主题的数据来自于多个数据源，数据存在差异，数据质量难以保障，导致数据分析结果准确率低。
因此，有必要提供一种可以快速准确的数据分析的方法。
发明内容
鉴于以上内容，有必要提出一种大数据分析方法、装置、电子设备及存储介质，通过将待分析数据推送至数据仓库中，将同一个数据主题的数据统一口径，确保第一数据的准确性和完整性，提高了数据分析结果的准确率。
本发明的第一方面提供一种大数据分析方法，所述方法包括：
解析数据分析请求，以获取业务需求，并根据所述业务需求中的数据主题获取待分析数据；
监控所述待分析数据是否满足预设的质量要求；
当监控到所述待分析数据满足所述预设的质量要求时，根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求；
当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据；
将所述第一数据读取至对应的数据管道，并将所述数据管道中的数据写入数据落地层；
在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据；
将所述第二数据加载至数据展示层，并在所述数据展示层展示所述第二数据。
可选地，所述在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据包括：
根据业务需求确定每个数据管道配置的作业信息；根据所述每个数据管道配置的作业信息从所述第一数据中调用对应的目标数据源信息；
根据所述目标数据源信息配置作业，并执行所述作业；
当监控到所述作业执行完成时，获取第二数据。
可选地，所述根据所述业务需求中的数据主题获取待分析数据包括：
从预设的主题库中确定出与所述业务需求中的数据主题匹配的目标数据源的目标识别码；
根据所述目标数据源的目标识别码获取对应的调用接口；
通过所述调用接口调用获取策略，根据所述获取策略获取所述数据主题对应的待分析数据。
可选地，所述监控所述待分析数据是否满足预设的质量要求包括：
解析所述待分析数据，以获取所述数据主题对应的多个业务属性标签及每个所述业务属性标签对应的业务内容，并将每个所述业务属性标签与对应的业务内容进行关联；
根据所述多个业务属性标签确定位于所述数据主题的预设的业务模板对应的位置坐标，及将关联后的多个所述业务属性标签写入所述预设的业务模板，得到目标业务模板；
采用所述业务主题对应的预设的正则模板，匹配所述目标业务模板中对应位置坐标的业务内容；
判断每个位置坐标的业务内容是否与所述预设的正则模板对应位置坐标的正则表达式匹配；
当每个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式匹配时，确定所述待分析数据满足预设的质量要求；或者
当任意一个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式不匹配时，确定所述待分析数据不满足预设的质量要求。
可选地，所述根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求包括：
解析所述业务需求中的质量监控规则；
采用所述质量监控规则监控所述待分析数据；
当所述待分析数据通过所述质量监控规则时，确定所述待分析数据满足所述业务需求中的数据规则要求；或者
当所述待分析数据未通过所述质量监控规则时，确定所述待分析数据不满足所述业务需求中的数据规则要求。
可选地，所述在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据包括：
获取所述数据主题对应的预设的数据清洗规则和预设的数据过滤规则；
按照所述预设的数据清洗规则清洗所述待分析数据，及按照所述预设的数据过滤规则对清洗过的待分析数据进行过滤；
将过滤后的待分析数据转换为预设类型的结构化数据；
获取所述业务需求中的每个指标的计算规则，根据结构化数据和所述每个指标的计算规则，计算每个指标的指标值；
将所述结构化数据和所述每个指标的指标值确定为所述第一数据。
可选地，所述在所述数据展示层展示所述第二数据包括：
识别所述业务需求中的数据展示类型；
根据所述数据展示类型在所述数据展示层中展示所述第二数据。
本发明的第二方面提供一种大数据分析装置，所述装置包括：
解析模块，用于解析数据分析请求，以获取业务需求，并根据所述业务需求中的数据主题获取待分析数据；
第一监控模块，用于监控所述待分析数据是否满足预设的质量要求；
第二监控模块，用于当监控到所述待分析数据满足所述预设的质量要求时，根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求；
预处理模块，用于当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据；
读取模块，用于将所述第一数据读取至对应的数据管道，并将所述数据管道中的数据写入数据落地层；
执行模块，用于在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据；
展示模块，用于将所述第二数据加载至数据展示层，并在所述数据展示层展示所述第二数据。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的大数据分析方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的大数据分析方法。
综上所述，本发明所述的大数据分析方法、装置、电子设备及存储介质，一方面，当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理得到第一数据，通过对数据仓库中的待分析数据进行清洗、过滤和计算得到第一数据，将同一个数据主题的数据统一口径，便于第一数据的管理，确保第一数据的准确性和完整性，进而提高了后续分析结果的准确率；另一方面，监控所述待分析数据是否满足预设的质量要求和业务需求中的数据规则要求，通过监控待分析数据本身的质量，及监控待分析数据是否满足业务需求，从两个维度对待分析数据进行了监控，确保了待分析数据的准确率，避免后续使用所述待分析数据进行数据分析时出现分析结果准确率低的现象；最后，将所述第二数据加载至数据展示层，在所述数据展示层展示所述第二数据，通过根据业务需求中的数据展示类型展示第二数据，提高了展示的多样性和灵活性。
附图说明
图1是本发明实施例一提供的大数据分析方法的流程图。
图2是本发明实施例二提供的大数据分析装置的结构图。
图3是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一
图1是本发明实施例一提供的大数据分析方法的流程图。
在本实施例中，所述大数据分析方法可以应用于电子设备中，对于需要进行大数据分析的电子设备，可以直接在电子设备上集成本发明的方法所提供的大数据分析的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在电子设备中。
如图1所示，所述大数据分析方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，解析数据分析请求，以获取业务需求，并根据所述业务需求中的数据主题获取待分析数据。
本实施例中，业务在进行数据分析时，通过客户端发起数据分析请求至服务端，具体地，所述客户端可以是智能手机、IPAD或者其他现有的智能设备，所述服务端可以为数据分析子系统，在数据分析过程中，如所述客户端可以向数据分析子系统发送数据分析请求，所述数据分析子系统用于接收所述客户端发送的数据分析请求。
本实施例中，服务端解析数据分析请求中的报文信息，根据报文信息获取业务需求，具体地，所述业务需求中包含有数据主题、质量监控规则、指标、指标对应的计算规则、读数据任务及数据展示类型等。
在一个可选的实施例中，在根据所述业务需求中的数据主题获取待分析数据之前，所述方法还包括：
根据预设的数据主题将数据集市中的预设的数据源划分为多个目标数据源，其中，每个目标数据源中包含有至少一个预设的数据源；
获取所述数据主题对应的目标数据源，从所述业务需求中的数据主题对应的目标数据源中获取待分析数据。
本实施例中，所述预设的数据源可以包括资讯系统SMDB、资管系统、KYP系统、偿二代系统、RM系统、RMS系统、投数平台、EXCEL导入系统等其他数据源，根据数据主题将所述多个预设的数据源进行归类，其中，每个数据主题可以包括一个或者多个预设的数据源，将所述一个或者多个预设的数据源作为一个目标数据源。
在一个可选的实施例中，所述根据所述业务需求中的数据主题获取待分析数据包括：
从预设的主题库中确定出与所述业务需求中的数据主题匹配的目标数据源的目标识别码；
根据所述目标数据源的目标识别码获取对应的调用接口；
通过所述调用接口调用获取策略，根据所述获取策略获取所述数据主题对应的待分析数据。
本实施例中，所述目标数据源的目标识别码用以唯一识别目标数据源，每个目标数据源对应一个调用接口，从数据主题对应的目标数据源的调用接口获取待分析数据，不会出现获取待分析数据时出现数据堵塞的现象，确保待分析数据的获取效率及准确率。
S12，监控所述待分析数据是否满足预设的质量要求。
本实施例中，可以预先设置质量要求，具体地，预设的质量要求用于表征获取到的待分析数据的本身是否存在缺失，或者不符合数据本身的要求，例如：库存现金中包含有资产代码M，组合群代码N及账面价值Q，而获取的待分析数据中的库存现金只包含资产代码M和账面价值Q，缺失组合群代码，不满足预设的质量要求。
在一个可选的实施例中，所述监控所述待分析数据是否满足预设的质量要求包括：
解析所述待分析数据，以获取所述数据主题对应的多个业务属性标签及每个所述业务属性标签对应的业务内容，并将每个所述业务属性标签与对应的业务内容进行关联；
根据所述多个业务属性标签确定位于所述数据主题的预设的业务模板对应的位置坐标，及将关联后的多个所述业务属性标签写入所述预设的业务模板，得到目标业务模板；
采用所述业务主题对应的预设的正则模板，匹配所述目标业务模板中对应位置坐标的业务内容；
判断每个位置坐标的业务内容是否与所述预设的正则模板对应位置坐标的正则表达式匹配；
当每个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式匹配时，确定所述待分析数据满足预设的质量要求；或者
当任意一个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式不匹配时，确定所述待分析数据不满足预设的质量要求。
具体地，所述业务内容包括以下任意一种或者多种组合：字段名称、字段名及字段类型、备注、数据说明。
本实施例中，所述业务属性标签是指用于表征表类别，每个表类别对应有业务内容。将所述数据主题对应的待分析数据嵌入至目标业务模板中，采用预设的正则模板与所述目标业务模板进行匹配，确定所述待分析数据是否满足预设的质量要求，通过从业务数据本身的质量进行监控，确保获取到的待分析数据是可用的数据，提高了待分析数据的准确率。
S13，当监控到所述待分析数据满足所述预设的质量要求时，根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求。
本实施例中，业务需求中包含有数据规则要求，对所述待分析数据采用业务需求中的质量监控规则进行监控，确定所述待分析数据是否满足所述数据规则要求。
在一个可选的实施例中，所述根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求包括：
解析所述业务需求中的质量监控规则；
采用所述质量监控规则监控所述待分析数据；
当所述待分析数据通过所述质量监控规则时，确定所述待分析数据满足所述业务需求中的数据规则要求；或者
当所述待分析数据未通过所述质量监控规则时，确定所述待分析数据不满足所述业务需求中的数据规则要求。
本实施例中，所述质量监控规则包括完整性监控和及时性监控，具体地，所述完整性监控具体用于监控所述待分析数据是否完整，即获取的待分析数据是否满足业务需求中的数据获取范围要求；及所述及时性监控具体用于监控所述待分析数据是否及时，即获取的待分析数据是否满足业务需求中的时间要求。
本实施例中，通过监控待分析数据本身的质量，及监控待分析数据是否满足业务需求，从两个维度对待分析数据进行了监控，确保了待分析数据的准确率，避免后续使用所述待分析数据进行数据分析时出现分析结果准确率低的现象。
S14，当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据。
本实施例中，所述数据仓库用于对所述待分析数据进行预处理，具体地，所述预处理可以包括对数据进行清洗、过滤及计算。
在一个可选的实施例中，所述在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据包括：
获取所述数据主题对应的预设的数据清洗规则和预设的数据过滤规则；
按照所述预设的数据清洗规则清洗所述待分析数据，及按照所述预设的数据过滤规则对清洗过的待分析数据进行过滤；
将过滤后的待分析数据转换为预设类型的结构化数据；
获取所述业务需求中的每个指标的计算规则，根据结构化数据和所述每个指标的计算规则，计算每个指标的指标值；
将所述结构化数据和所述每个指标的指标值确定为所述第一数据。
本实施例中，通过对数据仓库中的待分析数据进行清洗、过滤和计算得到第一数据，将同一个数据主题的数据统一口径，便于第一数据的管理，确保第一数据的准确性和完整性，进而提高了后续分析结果的准确率。
S15，将所述第一数据读取至对应的数据管道，并将所述数据管道中的数据写入数据落地层。
本实施例中，由于所述第一数据可能是从不同的预设的数据源中获取的，每个预设的数据源对应一个数据管道，故通过读业务需求中的读数据任务读取所述第一数据，并将所述第一数据读取至对应的数据管道，并将数据管道中的数据写入数据落地层。
本实施例中，所述数据落地层用于接收所述第一数据，并进行保存，本实施例所述的数据落地层可以为风控系统ODS层。
S16，在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据。
本实施例中，所述作业可以为相同的作业，也可以为不同的作业，根据业务需求中的要求配置作业，具体地，所述作业可以为按照报表或者数据主题归类，通过调用数据管道配置作业，减少了不必要的计算时间，并且，在进行数据更改时，确定数据管道的识别码，根据数据管道的识别码可以快速查看数据管道中的第一数据，并进行更改，提高了数据管理效率。
在一个可选的实施例中，所述在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据包括：
根据业务需求确定每个数据管道配置的作业信息；根据所述每个数据管道配置的作业信息从所述第一数据中调用对应的目标数据源信息；
根据所述目标数据源信息配置作业，并执行所述作业；
当监控到所述作业执行完成时，获取第二数据。
具体地，所述作业信息可以包括作业类型、作业名称、作用状态、开始日期、结束日期和参考日历等。
本实施例中，所述目标数据信息源信息可以包括数据表名、目的库、提取模式、管道ID、数据源、管道名称及导入模式等。
S17，将所述第二数据加载至数据展示层，并在所述数据展示层展示所述第二数据。
本实施例中，所述数据展示层用于展示分析后的数据，具体地，所述展示层展示的第二数据可以为图像格式、表格格式及业务需求定制的展示格式，本实施例在此不做限制。
在一个可选的实施例中，所述在所述数据展示层展示所述第二数据包括：
识别所述业务需求中的数据展示类型；
根据所述数据展示类型在所述数据展示层中展示所述第二数据。
本实施例中，所述数据展示类型可以包括：数据集市展示类型和指标库展示类型，当确定所述业务需求中的数据展示类型为数据集市展示类型时，将所述第二数据按照数据集市进行展示；当确定所述业务需求中的数据展示类型为指标库展示类型时，将所述第二数据按照指标库展示类型进行展示。
本实施例中，在展示层根据业务需求中的数据展示类型展示第二数据，提高了展示的多样性和灵活性。
S18，当所述待分析数据不满足预设的质量要求，或当确定所述待分析数据不满足所述业务需求中的数据规则要求时，获取异常结果，并按照预设的发送方式发送所述异常结果至运营人员。
本实施例中，所述异常结果可以包括数据主题、异常的业务属性标签、异常的业务属性标签关联的业务内容及异常的业务属性标签的位置坐标。
进一步地，所述按照预设的发送方式发送所述异常结果至运营人员包括：
识别所述数据主题对应的运维人员识别码，并按照预设的发送方式发送所述异常结果至所述运维人员识别码对应的运维人员。
本实施例中，可以预先设置发送方式，例如，所述预设的发送方式可以为实时触发系统邮件进行发送、定时触发系统邮件进行发送、实时触发短信方式发送、定时触发短信方式发送、实时触发微信方式发送或者定时触发微信方式发送。
在其他一些可选的实施例中，所述按照预设的发送方式发送所述异常结果至运营人员包括：
识别所述异常结果的异常等级，根据所述异常等级从所述数据主题对应的运维人员中确定出目标运维人员，并根据预设的发送方式发送所述异常结果至所述目标运维人员，其中，所述异常等级包括：复杂、一般、简单，所述目标运维人员包含有一个或者多个。例如，当异常结果的异常等级为复杂时，从所述数据主题对应的运维人员中匹配出等级较高的多个运维人员，并将所述等级较高的多个运维人员确定为目标运维人员；当异常结果的异常等级为简单时，从所述数据主题对应的运维人员中匹配出等级较第的一个运维人员，并将所述等级较第的一个运维人员确定为目标运维人员。通过根据异常等级确定目标运维人员，避免了人力浪费，提高了运维效率。
综上所述，本实施例所述的大数据分析方法，一方面，当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理得到第一数据，通过对数据仓库中的待分析数据进行清洗、过滤和计算得到第一数据，将同一个数据主题的数据统一口径，便于第一数据的管理，确保第一数据的准确性和完整性，进而提高了后续分析结果的准确率；另一方面，监控所述待分析数据是否满足预设的质量要求和业务需求中的数据规则要求，通过监控待分析数据本身的质量，及监控待分析数据是否满足业务需求，从两个维度对待分析数据进行了监控，确保了待分析数据的准确率，避免后续使用所述待分析数据进行数据分析时出现分析结果准确率低的现象；最后，将所述第二数据加载至数据展示层，在所述数据展示层展示所述第二数据，通过根据业务需求中的数据展示类型展示第二数据，提高了展示的多样性和灵活性。
实施例二
图2是本发明实施例二提供的大数据分析装置的结构图。
在一些实施例中，所述大数据分析装置20可以包括多个由程序代码段所组成的功能模块。所述大数据分析装置20中的各个程序段的程序代码可以存储于电子设备的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)大数据分析的功能。
本实施例中，所述大数据分析装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：解析模块201、第一监控模块202、第二监控模块203、预处理模块204、读取模块205、执行模块206及展示模块207。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
解析模块201，用于解析数据分析请求，以获取业务需求，并根据所述业务需求中的数据主题获取待分析数据。
本实施例中，业务在进行数据分析时，通过客户端发起数据分析请求至服务端，具体地，所述客户端可以是智能手机、IPAD或者其他现有的智能设备，所述服务端可以为数据分析子系统，在数据分析过程中，如所述客户端可以向数据分析子系统发送数据分析请求，所述数据分析子系统用于接收所述客户端发送的数据分析请求。
本实施例中，服务端解析数据分析请求中的报文信息，根据报文信息获取业务需求，具体地，所述业务需求中包含有数据主题、质量监控规则、指标、指标对应的计算规则、读数据任务及数据展示类型等。
在一个可选的实施例中，在所述解析模块201根据所述业务需求中的数据主题获取待分析数据之前，根据预设的数据主题将数据集市中的预设的数据源划分为多个目标数据源，其中，每个目标数据源中包含有至少一个预设的数据源；
获取所述数据主题对应的目标数据源，从所述业务需求中的数据主题对应的目标数据源中获取待分析数据。
本实施例中，所述预设的数据源可以包括资讯系统SMDB、资管系统、KYP系统、偿二代系统、RM系统、RMS系统、投数平台、EXCEL导入系统等其他数据源，根据数据主题将所述多个预设的数据源进行归类，其中，每个数据主题可以包括一个或者多个预设的数据源，将所述一个或者多个预设的数据源作为一个目标数据源。
在一个可选的实施例中，所述解析模块201根据所述业务需求中的数据主题获取待分析数据包括：
从预设的主题库中确定出与所述业务需求中的数据主题匹配的目标数据源的目标识别码；
根据所述目标数据源的目标识别码获取对应的调用接口；
通过所述调用接口调用获取策略，根据所述获取策略获取所述数据主题对应的待分析数据。
本实施例中，所述目标数据源的目标识别码用以唯一识别目标数据源，每个目标数据源对应一个调用接口，从数据主题对应的目标数据源的调用接口获取待分析数据，不会出现获取待分析数据时出现数据堵塞的现象，确保待分析数据的获取效率及准确率。
第一监控模块202，用于监控所述待分析数据是否满足预设的质量要求。
本实施例中，可以预先设置质量要求，具体地，预设的质量要求用于表征获取到的待分析数据的本身是否存在缺失，或者不符合数据本身的要求，例如：库存现金中包含有资产代码M，组合群代码N及账面价值Q，而获取的待分析数据中的库存现金只包含资产代码M和账面价值Q，缺失组合群代码，不满足预设的质量要求。
在一个可选的实施例中，所述第一监控模块202监控所述待分析数据是否满足预设的质量要求包括：
解析所述待分析数据，以获取所述数据主题对应的多个业务属性标签及每个所述业务属性标签对应的业务内容，并将每个所述业务属性标签与对应的业务内容进行关联；
根据所述多个业务属性标签确定位于所述数据主题的预设的业务模板对应的位置坐标，及将关联后的多个所述业务属性标签写入所述预设的业务模板，得到目标业务模板；
采用所述业务主题对应的预设的正则模板，匹配所述目标业务模板中对应位置坐标的业务内容；
判断每个位置坐标的业务内容是否与所述预设的正则模板对应位置坐标的正则表达式匹配；
当每个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式匹配时，确定所述待分析数据满足预设的质量要求；或者
当任意一个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式不匹配时，确定所述待分析数据不满足预设的质量要求。
具体地，所述业务内容包括以下任意一种或者多种组合：字段名称、字段名及字段类型、备注、数据说明。
本实施例中，所述业务属性标签是指用于表征表类别，每个表类别对应有业务内容。将所述数据主题对应的待分析数据嵌入至目标业务模板中，采用预设的正则模板与所述目标业务模板进行匹配，确定所述待分析数据是否满足预设的质量要求，通过从业务数据本身的质量进行监控，确保获取到的待分析数据是可用的数据，提高了待分析数据的准确率。
第二监控模块203，用于当监控到所述待分析数据满足所述预设的质量要求时，根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求。
本实施例中，业务需求中包含有数据规则要求，对所述待分析数据采用业务需求中的质量监控规则进行监控，确定所述待分析数据是否满足所述数据规则要求。
在一个可选的实施例中，所述第二监控模块203根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求包括：
解析所述业务需求中的质量监控规则；
采用所述质量监控规则监控所述待分析数据；
当所述待分析数据通过所述质量监控规则时，确定所述待分析数据满足所述业务需求中的数据规则要求；或者
当所述待分析数据未通过所述质量监控规则时，确定所述待分析数据不满足所述业务需求中的数据规则要求。
本实施例中，所述质量监控规则包括完整性监控和及时性监控，具体地，所述完整性监控具体用于监控所述待分析数据是否完整，即获取的待分析数据是否满足业务需求中的数据获取范围要求；及所述及时性监控具体用于监控所述待分析数据是否及时，即获取的待分析数据是否满足业务需求中的时间要求。
本实施例中，通过监控待分析数据本身的质量，及监控待分析数据是否满足业务需求，从两个维度对待分析数据进行了监控，确保了待分析数据的准确率，避免后续使用所述待分析数据进行数据分析时出现分析结果准确率低的现象。
预处理模块204，用于当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据。
本实施例中，所述数据仓库用于对所述待分析数据进行预处理，具体地，所述预处理可以包括对数据进行清洗、过滤及计算。
在一个可选的实施例中，所述预处理模块204在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据包括：
获取所述数据主题对应的预设的数据清洗规则和预设的数据过滤规则；
按照所述预设的数据清洗规则清洗所述待分析数据，及按照所述预设的数据过滤规则对清洗过的待分析数据进行过滤；
将过滤后的待分析数据转换为预设类型的结构化数据；
获取所述业务需求中的每个指标的计算规则，根据结构化数据和所述每个指标的计算规则，计算每个指标的指标值；
将所述结构化数据和所述每个指标的指标值确定为所述第一数据。
本实施例中，通过对数据仓库中的待分析数据进行清洗、过滤和计算得到第一数据，将同一个数据主题的数据统一口径，便于第一数据的管理，确保第一数据的准确性和完整性，进而提高了后续分析结果的准确率。
读取模块205，用于将所述第一数据读取至对应的数据管道，并将所述数据管道中的数据写入数据落地层。
本实施例中，由于所述第一数据可能是从不同的预设的数据源中获取的，每个预设的数据源对应一个数据管道，故通过读业务需求中的读数据任务读取所述第一数据，并将所述第一数据读取至对应的数据管道，并将数据管道中的数据写入数据落地层。
本实施例中，所述数据落地层用于接收所述第一数据，并进行保存，本实施例所述的数据落地层可以为风控系统ODS层。
执行模块206，用于在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据。
本实施例中，所述作业可以为相同的作业，也可以为不同的作业，根据业务需求中的要求配置作业，具体地，所述作业可以为按照报表或者数据主题归类，通过调用数据管道配置作业，减少了不必要的计算时间，并且，在进行数据更改时，确定数据管道的识别码，根据数据管道的识别码可以快速查看数据管道中的第一数据，并进行更改，提高了数据管理效率。
在一个可选的实施例中，所述执行模块206在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据包括：
根据业务需求确定每个数据管道配置的作业信息；根据所述每个数据管道配置的作业信息从所述第一数据中调用对应的目标数据源信息；
根据所述目标数据源信息配置作业，并执行所述作业；
当监控到所述作业执行完成时，获取第二数据。
具体地，所述作业信息可以包括作业类型、作业名称、作用状态、开始日期、结束日期和参考日历等。
本实施例中，所述目标数据信息源信息可以包括数据表名、目的库、提取模式、管道ID、数据源、管道名称及导入模式等。
展示模块207，用于将所述第二数据加载至数据展示层，并在所述数据展示层展示所述第二数据。
本实施例中，所述数据展示层用于展示分析后的数据，具体地，所述展示层展示的第二数据可以为图像格式、表格格式及业务需求定制的展示格式，本实施例在此不做限制。
在一个可选的实施例中，所述展示模块207在所述数据展示层展示所述第二数据包括：
识别所述业务需求中的数据展示类型；
根据所述数据展示类型在所述数据展示层中展示所述第二数据。
本实施例中，所述数据展示类型可以包括：数据集市展示类型和指标库展示类型，当确定所述业务需求中的数据展示类型为数据集市展示类型时，将所述第二数据按照数据集市进行展示；当确定所述业务需求中的数据展示类型为指标库展示类型时，将所述第二数据按照指标库展示类型进行展示。
本实施例中，在展示层根据业务需求中的数据展示类型展示第二数据，提高了展示的多样性和灵活性。
进一步地，当所述待分析数据不满足预设的质量要求，或当确定所述待分析数据不满足所述业务需求中的数据规则要求时，获取异常结果，并按照预设的发送方式发送所述异常结果至运营人员。
本实施例中，所述异常结果可以包括数据主题、异常的业务属性标签、异常的业务属性标签关联的业务内容及异常的业务属性标签的位置坐标。
进一步地，所述按照预设的发送方式发送所述异常结果至运营人员包括：
识别所述数据主题对应的运维人员识别码，并按照预设的发送方式发送所述异常结果至所述运维人员识别码对应的运维人员。
本实施例中，可以预先设置发送方式，例如，所述预设的发送方式可以为实时触发系统邮件进行发送、定时触发系统邮件进行发送、实时触发短信方式发送、定时触发短信方式发送、实时触发微信方式发送或者定时触发微信方式发送。
在其他一些可选的实施例中，所述按照预设的发送方式发送所述异常结果至运营人员包括：
识别所述异常结果的异常等级，根据所述异常等级从所述数据主题对应的运维人员中确定出目标运维人员，并根据预设的发送方式发送所述异常结果至所述目标运维人员，其中，所述异常等级包括：复杂、一般、简单，所述目标运维人员包含有一个或者多个。例如，当异常结果的异常等级为复杂时，从所述数据主题对应的运维人员中匹配出等级较高的多个运维人员，并将所述等级较高的多个运维人员确定为目标运维人员；当异常结果的异常等级为简单时，从所述数据主题对应的运维人员中匹配出等级较第的一个运维人员，并将所述等级较第的一个运维人员确定为目标运维人员。通过根据异常等级确定目标运维人员，避免了人力浪费，提高了运维效率。
综上所述，本实施例所述的大数据分析装置，一方面，当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理得到第一数据，通过对数据仓库中的待分析数据进行清洗、过滤和计算得到第一数据，将同一个数据主题的数据统一口径，便于第一数据的管理，确保第一数据的准确性和完整性，进而提高了后续分析结果的准确率；另一方面，监控所述待分析数据是否满足预设的质量要求和业务需求中的数据规则要求，通过监控待分析数据本身的质量，及监控待分析数据是否满足业务需求，从两个维度对待分析数据进行了监控，确保了待分析数据的准确率，避免后续使用所述待分析数据进行数据分析时出现分析结果准确率低的现象；最后，将所述第二数据加载至数据展示层，在所述数据展示层展示所述第二数据，通过根据业务需求中的数据展示类型展示第二数据，提高了展示的多样性和灵活性。
实施例三
参阅图3所示，为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中，所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述电子设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述电子设备3中的大数据分析装置20，并在电子设备3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述电子设备3的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述电子设备3还可以包括给各个部件供电的电源(比如电池)，可选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述电子设备3的操作装置以及安装的各类应用程序(如所述的大数据分析装置20)、程序代码等，例如，上述的各个模块。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到大数据分析的目的。
示例性的，所述程序代码可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器32执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述程序代码在所述电子设备3中的执行过程。例如，所述程序代码可以被分割成解析模块201、第一监控模块202、第二监控模块203、预处理模块204、读取模块205、执行模块206及展示模块207。
在本发明的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以实现大数据分析的功能。
具体地，所述至少一个处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种大数据分析方法，其特征在于，所述方法包括：
解析数据分析请求，以获取业务需求，并根据所述业务需求中的数据主题获取待分析数据；
监控所述待分析数据是否满足预设的质量要求；
当监控到所述待分析数据满足所述预设的质量要求时，根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求；
当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据；
将所述第一数据读取至对应的数据管道，并将所述数据管道中的数据写入数据落地层；
在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据；
将所述第二数据加载至数据展示层，并在所述数据展示层展示所述第二数据。
2.如权利要求1所述的大数据分析方法，其特征在于，所述在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据，包括：
根据业务需求确定每个数据管道配置的作业信息；根据所述每个数据管道配置的作业信息从所述第一数据中调用对应的目标数据源信息；
根据所述目标数据源信息配置作业，并执行所述作业；
当监控到所述作业执行完成时，获取第二数据。
3.如权利要求1所述的大数据分析方法，其特征在于，所述根据所述业务需求中的数据主题获取待分析数据包括：
从预设的主题库中确定出与所述业务需求中的数据主题匹配的目标数据源的目标识别码；
根据所述目标数据源的目标识别码获取对应的调用接口；
通过所述调用接口调用获取策略，根据所述获取策略获取所述数据主题对应的待分析数据。
4.如权利要求1所述的大数据分析方法，其特征在于，所述监控所述待分析数据是否满足预设的质量要求包括：
解析所述待分析数据，以获取所述数据主题对应的多个业务属性标签及每个所述业务属性标签对应的业务内容，并将每个所述业务属性标签与对应的业务内容进行关联；
根据所述多个业务属性标签确定位于所述数据主题的预设的业务模板对应的位置坐标，及将关联后的多个所述业务属性标签写入所述预设的业务模板，得到目标业务模板；
采用所述业务主题对应的预设的正则模板，匹配所述目标业务模板中对应位置坐标的业务内容；
判断每个位置坐标的业务内容是否与所述预设的正则模板对应位置坐标的正则表达式匹配；
当每个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式匹配时，确定所述待分析数据满足预设的质量要求；或者
当任意一个位置坐标的业务内容与所述预设的正则模板对应位置坐标的正则表达式不匹配时，确定所述待分析数据不满足预设的质量要求。
5.如权利要求1所述的大数据分析方法，其特征在于，所述根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求包括：
解析所述业务需求中的质量监控规则；
采用所述质量监控规则监控所述待分析数据；
当所述待分析数据通过所述质量监控规则时，确定所述待分析数据满足所述业务需求中的数据规则要求；或者
当所述待分析数据未通过所述质量监控规则时，确定所述待分析数据不满足所述业务需求中的数据规则要求。
6.如权利要求1所述的大数据分析方法，其特征在于，所述在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据包括：
获取所述数据主题对应的预设的数据清洗规则和预设的数据过滤规则；
按照所述预设的数据清洗规则清洗所述待分析数据，及按照所述预设的数据过滤规则对清洗过的待分析数据进行过滤；
将过滤后的待分析数据转换为预设类型的结构化数据；
获取所述业务需求中的每个指标的计算规则，根据结构化数据和所述每个指标的计算规则，计算每个指标的指标值；
将所述结构化数据和所述每个指标的指标值确定为所述第一数据。
7.如权利要求1所述的大数据分析方法，其特征在于，所述在所述数据展示层展示所述第二数据包括：
识别所述业务需求中的数据展示类型；
根据所述数据展示类型在所述数据展示层中展示所述第二数据。
8.一种大数据分析装置，其特征在于，所述装置包括：
解析模块，用于解析数据分析请求，以获取业务需求，并根据所述业务需求中的数据主题获取待分析数据；
第一监控模块，用于监控所述待分析数据是否满足预设的质量要求；
第二监控模块，用于当监控到所述待分析数据满足所述预设的质量要求时，根据所述业务需求中的质量监控规则监控所述待分析数据是否满足业务需求中的数据规则要求；
预处理模块，用于当监控到所述待分析数据满足所述业务需求中的数据规则要求时，将所述待分析数据推送至数据仓库中，在所述数据仓库中对所述待分析数据进行预处理后，确定第一数据；
读取模块，用于将所述第一数据读取至对应的数据管道，并将所述数据管道中的数据写入数据落地层；
执行模块，用于在所述数据落地层中调用所述数据管道配置作业，并执行所述作业，得到第二数据；
展示模块，用于将所述第二数据加载至数据展示层，并在所述数据展示层展示所述第二数据。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的大数据分析方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的大数据分析方法。
CN202110703678.6A 2021-06-24 2021-06-24 大数据分析方法、装置、电子设备及存储介质 Pending CN113268478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110703678.6A CN113268478A (zh) 2021-06-24 2021-06-24 大数据分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110703678.6A CN113268478A (zh) 2021-06-24 2021-06-24 大数据分析方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113268478A true CN113268478A (zh) 2021-08-17

Family

ID=77235836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110703678.6A Pending CN113268478A (zh) 2021-06-24 2021-06-24 大数据分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113268478A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754206B1 (en) * 2016-07-01 2017-09-05 Intraspexion Inc. Using classified text and deep learning algorithms to identify drafting risks in a document and provide early warning
CN107341632A (zh) * 2017-06-19 2017-11-10 上海德启信息科技有限公司 一种基于用户需求的数据获取方法及装置
CN107967347A (zh) * 2017-12-07 2018-04-27 湖北三新文化传媒有限公司 批量数据处理方法、服务器、系统及存储介质
CN110737653A (zh) * 2019-10-17 2020-01-31 天津锐网科技股份有限公司 一种基于微服务的一体化企业数据处理系统及方法
CN112926296A (zh) * 2021-03-30 2021-06-08 平安科技（深圳）有限公司 数据校验方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754206B1 (en) * 2016-07-01 2017-09-05 Intraspexion Inc. Using classified text and deep learning algorithms to identify drafting risks in a document and provide early warning
CN107341632A (zh) * 2017-06-19 2017-11-10 上海德启信息科技有限公司 一种基于用户需求的数据获取方法及装置
CN107967347A (zh) * 2017-12-07 2018-04-27 湖北三新文化传媒有限公司 批量数据处理方法、服务器、系统及存储介质
CN110737653A (zh) * 2019-10-17 2020-01-31 天津锐网科技股份有限公司 一种基于微服务的一体化企业数据处理系统及方法
CN112926296A (zh) * 2021-03-30 2021-06-08 平安科技（深圳）有限公司 数据校验方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111754123B (zh) 数据监控方法、装置、计算机设备及存储介质
CN113282795A (zh) 数据结构图生成及更新方法、装置、电子设备及存储介质
CN113256108A (zh) 人力资源分配方法、装置、电子设备及存储介质
CN112256783A (zh) 数据导出方法、装置、电子设备及存储介质
CN112612462A (zh) 话术配置调整方法、装置、电子设备及存储介质
CN113379391A (zh) 工单处理方法、装置、电子设备及计算机可读存储介质
CN111401691A (zh) 业务进度监控方法、装置及计算机可读存储介质
CN110018932A (zh) 一种容器磁盘的监控方法及装置
CN112286762A (zh) 基于云环境的系统信息分析方法、装置、电子设备及介质
CN115147031B (zh) 清算工作流执行方法、装置、设备及介质
CN115471215B (zh) 一种业务流程处理方法及装置
CN114881313A (zh) 基于人工智能的行为预测方法、装置及相关设备
CN113268478A (zh) 大数据分析方法、装置、电子设备及存储介质
CN115237706A (zh) 埋点数据处理方法、装置、电子设备及存储介质
CN114925674A (zh) 文件合规性检查方法、装置、电子设备及存储介质
CN113674065A (zh) 基于服务触点的业务推荐方法、装置、电子设备及介质
CN113918296A (zh) 模型训练任务调度执行方法、装置、电子设备及存储介质
CN113469649A (zh) 项目进度分析方法、装置、电子设备及存储介质
CN113282282B (zh) 业务需求表单发布方法、装置、电子设备及存储介质
CN114637564B (zh) 数据可视化方法、装置、电子设备及存储介质
CN113254728B (zh) 任务信息展示方法、装置、电子设备及存储介质
CN112905470A (zh) 接口调用方法、装置、计算机设备及介质
CN114817145A (zh) 基于定时任务的报表查询方法、装置、设备及存储介质
CN114461717A (zh) 自动化数据对比方法、装置、电子设备及存储介质
CN113722590A (zh) 基于人工智能的医学信息推荐方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817

RJ01 Rejection of invention patent application after publication