CN117290183A - 基于etl实现跨系统异常监控处理方法、装置 - Google Patents

基于etl实现跨系统异常监控处理方法、装置 Download PDF

Info

Publication number
CN117290183A
CN117290183A CN202311267343.XA CN202311267343A CN117290183A CN 117290183 A CN117290183 A CN 117290183A CN 202311267343 A CN202311267343 A CN 202311267343A CN 117290183 A CN117290183 A CN 117290183A
Authority
CN
China
Prior art keywords
data
exception
abnormal
monitoring
link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311267343.XA
Other languages
English (en)
Inventor
谢凤
王雷
冯轲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN202311267343.XA priority Critical patent/CN117290183A/zh
Publication of CN117290183A publication Critical patent/CN117290183A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于ETL实现跨系统异常监控处理方法、装置,包括:预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;当监控到数据异常发生时,从各节点数据中抽取异常数据;对抽取的各节点的异常数据,进行转换和清洗;根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决。本发明缩短了订单流转链路,提高了订单流转效果,并且也提高了订单查询效率。

Description

基于ETL实现跨系统异常监控处理方法、装置
技术领域
本发明涉及互联网计算机技术领域,尤其涉及的是一种基于ETL实现跨系统异常监控处理方法、装置、智能终端及存储介质。
背景技术
在销售领域,运营人员能及时发现用户在购买过程中的问题并及时处理尤为重要,能很大程度提升用户体验。但在整个销售过程中,涉及到很多系统如:商城系统、中台OMS系统(网络订单管理系统)、中台WMS系统(仓库管理系统)、中台BMS系统(电池管理系统)、SAP系统(企业资源管理软件系统)等,一个订单流转链路很长,查询订单异常繁琐。
因此,现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于ETL实现跨系统异常监控处理方法、装置、智能终端及存储介质,本发明缩短了订单流转链路,提高了订单流转效果,并且也提高了订单查询效率。
本发明解决问题所采用的技术方案如下:
一种基于ETL实现跨系统异常监控处理方法,其中,包括:
预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;
当监控到数据异常发生时,从各节点数据中抽取异常数据;
对抽取的各节点的异常数据,进行转换和清洗;
根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决;
将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控。
所述的基于ETL实现跨系统异常监控处理方法,其中,所述预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路的步骤包括:
预先梳理销售链路横跨系统及涉及模块,以及梳理各系统及模块间数据流程逻辑;把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
将销售过程中的前端、中端和后端各个系统的数据进行整合,并将销售链路上的各个环节整合成一个完整的链路。
所述的基于ETL实现跨系统异常监控处理方法,其中,所述根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控的步骤包括:
基于业务需求和系统特点设定异常监控规则;
根据设定好的异常监控规则,对整理后的销售链路数据进行监控。
所述的基于ETL实现跨系统异常监控处理方法,其中,所述当监控到数据异常发生时,从各节点数据中抽取异常数据的步骤包括:
当监控到数据异常发生时,向指定的运营人员终端发送警报提醒或通知,并界面化展示出数据流程信息;
根据监控系统的警报提醒或通知的相关信息或日志、定位到异常发生的具体节点,确定出现异常的数据节点,梳理各数据异常节点。
所述的基于ETL实现跨系统异常监控处理方法,其中,所述对抽取的各节点的异常数据,进行转换和清洗的步骤包括:
将抽取的异常数据转换为统一的数据格式;
对抽取的异常数据进行清洗,去除无效、重复或错误的数据。
所述的基于ETL实现跨系统异常监控处理方法,其中,所述根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决的步骤包括:
根据异常处理规则和逻辑,将异常数据进行分类;
并对分类后的异常数据进行标记,通过添加特定的标记或标签来实现,以指示数据是异常数据;
对标记的异常数据进行进一步的分析,包括统计异常数据的频率、分布、趋势;
根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决。
所述的基于ETL实现跨系统异常监控处理方法,其中,所述将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控的步骤包括:
将处理后的异常数据导入到目标系统中,其中,所述目标系统包括数据仓库、数据库、分析平台或监控系统;
将异常数据存储在目标系统的指定位置,并为异常数据建立索引。
一种基于ETL实现跨系统异常监控处理装置,其中,所述装置包括:
预先设置模块,用于预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
异常监控模块,用于根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;
数据抽取模块,用于当监控到数据异常发生时,从各节点数据中抽取异常数据;
数据转换与清洗模块,用于对抽取的各节点的异常数据,进行转换和清洗;
数据分类与异常解决模块,用于根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决;
异常数据加载与存储模块,用于将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控。
一种智能终端,其中,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行任意一项所述的方法。
一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行任意一项所述的方法。
本发明的有益效果:本发明提供了一种基于ETL实现跨系统异常监控处理方法、装置,本发明把销售链路整成一整条链路,针对此链路中各节点数据进行异常监控;本发明缩短了订单流转链路,提高了订单流转效果,并且也提高了订单查询效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于ETL实现跨系统异常监控处理方法的流程示意图。
图2是本发明具体应用实施例提供的基于ETL实现跨系统异常监控处理方法的主处理流程示意图。
图3是本发明具体应用实施例提供的基于ETL实现跨系统异常监控处理方法的前台-中台-后台系统连接示意图。
图4是本发明具体应用实施例提供的基于ETL实现跨系统异常监控处理方法的处理流程示意图。
图5是本发明实施例提供的基于ETL实现跨系统异常监控处理装置的原理框图。
图6是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明,若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
随着数字化技术的快速发展,数字化技术作为企业高质量发展的重要生产力,发挥着越来越重要的作用。在销售领域,运营人员能及时发现用户在购买过程中的问题并及时处理尤为重要,能很大程度提升用户体验。但在整个销售过程中,涉及到很多系统如:商城系统、中台OMS系统(网络订单管理系统)、中台WMS系统(仓库管理系统)、中台BMS系统(电池管理系统)、SAP系统(企业资源管理软件系统)等,一个订单流转链路很长,查询订单异常繁琐。
本发明提供了一种基于ETL实现跨系统异常监控处理方法,基于业态,把销售链路整成一整条链路,针对此链路中各节点数据进行异常监控,本发明实施例基于ETL实现跨系统异常监控处理方法是指利用ETL(Extract,Transform,Load)技术来实现对跨系统异常的监控和处理的方法;其中,ETL是一种数据集成和处理的技术,包括数据的抽取(Extract)、转换(Transform)和加载(Load)三个步骤。本发明在跨系统异常监控处理中,利用ETL技术来实现以下几个主要步骤:
1.数据抽取:从各个系统中抽取异常数据。可以通过连接到不同系统的数据源,例如如图2所示,数据源或数据库、日志文件、其他API接口等,来获取异常数据。
2.数据转换:对抽取的异常数据进行转换和清洗。这包括对数据进行格式化、过滤、去重、合并等操作,以确保数据的一致性和准确性。
3.异常处理:根据预先定义的异常处理规则和逻辑,对转换后的异常数据进行处理。可以对异常数据进行分类、标记、分析等操作,以识别和处理不同类型的异常。
4.数据加载:将处理后的异常数据加载到目标系统(如图2
所示可以为目标数据源)中,供后续的监控和分析使用。其中,异常数据抽取、转换、加载处理的都是异常的临时数据。可以将数据加载到数据库、数据仓库、监控系统等目标数据源中,以实现对异常数据的实时或定时监控。
本发明通过基于ETL实现跨系统异常监控处理方法,可以实现对跨系统异常的全面监控和处理。ETL技术可以帮助提取、清洗和转换异常数据,同时还可以根据预定义的规则和逻辑进行异常处理。这样可以及时发现和处理系统中的异常情况,提高系统的稳定性和可靠性,减少对业务的影响。
以下通过具体应用实施例对本发明做进一步详细说明:示例性方法
如图1所示,本发明实施例1的一种基于ETL实现跨系统异常监控处理方法,包括以下步骤:
步骤S100、预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
本发明实施例中,如图3和图4所示,需要预先梳理销售链路横跨系统及涉及模块,以及梳理各系统及模块间数据流程逻辑;把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;可以将销售过程中的前端、中端和后端各个系统的数据进行整合,并将销售链路上的各个环节整合成一个完整的链路。
本发明实施例中,预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路是指在销售过程中,将前端、中端和后端各个系统的数据进行整合,并将销售链路上的各个环节整合成一个完整的链路。
关于前端数据整合:如图3所示,前端系统(前台系统)包括零售,分销、电商平台等系统。在销售链路中,需要将这些前端系统的数据整合起来,如图4所示,前端数据包括零售,分销、电商平台数据,以及市场推广数据、潜在客户数据等。通过整合前端数据,可以实现对潜在客户的跟踪和分析,以及对市场营销活动的效果评估。
关于中端数据整合:如图3所示,中端系统(中台系统)包括中台订单中心(OMS)、中台仓储中心(WMS)、以及中台结算中心(BMS)等系统。在销售链路中,需要将这些中端系统的数据整合起来,如图4所示,中端数据包括中台订单中心(OMS)数据、中台仓储中心(WMS)数据、中台结算中心(BMS)数据、以及供应商数据、订单数据、库存数据、结算数据等。通过整合中端数据,可以实现对供应链的可视化和监控,以及对库存和物流的优化和控制。
关于后端数据整合:后端系统(后台系统)包括SAP-SD(销售模块。在销售链路中,需要将这些后端系统的数据整合起来,包括销售数据、财务数据、人力资源数据、客户服务数据等。通过整合后端数据,可以实现对销售收入、成本和利润的分析和控制,以及对人力资源和客户服务的管理和优化。
然后进行销售链路整合:销售链路包括前端的市场推广、中端的供应链管理和后端的财务管理等环节。通过整合前中后的各个系统数据,可以将销售链路上的各个环节整合成一个完整的链路。这样可以实现对整个销售过程的可视化和监控,以及对销售链路上的各个环节进行优化和改进。
本发明通过预先将前中后的各系统数据进行整合,并将销售链路整合成一整条链路,可以实现对销售过程的全面掌控和管理。这有助于提高销售效率和客户满意度,同时也为企业的决策和战略提供了更准确的数据支持。
步骤S200、根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;
本步骤中,基于业务需求和系统特点设定异常监控规则;根据设定好的异常监控规则,对整理后的销售链路数据进行监控。
具体地,本发明实施例中,通过事先设定好的异常监控规则,对整合后的各个节点的数据例如整合后的销售链路进行异常监控。
销售链路可以包括多个节点,比如市场推广、订单处理、库存管理、物流配送等。每个节点都会产生相应的数据,比如销售额、订单量、库存量、配送时间等。为了及时发现和处理任何异常情况,需要设定异常监控规则。
异常监控规则可以根据业务需求和系统特点进行设定。例如,可以设定当某个节点的销售额超过预设的阈值、订单处理时间超过设定的时间限制、库存量低于设定的安全库存等情况时,就视为异常情况。
一旦设定好了异常监控规则,可以对整合后的销售链路中各个节点的数据进行监控。这可以通过实时监控、定时检查或自动化脚本等方式进行。如果发现任何异常情况,系统会立即发出警报或通知相关人员。
通过根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控,可以及时发现和处理销售链路中的异常情况。这有助于保证销售过程的正常运行,减少对业务的影响,并提高销售链路的可靠性和稳定性。
步骤S300、当监控到数据异常发生时,从各节点数据中抽取异常数据;
本步骤中,当监控到数据异常发生时,向指定的运营人员终端发送警报提醒或通知,并界面化展示出数据流程信息;然后可以根据监控系统的警报提醒或通知的相关信息或日志、定位到异常发生的具体节点,确定出现异常的数据节点,梳理各数据异常节点。
具体地,所述步骤S300可以包括以下细化步骤:
S301.监控数据异常:通过事先设定好的异常监控规则,监控系统会实时或定时地对销售链路中的数据进行监控。一旦发现任何异常情况,例如销售额超过阈值、订单处理时间超过限制、库存量低于安全库存等,监控系统会立即发出警报或通知相关人员。
S302.定位异常节点:根据监控系统的警报或通知,可以需要迅速定位到异常发生的具体节点。例如可以通过监控系统提供的相关信息或日志来进行,以确定是哪个节点的数据出现了异常。
S303.抽取异常数据:一旦定位到异常节点,需要从该节点的数据中抽取出异常数据,如图4所示,从数据源中直抽数据异常数据。这可以通过查询数据库、读取日志文件、调用API接口等方式进行。目的是将异常数据单独提取出来,以便后续的分析和处理。
S304.分析异常数据:抽取出的异常数据可以进行进一步的分析。这可能涉及到对异常数据的统计、比较、趋势分析等。通过分析异常数据,可以深入了解异常的原因和影响,并为后续的问题解决提供依据。
S305.处理异常数据:根据分析结果,需要制定相应的处理措施来解决异常问题。这可能包括与相关部门或人员的沟通、调整业务流程、修复系统问题等。目的是尽快恢复正常的销售链路运作,并防止类似的异常再次发生。
可见,本发明中通过从各个节点数据中抽取异常数据,可以更加精确地定位和处理销售链路中的异常情况。这有助于提高销售链路的可靠性和稳定性,保证销售过程的正常进行,并提供准确的数据支持给企业的决策和战略。
步骤S400、对抽取的各节点的异常数据,进行转换和清洗;
本步骤中,对抽取的各节点的异常数据,进行转换和清洗可以为将抽取的异常数据转换为统一的数据格式;对抽取的异常数据进行清洗,去除无效、重复或错误的数据。
本发明实施例,如图4所示,对抽取的各节点的异常数据进行转换和清洗是为了使数据更加规范、准确和易于分析。具体来说,转换和清洗的步骤包括以下几个方面:
S401、将抽取的异常数据转换为统一的数据格式,以便后续的处理和分析。这可能涉及到将数据从不同的文件格式(如CSV、Excel等)转换为统一的格式,或者将数据从不同的数据库中提取出来并转换为统一的结构。
如图4所示对直抽取的数据进行两次数据交换(即数据转换),其中,第一次数据交换(转换)包括ETL增量同步和ODS贴源层,第二次数据交换(数据转换)包括ETL和OW数据仓库层。通过ETL增量同步,ODS贴源层,将抽取的异常数据转换为统一的数据格式。
其中,ODS(Operational Data Store)贴源层是数据仓库架构中的一层,用于存储从源系统中提取的原始操作数据。
而ETL(Extract,Transform,Load)增量同步是指在数据仓库或数据集成系统中,将源系统中新增或更新的数据按照一定的规则和策略进行增量加载和同步的过程。具体来说,ETL增量同步包括以下几个步骤:
提取(Extract):从源系统中提取新增或更新的数据。这可以通过查询数据库、读取日志文件、调用API等方式实现,根据具体的数据源和数据类型选择合适的提取方法。
转换(Transform):对提取的数据进行转换和清洗。这包括数据格式转换、字段映射、数据合并、数据校验等操作,以确保数据的一致性和准确性。转换过程中可以应用一些业务规则和逻辑,对数据进行加工和修正。
增量同步:根据增量同步策略,将转换后的数据与目标系统中已有的数据进行比对和匹配,识别出新增或更新的数据。这可以根据唯一标识字段、时间戳字段或增量标记字段等进行匹配和比较。然后,将新增或更新的数据加载到目标系统中。
加载(Load):将增量同步的数据加载到目标系统中的合适位置。这可以是一个数据表、数据集合或数据文件,根据目标系统的结构和需求选择合适的加载方式。加载过程中可以应用一些数据校验和验证规则,确保数据的完整性和一致性。通过ETL增量同步,可以实现源系统与目标系统之间的数据实时或定时同步。
而第二次数据交换(数据转换)的ETL是指数据抽取(Extract)、数据转换(Transform)、数据加载(Load)的过程,在数据仓库和数据集成领域中被广泛应用。
数据抽取(Extract):从源系统中获取数据的过程。这包括连接到源系统、识别需要抽取的数据、选择合适的抽取方法(如全量抽取、增量抽取)等。数据抽取可以通过直接查询源系统的数据库、使用API接口、读取文件等方式进行。
数据转换(Transform):对抽取的数据进行清洗、整合和转换的过程。这包括数据清洗(如去除重复数据、处理缺失值)、数据整合(如数据合并、数据拆分)和数据转换(如数据格式转换、数据计算)。数据转换的目的是将源数据转化为符合目标系统的数据模型和规范。
数据加载(Load):将经过转换的数据加载到目标系统(如数据仓库)中的过程。这包括创建目标数据表、将转换后的数据插入目标表中,并进行必要的数据验证和质量控制。数据加载可以采用批量加载或者实时加载的方式,取决于数据的更新频率和实时性需求。
ETL过程是数据仓库和数据集成的核心环节,它将分散的、异构的数据源进行抽取、转换和加载,使数据变得一致、可用于分析和决策。ETL工具和技术的应用可以提高数据处理的效率、准确性和一致性,为企业提供高质量的数据基础。
OW数据仓库层(Operational Data Warehouse layer)是数据仓库架构中的一个重要组成部分,用于支持企业的实时运营活动和决策需求。
OW数据仓库层通常包括以下几个主要组件:
1.数据抽取(Data Extraction):从源系统中抽取数据,并进行必要的清洗和转换操作,以符合数据仓库的需求。这可以通过ETL(Extract,Transform,Load)等工具和技术来实现。
2.数据存储(Data Storage):将抽取的数据存储在数据仓库中,通常采用关系型数据库或者列式数据库等技术。数据存储可以按照不同的维度和层次进行组织,以支持快速查询和分析。
3.数据集成(Data Integration):将来自不同源系统的数据进行集成,建立统一的数据模型和结构。数据集成可以包括数据合并、数据转换、数据清洗等操作,以确保数据的一致性和准确性。
4.数据访问(Data Access):提供用户和应用程序对数据仓库中数据的访问接口和工具。这可以包括查询工具、报表生成工具、数据可视化工具等,以满足用户的查询、分析和报告需求。
OW数据仓库层的设计和实现需要根据企业的具体需求和业务场景进行调整和优化。它可以帮助企业实时监控和分析运营数据,支持实时决策和业务优化,提升企业的竞争力和运营效率。
S402、对抽取的异常数据进行清洗,去除无效、重复或错误的数据。这包括去除缺失值、处理异常值、修正错误数据等。清洗数据可以确保数据的质量,减少对后续分析的干扰。
如图4所示,本实施例具体对抽取的异常数据进行两道清洗步骤;其中,第一道数据清洗是系统间数据清理,第二道清洗是把数据整合一起后,做整体数据清理。
S403、对抽取的异常数据进行标准化,使其符合统一的规范和标准。这包括统一日期格式、单位转换、命名规范等。标准化数据可以提高数据的一致性和可比性,便于后续的数据分析和处理。
S404、将抽取的异常数据按照需要进行聚合,以得到更高层次的数据概览。例如,可以将每日的异常数据聚合为每周、每月或每年的数据,以便进行趋势分析和比较。
S405、对转换和清洗后的异常数据进行验证,确保数据的准确性和完整性。这可以通过与原始数据进行对比、使用统计方法进行验证等方式进行。
可见,本步骤中通过对抽取的异常数据进行转换和清洗,可以提高数据的质量和可用性,为后续的分析和处理提供更可靠的基础。这有助于发现异常的原因和影响,并制定相应的解决方案。
步骤S500、根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决;
本发明实施例,会根据异常处理规则和逻辑,将异常数据进行分类;并对分类后的异常数据进行标记,通过添加特定的标记或标签来实现,以指示数据是异常数据;对标记的异常数据进行进一步的分析,包括统计异常数据的频率、分布、趋势;根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决。
本步骤中,根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,可以通过以下几个步骤来对异常数据进行分类、标记和分析操作,以识别和处理不同类型的异常:
S501、根据异常处理规则和逻辑,将异常数据进行分类。这可以根据异常的性质、来源、影响等进行分类,以便后续的处理和分析。例如,可以将异常数据分为设备故障、网络问题、人为错误等不同类型的异常。
S502、对异常数据进行标记,以便后续的识别和处理。这可以通过添加特定的标记或标签来实现,以指示数据是异常数据。例如,可以在异常数据的相关字段中添加一个标记,如“异常”或“错误”。
S503、对标记的异常数据进行进一步的分析。这可以包括统计异常数据的频率、分布、趋势等,以了解异常发生的模式和规律。还可以比较不同类型的异常数据,找出其共同点和差异,以便制定相应的处理策略。
S504、根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决。本实施例中,对经常出的异常问题可以预先设置解决方案,当出现异常数据时,可以根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决,这可能包括自动修复设备故障、自动优化网络配置等。目的是尽快恢复正常的运行状态,并防止类似的异常再次发生。
如图4所示,在数据仓库进行数据分析,把各个地方的数据汇集到一起的集中分析处理,并可通过配置表配置需分析处理的条件。在数据仓库包括ETL和DM主题层。其中,DM主题层(Dimensional Model layer)是数据仓库架构中的一个重要组成部分,用于支持数据分析和决策支持的需求。
DM主题层通常采用维度建模(Dimensional Modeling)的方法,将数据按照业务主题进行组织和建模。它主要包括以下几个主要组件:
维度表(Dimension Tables):维度表描述了业务主题的各个维度,如时间、地理位置、产品等。维度表通常包含维度属性和层级关系,用于支持数据的分析和查询。
事实表(Fact Tables):事实表记录了与业务主题相关的度量和指标数据。它与维度表通过关联键进行连接,形成多维数据模型,用于支持数据的分析和聚合计算。
星型模型(Star Schema)或雪花模型(Snowflake Schema):DM主题层采用星型模型或雪花模型来组织维度表和事实表之间的关系。星型模型中,事实表位于中心,维度表围绕着事实表形成星型结构;雪花模型中,维度表可以进一步分解成多个层次,形成雪花状的结构。
数据聚合(Data Aggregation):DM主题层可以对事实表进行聚合计算,以提高查询性能和响应速度。聚合数据可以根据不同的维度和层次进行预计算,以满足不同粒度的数据分析需求。
DM主题层的设计和实现需要根据具体业务需求和数据特点进行调整和优化。它提供了灵活、易于理解和查询的数据模型,支持用户进行多维数据分析、报表生成和决策支持。DM主题层在数据仓库架构中起到了连接源系统和用户分析需求的桥梁作用。
BI主题域(Business Intelligence Subject Area)是指在商业智能(BusinessIntelligence)系统中,根据业务需求和数据特点划分的不同业务主题或领域。每个BI主题域包含一组相关的数据和指标,用于支持特定的业务分析和决策需求。
对应的分析结果可以通过邮件服务发送分析结果。
最后通过展示层显示数据分析结果,例如可以通过APP展示,PC展示或邮件通知。
本步骤中,通过对转换和清洗后的异常数据进行分类、标记和分析操作,可以更好地理解和处理不同类型的异常。这有助于提高异常处理的效率和准确性,降低异常对业务运行的影响,并为改进和优化销售链路提供数据支持和决策依据。
步骤S600、将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控。
本步骤中,将处理后的异常数据导入到目标系统中,其中,所述目标系统包括数据仓库、数据库、分析平台或监控系统;将异常数据存储在目标系统的指定位置,并为异常数据建立索引。
具体地,将处理后的异常数据加载到目标系统中,是为了方便后续对异常数据的监控和分析。这可以通过以下几个步骤来实现:
S601、将处理后的异常数据导入到目标系统中。目标系统可以是一个数据仓库、数据库、分析平台或监控系统等,根据具体需求选择适合的系统。
S602、将异常数据存储在目标系统的合适位置。这可以是一个专门的异常数据表或集合,或者是与其他相关数据进行关联的方式存储。
S603、为异常数据建立索引,以便后续的查询和检索。这可以根据异常数据的特点和需要选择合适的索引方式,如基于时间、设备、地理位置等。
S604、在目标系统中设置相应的监控机制,实时或定时地对异常数据进行监控。这可以通过设置警报、触发器或定时任务等方式实现,以便及时发现和处理异常情况。
S605、利用目标系统提供的分析功能,对异常数据进行进一步的分析。这可以包括统计异常数据的频率、分布、趋势等,以了解异常发生的模式和规律。还可以与其他相关数据进行关联和比较,找出异常的原因和影响。
这样,本发明通过将处理后的异常数据加载到目标系统中,可以实现对异常数据的实时或定时监控。这有助于及时发现和处理异常情况,提高业务的稳定性和可靠性。同时,还可以通过对异常数据的分析,找出潜在的问题和改进的机会,为业务的持续改进提供支持和指导。
示例性设备
如图5中所示,本发明实施例提供一种基于ETL实现跨系统异常监控处理装置,该装置包括:
预先设置模块310,用于预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
异常监控模块320,用于根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;
数据抽取模块330,用于当监控到数据异常发生时,从各节点数据中抽取异常数据;
数据转换与清洗模块340,用于对抽取的各节点的异常数据,进行转换和清洗;
数据分类与异常解决模块350,用于根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决;
异常数据加载与存储模块360,用于将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控,具体如上所述。
基于上述实施例,本发明还提供了一种智能终端,其原理框图可以如图6所示。该智能终端可以为智能电视,包括通过系统总线连接的处理器、存储器、网络接口、显示屏、数据库。其中,该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于ETL实现跨系统异常监控处理方法。该智能终端的数据库用于存储预先设置顺序工作流、状态工作流、规则驱动工作流三种模式的数据自动化流转方案,以及用于存储监测数据。
本领域技术人员可以理解,图6中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的智能终端的限定,具体的智能终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种智能终端,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;
当监控到数据异常发生时,从各节点数据中抽取异常数据;
对抽取的各节点的异常数据,进行转换和清洗;
根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决;
将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控。
其中,所述预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路的步骤包括:
预先梳理销售链路横跨系统及涉及模块,以及梳理各系统及模块间数据流程逻辑;把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
将销售过程中的前端、中端和后端各个系统的数据进行整合,并将销售链路上的各个环节整合成一个完整的链路。
其中,所述根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控的步骤包括:
基于业务需求和系统特点设定异常监控规则;
根据设定好的异常监控规则,对整理后的销售链路数据进行监控。
其中,所述当监控到数据异常发生时,从各节点数据中抽取异常数据的步骤包括:
当监控到数据异常发生时,向指定的运营人员终端发送警报提醒或通知,并界面化展示出数据流程信息;
根据监控系统的警报提醒或通知的相关信息或日志、定位到异常发生的具体节点,确定出现异常的数据节点,梳理各数据异常节点。
其中,所述对抽取的各节点的异常数据,进行转换和清洗的步骤包括:
将抽取的异常数据转换为统一的数据格式;
对抽取的异常数据进行清洗,去除无效、重复或错误的数据。
其中,所述根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决的步骤包括:
根据异常处理规则和逻辑,将异常数据进行分类;
并对分类后的异常数据进行标记,通过添加特定的标记或标签来实现,以指示数据是异常数据;
对标记的异常数据进行进一步的分析,包括统计异常数据的频率、分布、趋势;
根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决。
其中,所述将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控的步骤包括:
其中,所述目标系统包括数据仓库、数据库、分析平台或监控系统;
将异常数据存储在目标系统的指定位置,并为异常数据建立索引,具体如上所述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述,本发明公开了一种基于ETL实现跨系统异常监控处理方法、装置、智能终端及存储介质,包括:预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;当监控到数据异常发生时,从各节点数据中抽取异常数据;对抽取的各节点的异常数据,进行转换和清洗;根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决。本发明缩短了订单流转链路,提高了订单流转效果,并且也提高了订单查询效率。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于ETL实现跨系统异常监控处理方法,其特征在于,包括:
预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;
当监控到数据异常发生时,从各节点数据中抽取异常数据;
对抽取的各节点的异常数据,进行转换和清洗;
根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决;
将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控。
2.根据权利要求1所述的基于ETL实现跨系统异常监控处理方法,其特征在于,所述预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路的步骤包括:
预先梳理销售链路横跨系统及涉及模块,以及梳理各系统及模块间数据流程逻辑;把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
将销售过程中的前端、中端和后端各个系统的数据进行整合,并将销售链路上的各个环节整合成一个完整的链路。
3.根据权利要求1所述的基于ETL实现跨系统异常监控处理方法,其特征在于,所述根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控的步骤包括:
基于业务需求和系统特点设定异常监控规则;
根据设定好的异常监控规则,对整理后的销售链路数据进行监控。
4.根据权利要求1所述的基于ETL实现跨系统异常监控处理方法,其特征在于,所述当监控到数据异常发生时,从各节点数据中抽取异常数据的步骤包括:
当监控到数据异常发生时,向指定的运营人员终端发送警报提醒或通知,并界面化展示出数据流程信息;
根据监控系统的警报提醒或通知的相关信息或日志、定位到异常发生的具体节点,确定出现异常的数据节点,梳理各数据异常节点。
5.根据权利要求1所述的基于ETL实现跨系统异常监控处理方法,其特征在于,所述对抽取的各节点的异常数据,进行转换和清洗的步骤包括:
将抽取的异常数据转换为统一的数据格式;
对抽取的异常数据进行清洗,去除无效、重复或错误的数据。
6.根据权利要求1所述的基于ETL实现跨系统异常监控处理方法,其特征在于,所述根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决的步骤包括:
根据异常处理规则和逻辑,将异常数据进行分类;
并对分类后的异常数据进行标记,通过添加特定的标记或标签来实现,以指示数据是异常数据;
对标记的异常数据进行进一步的分析,包括统计异常数据的频率、分布、趋势;
根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决。
7.根据权利要求1所述的基于ETL实现跨系统异常监控处理方法,其特征在于,所述将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控的步骤包括:
将处理后的异常数据导入到目标系统中,其中,所述目标系统包括数据仓库、数据库、分析平台或监控系统;
将异常数据存储在目标系统的指定位置,并为异常数据建立索引。
8.一种基于ETL实现跨系统异常监控处理装置,其特征在于,所述装置包括:
预先设置模块,用于预先把前中后的各系统数据进行整合,并把销售链路整合成一整条链路;
异常监控模块,用于根据预先设置的异常监控规则,对整合后的销售链路中各节点数据进行异常监控;
数据抽取模块,用于当监控到数据异常发生时,从各节点数据中抽取异常数据;
数据转换与清洗模块,用于对抽取的各节点的异常数据,进行转换和清洗;
数据分类与异常解决模块,用于根据预先定义的异常处理规则和逻辑,对转换和清洗后的异常数据进行处理,对异常数据进行分类、标记、分析操作,以识别和处理不同类型的异常,并根据异常数据的分类和分析结果,查找预先制定的对应处理措施,进行异常问题的解决;
异常数据加载与存储模块,用于将处理后的异常数据加载到目标系统中,供后续的监控和分析使用,实现对异常数据的实时或定时监控。
9.一种智能终端,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-7中任意一项所述的方法。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
CN202311267343.XA 2023-09-27 2023-09-27 基于etl实现跨系统异常监控处理方法、装置 Pending CN117290183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311267343.XA CN117290183A (zh) 2023-09-27 2023-09-27 基于etl实现跨系统异常监控处理方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311267343.XA CN117290183A (zh) 2023-09-27 2023-09-27 基于etl实现跨系统异常监控处理方法、装置

Publications (1)

Publication Number Publication Date
CN117290183A true CN117290183A (zh) 2023-12-26

Family

ID=89258273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311267343.XA Pending CN117290183A (zh) 2023-09-27 2023-09-27 基于etl实现跨系统异常监控处理方法、装置

Country Status (1)

Country Link
CN (1) CN117290183A (zh)

Similar Documents

Publication Publication Date Title
US11625387B2 (en) Structuring data
WO2021052031A1 (zh) 基于统计四分位距的商品库存风险预警方法、系统及计算机可读存储介质
US11829365B2 (en) Systems and methods for data quality monitoring
US11093519B2 (en) Artificial intelligence (AI) based automatic data remediation
JP6707564B2 (ja) データ品質分析
US20200104186A1 (en) Executing algorithms in parallel
CN105868373B (zh) 电力业务信息系统关键数据处理方法及装置
WO2020062702A9 (zh) 短信发送的方法、装置、计算机设备和存储介质
CN109934268B (zh) 异常交易检测方法及系统
CN115423289B (zh) 智能板材加工车间数据处理方法及终端
CN110580572A (zh) 一种产品全寿命追溯系统
CN114880405A (zh) 一种基于数据湖的数据处理方法及系统
CN109947797B (zh) 一种数据检查装置及方法
CN112416896A (zh) 数据异常的报警方法和装置、存储介质、电子装置
US20080162273A1 (en) System and method of tracking process for managing decisions
CN111260155A (zh) 粮食加工的工序优化方法、装置、电子设备及存储介质
CN117290183A (zh) 基于etl实现跨系统异常监控处理方法、装置
CN117909392B (zh) 一种智能化数据资产盘点的方法和系统
CN112036789B (zh) 基于仓储数据的薪资统计方法、装置、计算机设备
US20210350305A1 (en) Notifying key performance indicators of interest in a business intelligence system
US11983188B2 (en) Systems, devices, and methods for network and obsolescence management
CN117194584A (zh) 一种业绩收集汇总查询方法、系统、存储介质及电子设备
CN118569486A (zh) 一种烟草供应系统及其数据分析方法
CN118277493A (zh) 一种具有数据仓库的数字孪生平台
CN118761786A (zh) 一种承运企业的信用画像评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination