CN106371973B - 一种数据处理方法、设备和系统 - Google Patents

一种数据处理方法、设备和系统 Download PDF

Info

Publication number
CN106371973B
CN106371973B CN201610782572.9A CN201610782572A CN106371973B CN 106371973 B CN106371973 B CN 106371973B CN 201610782572 A CN201610782572 A CN 201610782572A CN 106371973 B CN106371973 B CN 106371973B
Authority
CN
China
Prior art keywords
data
monitoring rules
monitoring
keyword
monitored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610782572.9A
Other languages
English (en)
Other versions
CN106371973A (zh
Inventor
魏雪辉
杨培培
罗书花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Pinwei Software Co Ltd
Original Assignee
Guangzhou Pinwei Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Pinwei Software Co Ltd filed Critical Guangzhou Pinwei Software Co Ltd
Priority to CN201610782572.9A priority Critical patent/CN106371973B/zh
Publication of CN106371973A publication Critical patent/CN106371973A/zh
Application granted granted Critical
Publication of CN106371973B publication Critical patent/CN106371973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明实施例提供了一种数据处理方法、设备和系统,属于计算机领域,包括:获取针对不同数据源的数据监控请求,并从数据监控请求解析出监控规则关键字和待监控数据标识;根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则;根据监控规则,对来自于不同数据源的多个数据集合进行监控;当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。由此能够实现统一对不同数据源数据进行监控,并降低了数据监控的难度,提高了监控执行效率。

Description

一种数据处理方法、设备和系统
技术领域
本发明涉及计算机领域,特别涉及一种数据处理方法、设备和系统。
背景技术
随着电子商务技术的应用和不断成熟,在电商运营过程中,以计算机技术为基础的业务系统需要处理的数据量不断增加,为了实时掌控各个业务系统的运行状况,需要对业务系统中的数据进行实时监控,从而为正常运营活动提供保障。
目前,通常使用规则引擎的方式实现对业务系统进行监控,规则引擎是嵌入在应用程序中的组件,能够实现将业务决策从一个业务系统的应用程序代码中分离出来,并使用预定义的语义模块编写业务决策。然而由于各业务系统都是独立开发的,采用数据库的可能不同,数据的存储结构可能也不同,需要分别采用各业务系统适用的规则引擎才能进行数据监控,因此,现有技术存在不能实现统一对不同数据源数据进行监控,且数据监控难度较大、监控执行效率较低的问题。
发明内容
为了能够实现统一对不同数据源数据进行监控,降低数据监控难度,并提高监控执行效率,本发明实施例提供了一种数据处理方法、设备和系统。所述技术方案如下:
第一方面,提供了一种数据处理方法,所述方法包括:
获取针对不同数据源的数据监控请求,并从所述数据监控请求中解析出监控规则关键字和待监控数据标识;
根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则;
根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控;
当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
结合第一方面,在第一种可能的实现方式中,通过以下操作中的任意一个,实现所述获取针对不同数据源的数据监控请求的步骤:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,通过以下操作中的任意一个,实现所述从所述数据监控请求中解析出监控规则关键字和待监控数据标识的步骤:
识别所述文本信息或者所述语音信息中包括的监控规则关键字和待监控数据标识;或者
识别所述预设事件,获取所述监控规则关键字和待监控数据标识。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则包括:
获取所述监控规则关键字与所述规则库中各监控规则的匹配度;
确定匹配度最高的监控规则为所述监控规则关键字对应的监控规则。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,所述根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控包括:
根据所述监控规则和所述待监控数据标识,从所述不同数据源中获取多个数据集合;
获取与所述监控规则对应的规则脚本;
将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。
第二方面,提供了一种电子设备,所述设备包括:
第一获取模块,用于获取针对不同数据源的数据监控请求;
解析模块,用于从所述数据监控请求中解析出监控规则关键字和待监控数据标识;
第二获取模块,用于根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则;
监控模块,用于根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控;
发送模块,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
结合第二方面,在第一种可能的实现方式中,所述第一获取模块具体用于:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述解析模块具体用于:
识别所述文本信息或者所述语音信息中包括的监控规则关键字和待监控数据标识;或者
识别所述预设事件,获取所述监控规则关键字和待监控数据标识。
结合第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第二获取模块包括:
匹配度获取子模块,用于获取所述监控规则关键字与所述规则库中各监控规则的匹配度;
监控规则确定子模块,用于确定匹配度最高的监控规则为所述监控规则关键字对应的监控规则。
结合第二方面的第三种可能的实现方式,在第四种可能的实现方式中,所述监控模块包括:
数据集合获取子模块,用于根据所述监控规则和所述待监控数据标识,从所述不同数据源中获取多个数据集合;
规则脚本获取子模块,用于获取与所述监控规则对应的规则脚本;
规则脚本执行子模块,用于将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。
第三方面,提供了一种电子设备,其特征在于,所述电子设备包括存储器以及与所述存储器连接的处理器,其中,所述存储器用于存储一组程序代码,所述处理器调用所述存储器所存储的程序代码用于执行以下操作:
获取针对不同数据源的数据监控请求,并从所述数据监控请求中解析出监控规则关键字和待监控数据标识;
根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则;
根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控;
当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
结合第三方面,在第一种可能的实现方式中,所述处理器调用所述存储器所存储的程序代码用于执行以下操作:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
结合第三方面的第一种可能的实现方式,在第二种可能的实现方式中,所述处理器调用所述存储器所存储的程序代码用于执行以下操作:
识别所述文本信息或者所述语音信息中包括的监控规则关键字和待监控数据标识;或者
识别所述预设事件,获取所述监控规则关键字和待监控数据标识。
结合第三方面的第二种可能的实现方式,在第三种可能的实现方式中,所述处理器调用所述存储器所存储的程序代码用于执行以下操作:
获取所述监控规则关键字与所述规则库中各监控规则的匹配度;
确定匹配度最高的监控规则为所述监控规则关键字对应的监控规则。
结合第三方面的第三种可能的实现方式,在第四种可能的实现方式中,所述处理器调用所述存储器所存储的程序代码用于执行以下操作:
根据所述监控规则和所述待监控数据标识,从所述不同数据源中获取多个数据集合;
获取与所述监控规则对应的规则脚本;
将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。
第四方面,提供了一种数据处理系统,所述系统包括:
第一获取设备,用于获取针对不同数据源的数据监控请求;
解析设备,用于从所述数据监控请求中解析出监控规则关键字和待监控数据标识;
第二获取设备,用于根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则;
监控设备,用于根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控;
发送设备,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
结合第四方面,在第一种可能的实现方式中,所述第一获取设备具体用于:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
结合第四方面的第一种可能的实现方式,在第二种可能的实现方式中,所述解析设备具体用于:
识别所述文本信息或者所述语音信息中包括的监控规则关键字和待监控数据标识;或者
识别所述预设事件,获取所述监控规则关键字和待监控数据标识。
结合第四方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第二获取设备包括:
匹配度获取子设备,用于获取所述监控规则关键字与所述规则库中各监控规则的匹配度;
监控规则确定子设备,用于确定匹配度最高的监控规则为所述监控规则关键字对应的监控规则。
结合第四方面的的第三种可能的实现方式,在第四种可能的实现方式中,所述监控设备包括:
数据集合获取子设备,用于根据所述监控规则和所述待监控数据标识,从所述不同数据源中获取多个数据集合;
规则脚本获取子设备,用于获取与所述监控规则对应的规则脚本;
规则脚本执行子设备,用于将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。
本发明实施例提供了一种数据处理方法、设备和系统,获取针对不同数据源的数据监控请求,并从数据监控请求解析出监控规则关键字和待监控数据标识;根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则;根据监控规则,对来自于不同数据源的多个数据集合进行监控;当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。由此通过解析数据监控请求,为非专业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监控请求对不同的业务系统进行数据监控的目的;通过从规则库中获取监控规则关键字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监控规则,提高了监控的执行效率;通过根据监控规则,对来自于不同数据源的多个数据集合进行监控,提高了跨业务系统的数据监控的兼容性,实现了规则引擎不拘泥于单个业务系统,不仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,以避免造成更大损失。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法流程图;
图2是本发明实施例提供的一种数据处理方法流程图;
图3是本发明实施例提供的一种电子设备结构示意图;
图4是本发明实施例提供的一种电子设备结构示意图;
图5是本发明实施例提供的一种数据处理系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种数据处理方法,该方法应用于在不同业务系统的数据库的场景下,能够实现跨业务系统对数据进行处理。除此之外,该方法还可以应用于在电子商务过程中,在多个电子商务平台互联且进行数据交互的场景下,或者,在多个业务系统互联且进行数据交互的场景下,实现对来自多个电子商务平台或者多个业务系统的业务数据进行处理,该业务系统的数据可以是销售数据、供应商数据、商品数据、订单数据、用户数据、流量数据等,需要说明的是,本发明实施例提供的数据处理方法可以应用于对数据进行监控。
实施例一为本发明实施例提供的一种数据处理方法,参照图1所示,该方法包括:
101、获取针对不同数据源的数据监控请求,并从数据监控请求中解析出监控规则关键字和待监控数据标识。
具体的,通过以下操作中的任意一个,实现获取针对不同数据源的数据监控请求的步骤:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
通过以下操作中的任意一个,实现从数据监控请求解析出监控规则关键字和待监控数据标识的步骤:
识别文本信息或者语音信息中包括的监控规则关键字和待监控数据标识;或者
识别预设事件,获取监控规则关键字和待监控数据标识。
102、根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则。
具体的,该过程可以包括:
获取监控规则关键字与规则库中各监控规则的匹配度;
确定匹配度最高的监控规则为监控规则关键字对应的监控规则。
103、根据监控规则,对来自于不同数据源的多个数据集合进行监控。
具体的,该过程可以包括:
根据监控规则和待监控数据标识,从不同数据源中获取多个数据集合;
获取与监控规则对应的规则脚本;
将多个数据集合写入规则脚本中,并执行规则脚本。
104、当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。
可选的,除了上述步骤之外,本发明实施例所提供的方法还可以包括:
保存异常数据至异常数据库。
本发明实施例提供了一种数据处理方法,通过解析数据监控请求,为非专业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监控请求对不同的业务系统进行数据监控的目的;通过根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监控规则,提高了监控的执行效率;通过根据监控规则,对来自于不同数据源的多个数据集合进行监控,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼容性,实现了规则引擎不拘泥于单个业务系统,不仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,以避免造成更大损失。
实施例二为本发明实施例提供的一种数据处理方法,参照图2所示,该方法包括:
201、获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息,在步骤201之后,执行步骤203。
具体的,监控规则关键字可以是监控规则名称、监控规则描述或者监控规则公式中的任意一个。待监控数据标识用于限定待监控数据,该待监控数据可以是数值类型的字段,待监控数据标识可以通过附加时间条件限定待监控数据,该待监控数据可以是业务系统中流程数据、销售数据、供应商数据、商品数据、用户数据、订单数据或物流数据等。
202、获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件,在步骤202之后,执行步骤204。
具体的,该预设事件可以是在预设界面中输入的手势、用户点击或者按压该预设界面或者用户点击用于指示预设事件的预设图标中的任意一个。
本发明实施例对具体的获取方式不加以限定。
需要说明的是,步骤201和步骤202是并列关系,在实际应用中,可以通过步骤201和步骤202中的任意一个实现获取针对不同数据源的数据监控请求的过程。
203、识别文本信息或者语音信息中包括的监控规则关键字和待监控数据标识,在步骤203之后,执行步骤205。
具体的,本发明实施例对具体的识别方式不加以限定。
204、识别预设事件,获取监控规则关键字和待监控数据标识,在步骤204之后,执行步骤205。
具体的,本发明实施例对具体的识别方式不加以限定。
205、获取监控规则关键字与规则库中各监控规则的匹配度,在步骤205之后,执行步骤206。
具体的,根据监控规则关键字对应的规则库类型确定规则库以及规则库中的各监控规则;将监控规则关键字分别与规则库中各监控规则的特征信息进行比对,确定监控规则关键字与各监控规则之间的匹配度。
其中,规则库根据类型分为第一规则库和第二规则库,第一规则库包括用于对来自于不同数据源的多个数据集合进行数据查询的多个监控规则,第二规则库包括用于对来自于不同数据源的多个数据集合进行数据比对的多个监控规则。
206、确定匹配度最高的监控规则为监控规则关键字对应的监控规则,在步骤206之后,执行步骤207。
具体的,该过程可以包括:
分析监控规则关键字与规则库中各监控规则之间的匹配度,并根据匹配度高低进行匹配度排序;
确定匹配度最高的监控规则为监控规则关键字对应的监控规则。
通过本发明,根据匹配度分析,确定匹配度最高的监控规则为监控规则关键字对应的监控规则,进而快速从大量的监控规则中获取到对应的监控规则,实现了自动地从规则库中获取监控规则,避免监控操作人员费时费力地筛选监控规则,从而提高了数据监控的执行效率。
值得注意的是,步骤205至步骤206是实现根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则的过程,除了上述步骤的方式之外,还可以通过其他方式实现该过程,本发明实施例对具体的方式不加以限定。
207、根据监控规则和待监控数据标识,从不同数据源中获取多个数据集合,在步骤207之后,执行步骤208。
具体的,该过程可以包括:
根据监控规则和待监控数据标识,确定待监控数据标识对应的多个数据源;
若多个数据源是应用程序编程接口数据表或数据文件,则对多个数据源进行数据抽取,并对抽取后的数据进行数据转换,生成待监控数据标识对应的多个数据集合;若多个数据源是数据库,则直接生成待监控数据标识对应的多个数据集合。
其中,数据源(Data Source)是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息,通过提供正确的数据源名称,可以找到相应的数据库连接。数据源的类型可以包括数据库、应用程序编程接口数据表(API接口)和数据文件三种类型,数据库比如常用的mysql库、Oracle库、Hive库等,应用程序编程接口数据表是指存放于某个API接口指向的数据表,数据文件是指以文件的形式保存的数据。
其中,多个数据集合中包含有多个业务数据,该多个业务数据与数据监控请求中包含的监控数据字段相对应,示例性的,多个数据集合可以包含有销售数据、供应商数据、商品数据等。多个数据集合可以为描述同一实体的数据,例如,针对某件衣服的商品信息,可以获取来自供应商系统提供的数据、采购系统提供的数据和订单系统的数据等,而上述数据均为描述该件衣服的相关数据信息,该相关数据信息可以是衣服的名称、订单数量、单价和总价等相关数据。
208、获取与监控规则对应的规则脚本,在步骤208之后,执行步骤209。
具体的,规则脚本通过业务逻辑的编程语言实现,其中,编程语言可以包括Pyke、Python和SQL等,Pyke与Python可以融为一体,可以从Python程序中调用Pyke,也可以在Pyke程序中,加入Python的语句和表达式,以及使用SQL返回结果。本发明实施例对具体的获取方式不加以限定。
需要说明的是,该监控规则对应的规则脚本由一个用户编写并进行保存后,该监控规则同样适用于后续的其他用户的调用操作。
209、将多个数据集合写入规则脚本中,并执行规则脚本,在步骤209之后,执行步骤210。
具体的,将多个数据集合作为参数传递到规则脚本中,基于预设的规则触发事件执行规则脚本,其中,规则触发事件可以是数据监控请求中包含的监控执行时间进行触发的,本发明实施例对具体的执行方式不加以限定。
值得注意的是,步骤207至步骤209是实现根据监控规则,对来自于不同数据源的多个数据集合进行监控的过程,除了上述步骤的方式之外,还可以通过其他方式实现该过程,本发明实施例对具体的方式不加以限定。
210、当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。
具体的,根据规则脚本返回的执行结果中判定多个数据集合是否为异常数据,若监控规则指示对多个数据集合进行数据查询,则根据SQL查询出是否为负值来判定多个数据集合是否为异常数据;若监控规则指示对多个数据集合进行数据比对,则根据规则脚本返回的执行结果中包含的差异比与预设的监控阈值的比较结果来判定多个数据集合是否为异常数据,其中,可以通过使用状态标识来指示执行结果状态。
例如,用户想要监控多个数据集合中的A字段是否小于0,如果A<0则判定为异常数据,在执行对应的规则脚本后输出结果包含一个SQL语句(select A from tablenamewhere A<0)、A字段的数据总量、以及A<0的数据量。
又例如,用户想要监控多个数据集合中的某个字段在A数据源中是否与在B数据源中相等,如果不相等则判定为异常数据,其中不相等可以表示预设阈值为0,也可以表示预设阈值为5%,即A与B的差异比大于5%,或者其它预设阈值。在执行对应的规则脚本后输出结果中包含A与B的差异比、待监控数据的数据总量、以及差异比大于5%的异常数据量。
具体的,实现发送异常数据至用户终端的过程可以包括:
发送指示异常数据的告警邮件至用户终端;和/或
发送指示异常数据的短信告警至用户终端。
其中,用户终端可以包括台式计算机、个人计算机、膝上性计算机、手机、个人数字助理等。
可选的,方法还可以包括:
停止更新存在异常数据的业务系统,并发送指示异常数据的告警通知至其他业务系统。
通过本发明,当存在异常数据时,停止更新存在异常数据的业务系统的数据,以及发送告警通知至其他业务系统以停止调用异常数据,一方面避免了数据占用机器资源,另一方面保障了其他业务系统的数据质量。
可选的,除了上述步骤之外,本发明实施例所提供的方法还可以包括:
保存异常数据至异常数据库。
通过本发明,对异常数据保存至异常数据库,以便相关人员后续对异常数据进行分析。
由于当前业务系统繁多且可能采用不同的数据源,使得无法根据用户的监控需求实现跨业务系统对数据进行统一监控;或者,使得规则引擎受到某个业务系统的约束,而不能适用其他业务系统,而通过本发明实施例所提供的方法,通过解析数据监控请求,为非专业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监控请求对不同的业务系统进行数据监控的目的;通过根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监控规则,提高了监控的执行效率;通过根据监控规则,对来自于不同数据源的多个数据集合进行监控,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼容性,实现了规则引擎不拘泥于单个业务系统,不仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,以避免造成更大损失。
实施例三为本发明实施例提供的一种电子设备3,参照图3所示,该电子设备作为对基于不同数据源的业务系统进行数据监控设备,既可以位于客户端,也可以位于服务器端,还可以是既不位于客户端也不位于服务器端的独立设备,该电子设备3包括:
第一获取模块31,用于获取针对不同数据源的数据监控请求;
解析模块32,用于从数据监控请求中解析出监控规则关键字和待监控数据标识;
第二获取模块33,用于根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则;
监控模块34,用于根据监控规则,对来自于不同数据源的多个数据集合进行监控;
发送模块35,用于当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。
可选的,第一获取模块31具体用于:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
可选的,解析模块32具体用于:
识别文本信息或者语音信息中包括的监控规则关键字和待监控数据标识;或者
识别预设事件,获取监控规则关键字和待监控数据标识。
可选的,第二获取模块33包括:
匹配度获取子模块331,用于获取监控规则关键字与规则库中各监控规则的匹配度;
监控规则确定子模块332,用于确定匹配度最高的监控规则为监控规则关键字对应的监控规则。
可选的,监控模块34包括:
数据集合获取子模块341,用于根据监控规则和待监控数据标识,从不同数据源中获取多个数据集合;
规则脚本获取子模块342,用于获取与监控规则对应的规则脚本;
规则脚本执行子模块343,用于将多个数据集合写入规则脚本中,并执行规则脚本。
本发明实施例提供了一种电子设备,该电子设备通过解析数据监控请求,为非专业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监控请求对不同的业务系统进行数据监控的目的;通过根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监控规则,提高了监控的执行效率;通过根据监控规则,对来自于不同数据源的多个数据集合进行监控,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼容性,实现了规则引擎不拘泥于单个业务系统,不仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,以避免造成更大损失。
实施例四为本发明实施例提供的一种电子设备4,参照图4所示,该电子设备4包括存储器41以及与存储器41连接的处理器42,其中,存储器41用于存储一组程序代码,处理器42调用存储器41所存储的程序代码用于执行以下操作:
获取针对不同数据源的数据监控请求,并从数据监控请求中解析出监控规则关键字和待监控数据标识;
根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则;
根据监控规则,对来自于不同数据源的多个数据集合进行监控;
当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。
可选的,处理器42调用存储器41所存储的程序代码用于执行以下操作:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
可选的,处理器42调用存储器41所存储的程序代码用于执行以下操作:
识别文本信息或者语音信息中包括的监控规则关键字和待监控数据标识;或者
识别预设事件,获取监控规则关键字和待监控数据标识。
可选的,处理器42调用存储器41所存储的程序代码用于执行以下操作:
获取监控规则关键字与规则库中各监控规则的匹配度;
确定匹配度最高的监控规则为监控规则关键字对应的监控规则。
可选的,处理器42调用存储器41所存储的程序代码用于执行以下操作:
根据监控规则和待监控数据标识,从不同数据源中获取多个数据集合;
获取与监控规则对应的规则脚本;
将多个数据集合写入规则脚本中,并执行规则脚本。
本发明实施例提供了一种电子设备,该电子设备通过解析数据监控请求,为非专业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监控请求对不同的业务系统进行数据监控的目的;通过根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监控规则,提高了监控的执行效率;通过根据监控规则,对来自于不同数据源的多个数据集合进行监控,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼容性,实现了规则引擎不拘泥于单个业务系统,不仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,以避免造成更大损失。
实施例五为本发明实施例提供的一种数据处理系统5,参照图5所示,该系统5包括:
第一获取设备51,用于获取针对不同数据源的数据监控请求;
解析模块52,用于从数据监控请求中解析出监控规则关键字和待监控数据标识;
第二获取设备53,用于根据监控规则关键字与规则库中各监控规则的匹配度,从规则库中获取监控规则关键字对应的监控规则;
监控设备54,用于根据监控规则,对来自于不同数据源的多个数据集合进行监控;
发送设备55,用于当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。
可选的,第一获取设备51具体用于:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;或者
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件。
可选的,解析设备52具体用于:
识别文本信息或者语音信息中包括的监控规则关键字和待监控数据标识;或者
识别预设事件,获取监控规则关键字和待监控数据标识。
可选的,第二获取设备53包括:
匹配度获取子设备531,用于获取监控规则关键字与规则库中各监控规则的匹配度;
监控规则确定子设备532,用于确定匹配度最高的监控规则为监控规则关键字对应的监控规则。
可选的,监控设备54包括:
数据集合获取子设备541,用于根据监控规则和待监控数据标识,从不同数据源中获取多个数据集合;
规则脚本获取子设备542,用于获取与监控规则对应的规则脚本;
规则脚本执行子设备543,用于将多个数据集合写入规则脚本中,并执行规则脚本。
本发明实施例提供了一种数据处理系统,该系统通过解析数据监控请求,为非专业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监控请求对不同的业务系统进行数据监控的目的;通过根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监控规则,提高了监控的执行效率;通过根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼容性,实现了规则引擎不拘泥于单个业务系统,不仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,以避免造成更大损失。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的电子设备在执行数据处理的方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将电子设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据处理的方法与电子设备实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种数据处理方法,其特征在于,所述方法包括:
获取用户以自然语言形式输入的针对不同数据源的数据监控请求,并从所述数据监控请求中解析出监控规则关键字和待监控数据标识,所述监控规则关键字是监控规则名称、监控规则描述或者监控规则公式中的任意一个;
根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则;
根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控;
当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
2.根据权利要求1所述的方法,其特征在于,所述获取针对不同数据源的数据监控请求的步骤包括:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;
所述从所述数据监控请求中解析出监控规则关键字和待监控数据标识的步骤包括:
识别所述文本信息或者所述语音信息中包括的监控规则关键字和待监控数据标识。
3.根据权利要求1所述的方法,其特征在于,所述获取针对不同数据源的数据监控请求的步骤包括:
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件;
所述从所述数据监控请求中解析出监控规则关键字和待监控数据标识的步骤包括:
识别所述预设事件,获取所述监控规则关键字和待监控数据标识。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则包括:
获取所述监控规则关键字与所述规则库中各监控规则的匹配度;
确定匹配度最高的监控规则为所述监控规则关键字对应的监控规则。
5.根据权利要求4所述的方法,其特征在于,所述根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控包括:
根据所述监控规则和所述待监控数据标识,从所述不同数据源中获取多个数据集合;
获取与所述监控规则对应的规则脚本;
将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。
6.一种电子设备,其特征在于,所述设备包括:
第一获取模块,用于获取用户以自然语言形式输入的针对不同数据源的数据监控请求;
解析模块,用于从所述数据监控请求中解析出监控规则关键字和待监控数据标识,所述监控规则关键字是监控规则名称、监控规则描述或者监控规则公式中的任意一个;
第二获取模块,用于根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则;
监控模块,用于根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控;
发送模块,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
7.根据权利要求6所述的设备,其特征在于,所述第一获取模块具体用于:
获取用户输入的至少包括监控规则关键字和待监控数据标识的文本信息或者语音信息;
所述解析模块具体用于:
识别所述文本信息或者所述语音信息中包括的监控规则关键字和待监控数据标识。
8.根据权利要求6所述的设备,其特征在于,所述第一获取模块具体用于:
获取用户在预设界面输入的用于描述监控规则关键字和待监控数据标识的预设事件;
所述解析模块具体用于:
识别所述预设事件,获取所述监控规则关键字和待监控数据标识。
9.根据权利要求7或8所述的设备,其特征在于,所述第二获取模块包括:
匹配度获取子模块,用于获取所述监控规则关键字与所述规则库中各监控规则的匹配度;
监控规则确定子模块,用于确定匹配度最高的监控规则为所述监控规则关键字对应的监控规则。
10.根据权利要求9所述的设备,其特征在于,所述监控模块包括:
数据集合获取子模块,用于根据所述监控规则和所述待监控数据标识,从所述不同数据源中获取多个数据集合;
规则脚本获取子模块,用于获取与所述监控规则对应的规则脚本;
规则脚本执行子模块,用于将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。
11.一种数据处理系统,其特征在于,所述系统包括:
第一获取设备,用于获取用户以自然语言形式输入的针对不同数据源的数据监控请求;
解析设备,用于从所述数据监控请求中解析出监控规则关键字和待监控数据标识,所述监控规则关键字是监控规则名称、监控规则描述或者监控规则公式中的任意一个;
第二获取设备,用于根据所述监控规则关键字与规则库中各监控规则的匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则;
监控设备,用于根据所述监控规则,对来自于所述不同数据源的多个数据集合进行监控;
发送设备,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
CN201610782572.9A 2016-08-31 2016-08-31 一种数据处理方法、设备和系统 Active CN106371973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610782572.9A CN106371973B (zh) 2016-08-31 2016-08-31 一种数据处理方法、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610782572.9A CN106371973B (zh) 2016-08-31 2016-08-31 一种数据处理方法、设备和系统

Publications (2)

Publication Number Publication Date
CN106371973A CN106371973A (zh) 2017-02-01
CN106371973B true CN106371973B (zh) 2019-04-09

Family

ID=57899163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610782572.9A Active CN106371973B (zh) 2016-08-31 2016-08-31 一种数据处理方法、设备和系统

Country Status (1)

Country Link
CN (1) CN106371973B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572898B (zh) * 2017-03-07 2021-11-02 北京京东尚科信息技术有限公司 一种控制接口的方法、装置、设备、以及存储介质
CN107341632A (zh) * 2017-06-19 2017-11-10 上海德启信息科技有限公司 一种基于用户需求的数据获取方法及装置
CN108365989A (zh) * 2018-01-26 2018-08-03 北京奇虎科技有限公司 事件处理方法及装置
CN108595300A (zh) * 2018-03-21 2018-09-28 北京奇艺世纪科技有限公司 一种可配置的监控和报警的方法及装置
CN109032884B (zh) * 2018-06-11 2021-05-28 平安科技(深圳)有限公司 一种监控数据的处理方法、服务器及计算机可读存储介质
CN110297739A (zh) * 2019-06-04 2019-10-01 平安科技(深圳)有限公司 基于数据治理平台的数据监控方法及相关设备
CN110232101A (zh) * 2019-06-10 2019-09-13 北京红山信息科技研究院有限公司 基于数据仓库的应用运行方法、装置、终端及存储介质
CN110362455B (zh) * 2019-07-15 2022-12-20 北京奇艺世纪科技有限公司 一种数据处理方法和数据处理装置
CN110377588B (zh) * 2019-07-23 2022-04-12 中国工商银行股份有限公司 一种数据库对象访问监测方法、服务器及终端
CN110704669A (zh) * 2019-10-16 2020-01-17 紫光云技术有限公司 一种分辨率兼容性测试图像分析方法
CN111400294B (zh) * 2020-03-12 2023-08-01 时时同云科技(成都)有限责任公司 数据异常监测方法、装置及系统
CN114844792B (zh) * 2022-04-26 2024-07-26 深圳云创数安科技有限公司 基于lua语言的动态监控方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636484A (zh) * 2015-02-16 2015-05-20 广东省公安厅 基于数据监控的监控任务生成方法和装置
CN104636483A (zh) * 2015-02-16 2015-05-20 广东省公安厅 一种数据监控方法
CN105447046A (zh) * 2014-09-02 2016-03-30 阿里巴巴集团控股有限公司 一种分布式系统数据一致性处理方法、装置和系统
CN105808655A (zh) * 2016-02-26 2016-07-27 广州品唯软件有限公司 一种海量数据异常检查的处理方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727371B2 (en) * 2013-11-22 2017-08-08 Decooda International, Inc. Emotion processing systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447046A (zh) * 2014-09-02 2016-03-30 阿里巴巴集团控股有限公司 一种分布式系统数据一致性处理方法、装置和系统
CN104636484A (zh) * 2015-02-16 2015-05-20 广东省公安厅 基于数据监控的监控任务生成方法和装置
CN104636483A (zh) * 2015-02-16 2015-05-20 广东省公安厅 一种数据监控方法
CN105808655A (zh) * 2016-02-26 2016-07-27 广州品唯软件有限公司 一种海量数据异常检查的处理方法、装置及系统

Also Published As

Publication number Publication date
CN106371973A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN106371973B (zh) 一种数据处理方法、设备和系统
CN106371984B (zh) 一种数据监控方法、设备和系统
US10726038B2 (en) System and method for optimizing aggregation and analysis of data across multiple data sources
US10997190B2 (en) Context-adaptive selection options in a modular visualization framework
US9026647B2 (en) Systems and methods for a social media network/business platform interface
US20130332240A1 (en) System for integrating event-driven information in the oil and gas fields
US20130346329A1 (en) System and methods for social data sharing capabilities for enterprise information systems
EP2717201A1 (en) Natural language metric condition alerts orchestration
EP2717203A1 (en) Natural language metric condition alerts generation
EP2717202A1 (en) Natural language metric condition alerts users interfaces
US11531611B2 (en) Auditing-as-a-service
US11019019B2 (en) Dynamic hashtag ordering based on projected interest
EP3685245B1 (en) Method, apparatus, and computer-readable media for customer interaction semantic annotation and analytics
US11496584B2 (en) Extraction and distribution of content packages in a digital services framework
CN106293891B (zh) 多维投资指标监督方法
US10332010B2 (en) System and method for automatically suggesting rules for data stored in a table
US20110131247A1 (en) Semantic Management Of Enterprise Resourses
US20120239680A1 (en) Generating database scripts for executing business rules related to enterprise software in a database runtime environment
CN113157947A (zh) 知识图谱的构建方法、工具、装置和服务器
CN106708965A (zh) 一种数据的处理方法和装置
US20150019284A1 (en) Dynamically modifying business processes based on real-time events
CN110990445A (zh) 一种数据处理方法、装置、设备和介质
US20220292426A1 (en) Systems and methods for creating, training, and evaluating models, scenarios, lexicons, and policies
CN117931834A (zh) 基于大语言模型意图识别的虚拟专家分析方法及装置
US20140122163A1 (en) External operational risk analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant