CN107741955A - 业务数据监控方法、装置、终端设备及存储介质 - Google Patents

业务数据监控方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN107741955A
CN107741955A CN201710834175.6A CN201710834175A CN107741955A CN 107741955 A CN107741955 A CN 107741955A CN 201710834175 A CN201710834175 A CN 201710834175A CN 107741955 A CN107741955 A CN 107741955A
Authority
CN
China
Prior art keywords
monitoring
business datum
data
target service
monitor control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710834175.6A
Other languages
English (en)
Other versions
CN107741955B (zh
Inventor
张川
顾青山
金鑫
梁博
谭志杰
梁永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710834175.6A priority Critical patent/CN107741955B/zh
Priority to PCT/CN2017/108534 priority patent/WO2019051951A1/zh
Publication of CN107741955A publication Critical patent/CN107741955A/zh
Application granted granted Critical
Publication of CN107741955B publication Critical patent/CN107741955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Technology Law (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种业务数据监控方法、装置、终端设备及存储介质。该业务数据监控方法,包括:获取大数据平台中多维度业务数据;获取用户配置的监控策略,所述监控策略包括至少一个监控指标和至少一个监控维度;基于至少一个监控维度,从所述多维度业务数据中获取目标业务数据,判断所述目标业务数据是否全部符合至少一个所述监控指标;若所述目标业务数据没有全部符合至少一个所述监控指标,则确定所述目标业务数据为异常数据,获取监控结果。该业务数据监控方法进行业务数据监控时,可以达到监控业务数据效率更高、监控业务数据结果更为全面的效果。

Description

业务数据监控方法、装置、终端设备及存储介质
技术领域
本发明涉及大数据监控领域,尤其涉及一种业务数据监控方法、装置、终端设备及存储介质。
背景技术
在银行、保险和证券等金融机构每天的经营活动中产生大量的业务数据。金融机构内配置专门的业务人员,对金融机构中产生的大量业务数据进行监控,以确定是否存在数据异常,该监控方式人工成本较高。业务人员对业务数据进行监控时,将任一业务数据与对应的监控指标进行比较,判断该业务数据是否符合监控指标,若业务数据不符合监控指标,则认定数据存在异常。其中,监控指标可以是周同比、日环比等指标。业务人员对业务数据进行监控时,通常是基于单一监控指标进行一维数据监控,而无法实现基于多个监控指标进行多维组合监控,使得数据监控的效率较低。而且,对任一业务数据而言,若采用单一监控指标进行监控时数据可能不存在异常,采用两个或两个以上监控指标进行监控时可能存在异常,会影响数据监控的准确率。因此,当前人工监控业务数据异常时可能存在效率较低、监控不全面、人工成本高且准确率无法保障等问题。
发明内容
本发明实施例提供一种业务数据监控方法、装置、终端设备及存储介质,以解决当前人工监控业务数据异常时存在的问题。
第一方面,本发明实施例提供一种业务数据监控方法,包括:
获取大数据平台中多维度业务数据;
获取用户配置的监控策略,所述监控策略包括至少一个监控指标和至少一个监控维度;
基于至少一个监控维度,从所述多维度业务数据中获取目标业务数据,判断所述目标业务数据是否全部符合至少一个所述监控指标;
若所述目标业务数据没有全部符合至少一个所述监控指标,则确定所述目标业务数据为异常数据,获取监控结果。
第二方面,本发明实施例提供一种业务数据监控装置,包括:
业务数据获取模块,用于获取大数据平台中多维度业务数据;
监控策略获取模块,用于获取用户配置的监控策略,所述监控策略包括至少一个监控指标和至少一个监控维度;
业务数据检测模块,用于基于至少一个监控维度,从所述多维度业务数据中获取目标业务数据,判断所述目标业务数据是否全部符合至少一个所述监控指标;
业务数据结果获取模块,用于若所述目标业务数据没有全部符合至少一个所述监控指标,则确定所述目标业务数据为异常数据,获取监控结果。
第三方面,本发明实施例提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述业务数据监控方法的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述业务数据监控方法的步骤。
本发明实施例所提供的业务数据监控方法、装置、终端设备及存储介质中,通过获取大数据平台中多维度业务数据,使得获取的业务数据更全面,并且扩大数据监控的范围,以便获取更全面的业务数据的监控结果。之后获取用户配置的监控策略,监控策略包括至少一个监控指标和至少一个监控维度,该监控策略可由用户根据实际情况进行自助配置,配置过程简单快捷,并可实现至少一个维度和至少一个监控指标任意组合进行监控的效果,以保证最终获取的监控结果的可靠性和全面性。接着基于至少一个监控维度,从多维度业务数据中获取目标业务数据,将该目标业务数据作为需要进行检测的业务数据,提高业务数据监控的针对性,在一定程度上保证数据监控的准确率。并且,只有在目标业务数据没有全部符合至少一个监控指标,则确定目标业务数据为异常数据并获取监控结果,使得该监控结果可更准确地反映目标业务数据的异常情况,以实现基于至少一个监控指标对目标业务数据进行监控,使得业务数据监控更为精确和可靠。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例1中业务数据监控方法的一流程图。
图2是图1中步骤S10的一具体流程图。
图3是图1中步骤S20的一具体流程图。
图4是图3中步骤S212的一具体流程图。
图5是图1中步骤S20的另一具体流程图。
图6是图1中步骤S40的一具体流程图。
图7是本发明实施例2中业务数据监控装置的一原理框图。
图8是本发明实施例4中终端设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
图1示出本实施例中业务数据监控方法的一流程图。该业务数据监控方法可应用在银行、保险和证券等金融机构配置的终端设备中,用于对金融机构每天经营活动中产生的大量业务数据进行多维度监控,可实现对业务数据的高效率监控并使监控结果更为全面的目的。其中,该终端设备是可与用户进行人机交互的设备,包括但不限于电脑、智能手机和平板等设备。如图1所示,该业务数据监控方法包括如下步骤:
S10:获取大数据平台中多维度业务数据。
其中,大数据平台是指一个集数据接入、数据处理、数据存储、查询检索、分析挖掘和应用接口等为一体的数据处理平台。业务数据是指金融机构在生产经营活动过程中产生的与业务相关的数据。业务数据包括但不限于本实施例中的销售额、签单量、业务员出勤率、接待客户数、宣传活动量、活跃用户数量和新注册用户量等具体业务数据对应的数量。多维度业务数据中的维度是指用于表述一业务数据的参数对象,该维度包括但不限于时间维度、区域维度、产品维度和机构维度。其中,时间维度是指业务数据的形成时间。区域维度是指业务数据对应的区域,如北京、上海和广州等。产品维度是指业务数据对应的产品,如保险机构中的产险和寿险等。机构维度是业务数据对应的机构,如形成该业务数据对应的机构网点。如在大数据平台中形成的一多维度业务数据为6月1日(时间维度)广州(区域维度)的XX机构网点(机构维度)中寿险产品(产品维度)的销售额。
本实施例中,通过在大数据平台中获取多维度业务数据,以便于后续对多维度业务数据进行任意维度的组合,实现基于不同维度业务数据间的潜在联系进行业务数据监控,能够更加全面反映业务数据的监控结果。
在一具体实施方式中,如图2所示,步骤S10中,获取大数据平台中多维度业务数据,具体包括如下步骤:
S11:采用Hadoop大数据平台采集原始数据。
其中,原始数据是指未经过数据处理的业务数据,该原始数据并未进行多维度分类和统计,即原始数据是Hadoop大数据采集得到的混乱未分类的业务数据。本实施例中,大数据平台具体为Hadoop大数据平台,Hadoop大数据平台可使用户在不了解分布式底层细节的情况下,开发分布式程序,并进行数值的高速运算和存储。其中,Hadoop是指一种分布式系统基础架构,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System,以下简称HDFS)。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上,而且它提供高吞吐量来访问应用程序的数据,适合有着超大数据集的应用程序。HDFS可以以流的形式访问文件系统中的数据。可以理解地,通过采用Hadoop大数据平台采集原始数据,大大提高原始数据的获取效率,降低获取大量原始数据所需时间,并且实现了高效采集一定数量级的原始数据。
S12:将原始数据存储在HIVE中。
其中,HIVE是基于Hadoop的一个数据仓库工具,将Hadoop大数据平台采集的原始数据存储在HIVE中,可为大量的原始数据提供了一种安全有效的存储方式,以将结构化的数据文件映射为一张数据库表。而且,HIVE可提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,而无需开发专门的MapReduce应用,具有学习成本低的优点。其中,SQL语句是指结构化查询语言(Structured Query Language),结构化查询语言是一种数据库查询和程序设计语言,用于存取数据以及查询、统计、更新和管理关系数据库系统,即SQL语句就是对数据库进行操作的一种语言。MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。本实施例中,通过将原始数据存储在HIVE中,可将原始数据映射为一张数据库表,为后续的数据查询和操作提供了数据源,实现了将大量的原始数据安全有效存储起来的目的,并通过HIVE为后续对原始数据的进一步处理提供有效的支持。
S13:采用SQL语句对HIVE中的原始数据进行多维度统计,获取多维度业务数据。
其中,多维度统计是指将原始数据按不同维度进行筛选分类并统计。本实施例中,先将属于同一维度的原始数据集合起来,形成该维度的原始数据的数据集,以形成同一维度的业务数据,再将多个同一维度的业务数据进行统计计算,获取由多个不同的同一维度业务数据子集组成的多维度业务数据集,以获取多维度业务数据。具体地,通过SQL语句对HIVE中的原始数据经过多维度统计,得到由多个不同的同一维度业务数据子集组成的多维度业务数据集。可以理解地,步骤S13就是将复杂无序的多维度的原始数据,通过SQL语句统计处理,转换成包含多个不同的同一维度的业务数据子集的多维度业务数据集,该多维度业务数据集中的数据即为多维度业务数据。
S20:获取用户配置的监控策略,监控策略包括至少一个监控指标和至少一个监控维度。
其中,监控策略是用户根据实际需求自行配置的策略,该策略可实现对多维度业务数据进行监控的目的。监控策略包括至少一个监控指标和至少一个监控维度。监控指标与业务数据相对应,是用于评价业务数据是否存在异常的指标。监控维度与多维度业务数据相对应,用于限定所需监控的业务数据对应的维度。监控策略存储成json数据格式,采用json数据格式比较通用,且支持各种层级关系,方便扩展和后台程序调用。
本实施例中,金融机构的终端设备获取到的用户配置的监控策略包括至少一个监控指标和至少一个监控维度,在基于监控策略对金融机构内部的多维度业务数据进行监控时,可采用至少一个监控指标对至少一个监控维度对应的多维度数据进行监控,使得数据监控更全面且效率更高。即用户可根据实际需求配置对不同维度的业务数据进行监控,并根据实际需求将至少一个监控指标进行自由组合,以获得用户配置的监控策略,通过不同维度的业务数据间潜在的联系,能够更加全面地反映业务监控结果,提高监控结果的可靠性和全面性。
在一种具体实施方式中,如图3所示,步骤S20中,获取用户配置的监控策略,监控策略包括至少一个监控指标和至少一个监控维度,具体包括如下步骤:
S211:显示监控策略对应的配置界面。
本实施例中,金融机构的终端设备显示配置界面,以便用户通过该配置界面实现自助配置监控策略。其中,配置界面是指为用户提供监控策略配置的界面,用户可在配置界面中输入所需配置的监控策略并进行确认后,完成监控策略配置。终端设备显示的配置界面,可使用户自动配置监控策略,节省了原本人工进行数据监控的时间成本,并实现了用户自助配置监控策略的功能,提高用户对业务数据进行监控的效率。
S212:获取用户在配置界面中输入的至少一个监控指标和至少一个监控维度,监控指标包括指标名称和指标范围。
本实施例中,金融机构的终端设备显示配置界面,以获取用户在配置界面中输入的至少一个监控指标和至少一个监控维度。每个监控指标包括指标名称和相对应的指标范围。其中,指标名称为监控指标中各个不同指标的具体名称,指标名称与业务数据相对应,如指标名称可以为销售量,也可以为销售量周同比等。指标范围为监控指标中与指标名称相对应的具体数值范围,是用于评价业务数据是否异常的数值范围。即若检测到的业务数据在该指标范围内,则认定该业务数据是预期无异常的业务数据;若检测到的业务数据不在该指标范围内,则认定该数据是预期异常的业务数据。可以理解地,基于该监控指标中的指标名称和指标范围,可以对业务数据是否异常进行监控,达到有效检测业务数据的效果。本实施例中,终端设备可获取用户在配置界面中输入的至少一个监控指标和至少一个监控维度,为获得用户自主配置的监控策略提供了快捷有效的实现方式。
S213:获取用户输入的确认指令,基于确认指令获取监控策略。
本实施例中,终端设备可获取用户输入的确认指令,在后台对用户输入的确认指令进行分析和执行,并根据确认指令获取用户配置的监控策略。其中,确认指令是指用户根据监控策略实际需要进行配置后输入的用于确认最终选择的指令。例如,如用户可在配置界面中输入签单量和业务员出勤率这两个监控指标,且监控维度中区域维度为“上海”和“深圳”,时间维度为“7月”用户通过配置界面输入签单量和业务员出勤率这两个监控指标,且监控维度中区域维度为“上海”和“深圳”,时间维度为“7月”后,再点击“提交”按钮而输入确认指令,以使终端设置接收到确认指令后,获取相应的监控策略。通过显示监控策略对应的配置界面,使得用户可以根据该界面实现自主配置的目的,为用户的自助配置提供了便捷操作。
S214:将监控策略保存在预设策略库中。
本实施例中,将步骤S213中获得的监控策略保存在预设策略库中,使获取到的监控策略作为历史监控策略保存在预设策略库中。其中,预设策略库是指用于保存通过自主配置获得的监控策略的数据库,即存放以配置好的监控策略的数据库。可以理解地,将步骤S211-S213中获取的监控策略保存在预设策略库中,使得用户可以根据以往相同需求直接获取相应的历史监控策略,省去了每次重复进行监控策略配置的工作,提高了获取监控策略的效率。
在一具体实施方式中,如图4所示,步骤S212中,获取用户在配置界面中输入的至少一个监控指标和至少一个监控维度,监控指标包括指标名称和指标范围,具体包括如下步骤:
S2121:获取用户在配置界面中输入的至少一个指标名称和至少一个监控维度。
本实施例中,通过用户在配置界面中输入的至少一个指标名称和至少一个监控维度,以使终端设备可获取包含至少一个指标名称和至少一个监控维度的配置请求,以使基于该配置请求进行后续处理。指标名称为监控指标中各个不同指标的具体名称,指标名称与业务数据相对应,如指标名称可以为销售量,也可以为销售量周同比等。监控维度与多维度业务数据相对应,用于限定所需监控的业务数据对应的维度。终端设备可通过获取用户在配置界面中输入的至少一个指标名称和至少一个监控维度,使得终端设备可基于至少一个监控维度查询获取需要监控的业务数据,并基于至少一个监控指标对应需要监控的业务数据进行监控。
S2122:基于指标名称,获取大数据平台中多维度的历史数据。
本实施例中,终端设备可获取用户在配置界面中输入的至少一个指标名称和至少一个监控维度,在HIVE中根据指标名称进行配对查找,从HIVE中获取指标名称对应的多维度的历史数据。其中,多维度的历史数据是指先前保存在HIVE中与选取的监控名称相同的多维度业务数据。若用户在配置界面中输入的指标名称为销售额、用户量和签单量等指标名称,则其多维度的历史数据为销售额、用户量和签单量等对应的所有多维度业务数据。
S2123:获取多变量线性回归模型,采用多变量线性回归模型对多维度的历史数据进行回归处理,获取与指标名称相对应的标准值。
其中,标准值是指标范围中的一个参考标准线,以使能够获取与指标名称相对应的指标范围。本实施例中,采用多变量线性回归模型对历史数据进行回归处理,该多变量线性回归模型为hθ(x)=θ01x12x2+…+θnxn,其中,hθ(x)为假设函数,各个θ为输入值间的夹角向量,各个x为对应的特征,在上式中加入x0令x0=1,则有hθ(x)=θ0x01x12x2+…+θnxn=θTX。其中,θ是行向量,行向量里包含了线性回归模型中的参数,X是样本特征矩阵。
为了获取准确性高的多变量线性回归模型线性回归,需要计算所述多变量线性回归模型中参数最优的θ,以获取最优解的多变量线性回归模型。其中,获取最优解的多变量线性回归模型具体包括如下步骤:
首先,采用特征缩放法对特征x进行归一化处理,以获取多变量线性回归模型中的最优θ。在处理多维特征(多变量)的问题时,一般情况下,参数θ的取值差距非常大,导致很多时候要进行大量的大数值的计算。因此需保证这些特征都具有相近的范围,使用特征缩放(Features Scaling)法将更好地帮助梯度下降算法更快的收敛。特征缩放法是尝试将所有特征的取值范围缩放到-1到1之间,其表达式为其中,xn代表第n个特征,μn代表所有特征的平均值,sn代表所有特征的标准差。
然后,构建代价函数(Cost Function),若代价函数越小,说明线性回归地越好。该代价函数表达式如下:其中,x(i)表示向量x中的第i个元素,y(i)表示向量y中的第i个元素,hθ(x(i))表示已知的假设函数,m为训练集的数量。
接着,根据梯度下降法获取代价函数的最小值。梯度下降法通过先确定向下一步的步伐大小,再任意给定一个初始值θ01,…,θn,确定一个向下的方向,并向下走预先规定的步伐,并更新θ01,…,θn,当下降的高度小于某个定义的值,则停止下降。该梯度下降法的表达式为其中α称为学习率(Learning rate),用于决定梯度下降步伐大小。根据代价函数的最小值即对应获取多变量线性回归模型中最优的参数θ。
最后,根据代价函数的最小值,获取最优解(即理论上准确性最高)的多变量线性回归模型。可以理解地,将历史数据输入到多变量线性回归模型中进行回归处理,即可有效准确地获取相对应的标准值。
S2124:获取用户在配置界面中输入的上下限范围。
本实施例中,用户在步骤S223获取与指标名称相对应的标准值后,需获取用户在配置界面中输入的上下限范围。其中,上下限范围包括上限范围和下限范围。进一步地,若指标名称对应的标准值为销售额、签单量、业务员出勤率、接待客户数、宣传活动量、活跃用户数量和新注册用户量等具体业务数据对应的数量,则其上下限范围可以对应具体数量;若指标名称对应的标准值为日环比、周同比和月环比等具体业务数据对应的比值,则其上下限范围可根据实际情况自主设置为标准值的正负5%,正负10%等范围。可以理解地,上下限范围可根据需要对实际情形自主设置,提高了可控上下限范围的灵活性。
S2125:基于标准值和上下限范围,获取与指标名称相对应的指标范围。
本实施例中,以业务数据为销售额为例,若获取到销售额的标准值为50000,其设置的上下限范围为正负10000,则销售额对应的指标范围为40000-60000;以业务数据为销售额的月同比为例,若获取到销售额月同比的标准值为5%,其设置的上下限范围为正负1%,则销售额月同比对应的指标范围为4%-6%。可以理解地,通过标准值和上下限范围,获取与指标名称相对应的指标范围,使得获取的指标范围更接近实际范围,有利于提高设置监控策略的合理性和可行性,并提高基于该指标范围形成的监控指标进行业务数据监控的准确率。
在另一具体实施方式中,如图5所示,步骤S20中,获取用户配置的监控策略,监控策略包括至少一个监控指标和至少一个监控维度,具体还可以包括如下步骤:
S221:显示监控策略对应的配置界面。
本实施例中,金融机构的终端设备显示配置界面,以便用户通过该配置界面实现自助配置监控策略。其中,配置界面是指为用户提供监控策略配置的界面,用户可在配置界面中输入所需配置的监控策略并进行确认后,即可完成监控策略配置。终端设备显示的配置界面,可使用户自动配置监控策略,节省了原本人工进行数据监控的时间成本,并实现了用户自助配置监控策略的功能,提高用户对业务数据进行监控的效率。
S222:获取用户输入的策略查询指令。
其中,策略查询指令是用于查询先前保存的历史监控策略的指令。终端设备获取到用户输入的策略查询指令后,可对接收到的策略查询指令进行分析处理并输出策略查询指令所指的已保存的所有历史监控策略,以获取该直接通过历史保存的监控策略,为用户实现监控指标的自助配置提供了便捷,避免每次都重新进行监控策略配置的过程,提高监控策略的获取效率。
S223:基于策略查询指令,获取预设策略库中所有历史监控策略。
本实施例中,终端设备根据用户输入的策略查询指令,将预设策略库中的所有历史监控策略通过后台输出指令在配置界面显示出来。其中,预设策略库是指用于保存通过自主配置获得的监控策略的数据库,即存放已配置好的监控策略的数据库。可以理解地,终端设备基于获取到的策略查询指令,获取预设策略库中所有历史监控策略,为用户提供了历史监控策略,跳过了每次重新配置的过程,为用户获取监控策略提供了捷径,提高了获取监控策略的效率。
S224:获取用户输入的策略选择指令,策略选择指令包括策略ID。
其中,策略选择指令是指用于从所有历史监控策略中选取其中一个策略的指令。策略ID是用于唯一识别监控策略的标识。策略选择指令中的策略ID是用于唯一识别用户从预设策略库中选择的历史监控策略的标识,以使基于该策略ID获取用户选择的历史监控策略。该策略选择指令为用户提供了多种选择方案,以使用户可根据实际需求选择已保存在预设策略库中的历史监控策略。
S225:获取与策略ID对应的监控策略。
本实施例中,终端设备根据用户输入的策略选择指令中的策略ID,通过分析匹配,找到预设策略库中与策略ID对应的历史监控策略,获取该历史监控策略并作为本次配置的监控策略。可以理解地,根据策略选择指令中的策略ID查询获取对应的监控策略的过程,操作过程简单方便,并可保证根据策略ID获取对应的监控策略的准确性和可行性,提高获取对应监控策略的效率。
S30:基于至少一个监控维度,从多维度业务数据中获取目标业务数据,判断目标业务数据是否全部符合至少一个监控指标。
可以理解地,步骤S30可概括为基于监控策略对目标业务数据进行检测判断的操作。其中,目标业务数据是多维度业务数据中与至少一个监控维度相对应的业务数据,该目标业务数据是指需进行数据监控的业务数据。判断目标业务数据是否全部符合至少一个监控指标,是指逐一检测目标业务数据,判断每一条目标业务数据是否满足至少一个监控指标。本实施例中,根据至少一个监控维度确定目标业务数据,以实现对目标业务数据进行针对性检测,避免数据量过多,而影响业务数据监控效率;并且,采用至少一个监控指标对目标业务数据进行监控,可提高数据监控的全面性,使得监控结果更可靠。
若用户配置的监控策略中的监控维度包括区域维度为“北京”、机构维度为“XX网点”和产品维度为“产险”,并基于这三个监控维度确定需要进行监控的目标业务数据。且用户配置的监控策略中监控指标为每月销售额100万-400万,而接待客户数为300-800个。则步骤S30中对所有目标业务数据进行逐一检测,并判断是否全部符合销售额和接待客户数的两个监控指标。
S40:若目标业务数据没有全部符合至少一个监控指标,则确定目标业务数据为异常数据,获取监控结果。
其中,异常数据是指目标业务数据没有全部符合至少一个监控指标的数据。本实施例中,若目标业务数据全部符合至少一个监控指标,则对应的目标业务数据为正常数据,可以不作处理;若目标业务数据没有全部符合至少一个监控指标,即目标业务数据至少不符合一个监控指标,则确定目标业务数据为异常数据,获取目标业务数据为异常数据的监控结果。具体地,若目标业务数据为异常数据时,可将异常数据提取出来,减轻了原本业务人员在大量目标业务数据中查找异常数据的负担。可以理解地,在判断目标业务数据是否为异常数据时,需将目标业务数据与至少一个监控指标进行判断,而不是基于单一监控指标进行判断,有利提高数据监控的全面性和监控效率,保证数据监控的准确率。
在一具体实施方式中,如图6所示,步骤S40中,若目标业务数据没有全部符合至少一个监控指标,则确定目标业务数据为异常数据,之后具体包括如下步骤:
S41:基于异常数据,查询预设数据库获取对应的异常原因。
其中,预设数据库是指业务人员根据以往异常业务数据情况的经验总结并存储在数据库中的多种异常原因的数据库。本实施例中,终端设备在确定目标业务数据为异常数据时,可根据异常数据的具体情况与预设数据库中的异常原因进行配对,以获取相对应的数据异常原因。如目标业务数据为签单量时,检测到目标业务数据对应的签单量过多,且超出对应指标范围5%时,则查询预设数据库中的异常原因是新政策的实施或节假日等因素。通过查询预设数据库获取对应的异常原因,可以有效地结合以往历史经验得出的异常原因,为相关业务人员在进行异常数据分析时提供强有力的帮助。
S42:将异常数据和异常原因发送给监控邮箱。
其中,监控邮箱是预先设置的用于获取监控结果的邮箱。本实施例中,把检测出来的异常数据和通过查询预设数据库获取的对应异常原因发送给相关业务人员的监控邮箱,以使相关业务人员可了解存在异常的目标业务数据和可能导致该目标业务数据异常的异常原因,以便对异常数据进行更有效的监控,提高数据监控的效率,并且实现对目标业务数据为异常数据的监控结果进行快速处理的目的。
在一具体实施方式中,该目标业务数据监控方法中,步骤S30之前还包括:获取定时检测指令,定时检测指令包括触发时间点、监控邮箱和监控策略。
其中,定时检测指令是用户配置的用于控制终端设备定时执行基于监控策略对目标业务数据进行检测的指令。触发时间点是用于触发终端设备执行基于监控策略对目标业务数据进行检测的时间点。如可设置定时检测指令中触发时间点为每天晚上1点,以控制终端设备在每天晚上1点执行基于监控策略对目标业务数据进行检测的操作。触发时间点的设置,可使基于监控策略对目标业务数据进行检测按既定的时间执行。监控策略是步骤S20中的监控策略,即在步骤S20配置监控策略时,可同时配置触发时间点和监控邮箱,以形成定时检测指令。监控策略是执行定时检测指令所必备的,根据既定选择好的监控策略在触发时间点中执行基于监控策略对目标业务数据进行检测的操作。监控邮箱是预先设置的用于获取监控结果的邮箱,在基于监控策略对目标业务数据进行检测之后,可将监控结果发送给监控邮箱,以使相关人员可离线获取监控结果。该定时检测指令的执行能够实现对目标业务数据的有效处理,并且提高监控的效率,让终端设备自动执行定时检测指令,无需进行人工监控。
步骤S30具体包括:在触发时间点,执行基于监控策略对目标业务数据进行检测的操作。
本实施例中,终端设备可根据定时检测指令,在触发时间点,执行基于监控策略对目标业务数据进行检测的操作,即执行步骤S30的步骤。在执行基于监控策略对目标业务数据进行检测的操作时,以监控策略为基准,根据该监控策略的监控指标和监控维度,获取监控结果。可以理解地,在触发时间点,执行基于监控策略对目标业务数据进行检测的操作,可以对目标业务数据进行有效定时的检测,将检测到的目标业务数据情况展现出来。
步骤S40中,确定目标业务数据为异常数据,之后还包括:将异常数据发送给监控邮箱。
本实施例中,在对目标业务数据进行检测判断之后,将监控得出的异常数据第一时间发送到监控邮箱,让相关业务人员能够第一时间接收到目标业务数据为异常数据的监控结果,有效提高处理异常数据的效率,相关业务人员可以根据监控邮箱获取的监控结果,对异常数据进行有效分析和处理。
本实施例所提供的业务数据监控方法中,通过获取大数据平台中多维度业务数据,在大数据平台对大量的原始数据进行快速有效地计算,以使更为便捷地获取多维度业务数据,并将数据分为多种维度并进行任意维度的组合,通过不同维度数据间的潜在联系,能够更加全面反映业务监控结果。监控策略包括至少一个监控指标和至少一个监控维度,该监控策略可由用户根据实际情况进行自助配置,配置过程简单快捷,并可实现至少一个维度和至少一个监控指标任意组合进行监控的效果,以保证最终获取的监控结果的可靠性和全面性。接着基于至少一个监控维度,从多维度业务数据中获取目标业务数据,将该目标业务数据作为需要进行检测的业务数据,提高业务数据监控的针对性,在一定程度上保证数据监控的准确率。并且,在目标业务数据没有全部符合至少一个监控指标,则确定目标业务数据为异常数据并获取监控结果,使得该监控结果可更准确地反映业务数据的异常情况,以实现基于至少一个监控指标对目标业务数据进行监控,使得业务数据监控更为精确和可靠。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例2
图7示出与实施例1中业务数据监控方法一一对应的业务数据监控装置的原理框图。如图7所示,该业务数据监控装置包括业务数据获取模块10、监控策略获取模块20、业务数据检测模块30和业务数据结果获取模块40。其中,业务数据获取模块10、监控策略获取模块20、业务数据检测模块30和业务数据结果获取模块40的实现功能与实施例1中业务数据监控方法对应的步骤一一对应,为避免赘述,本实施例不一一详述。
业务数据获取模块10,用于获取大数据平台中多维度业务数据。
监控策略获取模块20,用于获取用户配置的监控策略,监控策略包括至少一个监控指标和至少一个监控维度。
业务数据检测模块30,用于基于至少一个监控维度,从多维度业务数据中获取目标业务数据,判断目标业务数据是否全部符合至少一个监控指标。
业务数据结果获取模块40,用于若目标业务数据没有全部符合至少一个监控指标,则确定目标业务数据为异常数据,获取监控结果。
其中,业务数据获取模块10包括原始数据获取单元11、原始数据存储单元12和原始数据统计单元13。
原始数据获取单元11,用于采用Hadoop大数据平台采集原始数据。
原始数据存储单元12,用于将原始数据存储在HIVE中。
原始数据统计单元13,用于采用SQL语句对HIVE中原始数据进行多维度统计,获取多维度业务数据。
其中,监控策略获取模块20包括第一配置界面显示单元21、监控指标获取单元22、确认指令获取单元23、第二配置界面显示单元24、策略查询指令获取单元25、预设监控策略获取单元26、策略选择指令获取单元27和监控策略获取单元28。
第一配置界面显示单元21,用于显示监控策略对应的配置界面。
监控指标获取单元22,用于获取用户在配置界面中输入的至少一个监控指标和至少一个监控维度,监控指标包括指标名称和指标范围。
确认指令获取单元23,用于获取用户输入的确认指令,基于确认指令获取监控策略。
第二配置界面显示单元24,用于显示监控策略对应的配置界面。
策略查询指令获取单元25,用于获取用户输入的策略查询指令。
预设监控策略获取单元26,用于基于策略查询指令,获取预设策略库中所有历史监控策略。
策略选择指令获取单元27,用于获取用户输入的策略选择指令,策略选择指令包括策略ID。
监控策略获取单元28,用于获取与策略ID对应的监控策略。
其中,监控指标获取单元22包括指标名称获取子单元221、历史数据获取子单元222、标准值获取子单元223、上下限获取子单元224和指标范围获取子单元225。
指标名称获取子单元221,用于获取用户在配置界面中输入的至少一个指标名称和至少一个监控维度。
历史数据获取子单元222,用于基于指标名称,获取大数据平台中多维度的历史数据。
标准值获取子单元223,用于采用线性回归算法对历史数据进行回归处理,获取与指标名称相对应的标准值。
上下限获取子单元224,用于获取用户在配置界面中输入的上下限范围。
指标范围获取子单元225,用于基于标准值和上下限范围,获取与指标名称相对应的指标范围。
其中,业务数据检测模块30包括定时指令获取单元31、业务数据检测单元32和异常数据确定单元33。
定时指令获取单元31,用于获取定时检测指令,定时检测指令包括触发时间点、监控邮箱和监控策略。
业务数据检测单元32,用于在触发时间点,执行基于监控策略对目标业务数据进行判断的操作。
异常数据确定单元33,用于确定目标业务数据为异常数据,之后还包括:将异常数据发送给监控邮箱。
其中,业务数据结果获取模块40包括异常原因获取单元41和监控邮箱发送单元42。
异常原因获取单元41,用于基于异常数据,查询预设数据库获取对应的异常原因。
监控邮箱发送单元42,用于将异常数据和异常原因发送给监控邮箱。
本实施例所提供的业务数据监控装置中,业务数据获取模块10,用于获取大数据平台中多维度业务数据,该模块在大数据平台对大量的原始数据进行快速有效地计算,以使更为便捷地获取多维度业务数据,并将数据分为多种维度并进行任意维度的组合,通过不同维度数据间的潜在联系,实现更为全面反映业务监控结果的效果。监控策略获取模块20,用于获取用户配置的监控策略,监控策略包括至少一个监控指标和至少一个监控维度,通过配置监控策略包括的至少一个监控指标和至少一个监控维度,可实现获取用户配置的监控策略的目的。并且通过不同维度的业务数据之间的联系,提高了监控结果的可靠性和全面性。业务数据检测模块30,用于基于至少一个监控维度,从多维度业务数据中获取目标业务数据,判断目标业务数据是否全部符合至少一个监控指标,通过该检测装置,能够简单有效地对目标业务数据进行检测,并且能够获得更为准确的目标业务数据监控结果,提高了监控的正确率。业务数据结果获取模块40,用于若目标业务数据没有全部符合至少一个监控指标,则确定目标业务数据为异常数据,获取监控结果,该模块对目标业务数据的判断结果进行处理的过程,实现了将异常数据提取出来作为监控结果的功能,为业务人员的进一步监控提供了异常数据源,大大减轻了原本业务人员在大量数据中查找异常数据的负担,并保证监控结果的正确性。
实施例3
本实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现实施例1中业务数据监控方法,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现实施例2中业务数据监控装置中各模块/单元的功能,为避免重复,这里不再赘述。
实施例4
图8是本实施例中终端设备的示意图。如图8所示,终端设备80包括处理器81、存储器82以及存储在存储器82中并可在处理器81上运行的计算机程序83。处理器81执行计算机程序83时实现实施例1中业务数据监控方法的各个步骤,例如图1所示的步骤S10、S20、S30和S40。或者,处理器81执行计算机程序83时实现实施例2中业务数据监控装置各模块/单元的功能,如图7所示业务数据获取模块10、监控策略获取模块20、业务数据检测模块30和业务数据结果获取模块40的功能。
示例性的,计算机程序83可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器82中,并由处理器81执行,以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序83在终端设备80中的执行过程。例如,计算机程序80可被分割成实施例2中的业务数据获取模块10、监控策略获取模块20、业务数据检测模块30和业务数据结果获取模块40,各模块的具体功能如实施例2所示,为避免重复,此处不一一赘述。
终端设备80可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括,但不仅限于,处理器81、存储器82。本领域技术人员可以理解,图8仅仅是终端设备80的示例,并不构成对终端设备80的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器81可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器82可以是终端设备80的内部存储单元,例如终端设备80的硬盘或内存。存储器82也可以是终端设备80的外部存储设备,例如终端设备80上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器82还可以既包括终端设备80的内部存储单元也包括外部存储设备。存储器82用于存储计算机程序以及终端设备所需的其他程序和数据。存储器82还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种业务数据监控方法,其特征在于,包括:
获取大数据平台中多维度业务数据;
获取用户配置的监控策略,所述监控策略包括至少一个监控指标和至少一个监控维度;
基于至少一个监控维度,从所述多维度业务数据中获取目标业务数据,判断所述目标业务数据是否全部符合至少一个所述监控指标;
若所述目标业务数据没有全部符合至少一个所述监控指标,则确定所述目标业务数据为异常数据,获取监控结果。
2.根据权利要求1所述的业务数据监控方法,其特征在于,所述获取用户配置的监控策略,所述监控策略包括至少一个监控指标和至少一个监控维度,包括:
显示所述监控策略对应的配置界面;
获取用户在所述配置界面中输入的至少一个所述监控指标和至少一个监控维度,所述监控指标包括指标名称和指标范围;
获取用户输入的确认指令,基于所述确认指令获取所述监控策略;
所述获取用户在所述配置界面中输入至少一个所述监控指标和至少一个监控维度,所述监控指标包括指标名称和指标范围,包括:
获取用户在所述配置界面中输入的至少一个指标名称和至少一个监控维度;
基于所述指标名称,获取大数据平台中多维度的历史数据;
获取多变量线性回归模型,采用多变量线性回归模型对所述多维度的历史数据进行回归处理,获取与所述指标名称相对应的标准值;其中,所述多变量线性回归模型为hθ(x)=θ01x12x2+…+θnxn,hθ(x)为假设函数,各个θ为输入值间的夹角向量,各个x为对应的特征;
获取用户在所述配置界面中输入的上下限范围;
基于所述标准值和所述上下限范围,获取与所述指标名称相对应的所述指标范围。
3.根据权利要求2所述的业务数据监控方法,其特征在于,所述获取多变量线性回归模型,包括:
采用特征缩放法对特征进行归一化处理;所述特征缩放法的表达式为其中,xn为第n个特征,μn为平均值,sn为标准差;
构建代价函数,所述代价函数为其中,x(i)为向量x中的第i个元素,y(i)为向量y中的第i个元素,hθ(x(i))为已知的假设函数,m为训练集的数量;
根据梯度下降法获取所述代价函数的最小值,其中,所述梯度下降法的表达式为α为学习率;
根据所述代价函数的最小值获取所述多变量线性回归模型。
4.根据权利要求1所述的业务数据监控方法,其特征在于,所述获取用户配置的监控策略,所述监控策略包括至少一个监控指标和至少一个监控维度,包括:
显示所述监控策略对应的配置界面;
获取用户输入的策略查询指令;
基于所述策略查询指令,获取预设策略库中所有历史监控策略;
获取用户输入的策略选择指令,所述策略选择指令包括策略ID;
获取与所述策略ID对应的监控策略。
5.根据权利要求1所述的业务数据监控方法,其特征在于,所述基于至少一个监控维度,从所述多维度业务数据中获取目标业务数据,判断所述目标业务数据是否全部符合至少一个所述监控指标,之前还包括:获取定时检测指令,所述定时检测指令包括触发时间点、监控邮箱和所述监控策略;
所述判断所述目标业务数据是否全部符合至少一个所述监控指标,包括:在所述触发时间点,执行基于所述监控策略对所述目标业务数据进行检测的操作;
所述确定所述目标业务数据为异常数据,之后还包括:将所述异常数据发送给所述监控邮箱。
6.根据权利要求5所述的业务数据监控方法,其特征在于,所述若所述目标业务数据没有全部符合至少一个所述监控指标,则确定所述目标业务数据为异常数据,获取监控结果,包括:
基于所述异常数据,查询预设数据库获取对应的异常原因;
将所述异常数据和所述异常原因发送给所述监控邮箱。
7.根据权利要求1所述的业务数据监控方法,其特征在于,所述获取大数据平台中多维度业务数据,包括:
采用Hadoop大数据平台采集原始数据;
将所述原始数据存储在HIVE中;
采用SQL语句对所述HIVE中所述原始数据进行多维度统计,获取所述多维度业务数据。
8.一种业务数据监控装置,其特征在于,包括:
业务数据获取模块,用于获取大数据平台中多维度业务数据;
监控策略获取模块,用于获取用户配置的监控策略,所述监控策略包括至少一个监控指标和至少一个监控维度;
业务数据检测模块,用于基于至少一个监控维度,从所述多维度业务数据中获取目标业务数据,检测所述目标业务数据是否全部符合至少一个所述监控指标;
业务数据结果获取模块,用于若所述目标业务数据没有全部符合至少一个所述监控指标,则确定所述目标业务数据为异常数据,获取监控结果。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述业务数据监控方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述业务数据监控方法的步骤。
CN201710834175.6A 2017-09-15 2017-09-15 业务数据监控方法、装置、终端设备及存储介质 Active CN107741955B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710834175.6A CN107741955B (zh) 2017-09-15 2017-09-15 业务数据监控方法、装置、终端设备及存储介质
PCT/CN2017/108534 WO2019051951A1 (zh) 2017-09-15 2017-10-31 业务数据监控方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710834175.6A CN107741955B (zh) 2017-09-15 2017-09-15 业务数据监控方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN107741955A true CN107741955A (zh) 2018-02-27
CN107741955B CN107741955B (zh) 2020-06-23

Family

ID=61235738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710834175.6A Active CN107741955B (zh) 2017-09-15 2017-09-15 业务数据监控方法、装置、终端设备及存储介质

Country Status (2)

Country Link
CN (1) CN107741955B (zh)
WO (1) WO2019051951A1 (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876317A (zh) * 2018-08-20 2018-11-23 广东技术师范学院 一种数据管理监控方法、装置及终端设备
CN109033045A (zh) * 2018-06-19 2018-12-18 深圳智慧园区信息技术有限公司 一种生成园区业务图表的方法、装置及设备
CN109218131A (zh) * 2018-09-03 2019-01-15 平安医疗健康管理股份有限公司 网络监控方法、装置、计算机设备和存储介质
CN109213822A (zh) * 2018-08-31 2019-01-15 深圳壹账通智能科技有限公司 监控数据的呈现方法和装置
CN109254896A (zh) * 2018-08-31 2019-01-22 北京奇虎科技有限公司 引擎监控数据的获取方法、装置、终端设备及存储介质
CN109344394A (zh) * 2018-08-30 2019-02-15 广发证券股份有限公司 一种文本类数据质量监控方法与系统
CN109409875A (zh) * 2018-09-25 2019-03-01 阿里巴巴集团控股有限公司 一种账单校验方法、装置及电子设备
CN109524088A (zh) * 2018-10-27 2019-03-26 平安医疗健康管理股份有限公司 基于数据可视化的医疗监控方法、装置、终端及介质
CN109522193A (zh) * 2018-10-22 2019-03-26 网宿科技股份有限公司 一种运维数据的处理方法、系统及装置
CN109684161A (zh) * 2018-11-02 2019-04-26 深圳壹账通智能科技有限公司 数据分析方法、装置、服务器及存储介质
CN109711155A (zh) * 2018-11-13 2019-05-03 同盾控股有限公司 一种预警确定方法和装置
CN110147405A (zh) * 2019-04-15 2019-08-20 平安普惠企业管理有限公司 一种基于基架运维的监控方法、装置、设备和存储介质
CN110275878A (zh) * 2019-06-25 2019-09-24 北京达佳互联信息技术有限公司 业务数据检测方法、装置、计算机设备及存储介质
CN110457175A (zh) * 2019-07-08 2019-11-15 阿里巴巴集团控股有限公司 业务数据处理方法、装置、电子设备及介质
CN110489612A (zh) * 2019-08-26 2019-11-22 秒针信息技术有限公司 一种资讯信息的多指标监控方法及装置
CN110708197A (zh) * 2019-09-27 2020-01-17 招商局金融科技有限公司 监控装置、监控装置的监控策略的设置方法及存储介质
CN110795315A (zh) * 2018-08-01 2020-02-14 北京京东尚科信息技术有限公司 监控业务的方法和装置
CN111007810A (zh) * 2019-11-06 2020-04-14 珠海格力电器股份有限公司 物料分析预警方法、装置、电子设备及存储介质
CN111124682A (zh) * 2019-12-24 2020-05-08 珠海大横琴科技发展有限公司 一种弹性资源分配方法、装置、电子设备和存储介质
CN111274088A (zh) * 2020-01-15 2020-06-12 平安科技(深圳)有限公司 大数据平台实时监控方法、装置、介质及电子设备
CN111290924A (zh) * 2020-01-22 2020-06-16 北京字节跳动网络技术有限公司 监控方法、装置及电子设备
CN111290916A (zh) * 2020-02-18 2020-06-16 深圳前海微众银行股份有限公司 大数据监控方法、装置、设备及计算机可读存储介质
CN111414376A (zh) * 2020-03-02 2020-07-14 中国建设银行股份有限公司 一种数据预警方法和装置
CN111583069A (zh) * 2020-03-26 2020-08-25 口碑(上海)信息技术有限公司 一种任务数据处理方法以及装置
CN111581508A (zh) * 2020-04-30 2020-08-25 广州市百果园信息技术有限公司 业务监控方法、装置、设备及存储介质
CN111651646A (zh) * 2020-06-30 2020-09-11 支付宝(杭州)信息技术有限公司 业务处理方法及装置
CN111754123A (zh) * 2020-06-28 2020-10-09 深圳壹账通智能科技有限公司 数据监控方法、装置、计算机设备及存储介质
CN111861472A (zh) * 2020-07-30 2020-10-30 中国工商银行股份有限公司 业务监控的处理方法和装置
CN111901171A (zh) * 2020-07-29 2020-11-06 腾讯科技(深圳)有限公司 异常检测和归因方法、装置、设备及计算机可读存储介质
CN111966871A (zh) * 2020-08-07 2020-11-20 中国建设银行股份有限公司 一种银行业务产品质量监控方法、装置及存储介质
WO2020238415A1 (zh) * 2019-05-29 2020-12-03 深圳前海微众银行股份有限公司 一种监控模型训练的方法及装置
CN112311577A (zh) * 2019-07-31 2021-02-02 中国移动通信集团广东有限公司 一种监控指标数据管理方法、装置、电子设备及存储介质
CN112463543A (zh) * 2020-12-17 2021-03-09 江苏苏宁云计算有限公司 业务数据的监控方法、规则数据生成方法、装置及系统
CN112783716A (zh) * 2019-11-11 2021-05-11 北京沃东天骏信息技术有限公司 一种监控方法和装置
CN112835991A (zh) * 2019-11-25 2021-05-25 北京达佳互联信息技术有限公司 监控数据的系统、方法、设备及存储介质
CN113590579A (zh) * 2021-06-22 2021-11-02 微梦创科网络科技(中国)有限公司 一种基于数据仓库的根因分析方法、装置及系统
WO2023273532A1 (zh) * 2021-06-30 2023-01-05 中国民航信息网络股份有限公司 服务治理方法、装置、服务器及计算机存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347552B (zh) * 2019-06-29 2024-04-26 北京淇瑀信息科技有限公司 一种支持可配置的决策引擎实时监控的方法、装置和电子设备
CN110362454A (zh) * 2019-06-29 2019-10-22 北京淇瑀信息科技有限公司 一种支持可配置的决策引擎的报警方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254125A1 (en) * 2013-01-11 2015-09-10 Hitachi, Ltd. Information processing system monitoring apparatus, monitoring method, and monitoring program
CN106878064A (zh) * 2017-01-16 2017-06-20 腾讯科技(深圳)有限公司 数据监控方法和装置
CN106971254A (zh) * 2017-02-13 2017-07-21 上海瀚之友信息技术服务有限公司 一种业务监控系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740247B (zh) * 2011-04-15 2015-07-01 中国移动通信集团山东有限公司 一种告警信息的生成方法及装置
CN103412916B (zh) * 2013-08-07 2016-08-10 北京京东尚科信息技术有限公司 一种监控系统的多维度数据存储、检索方法及装置
CN104268378B (zh) * 2014-09-12 2017-02-15 北京邮电大学 一种基于移动用户大数据的异常行为可视化监控方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254125A1 (en) * 2013-01-11 2015-09-10 Hitachi, Ltd. Information processing system monitoring apparatus, monitoring method, and monitoring program
CN106878064A (zh) * 2017-01-16 2017-06-20 腾讯科技(深圳)有限公司 数据监控方法和装置
CN106971254A (zh) * 2017-02-13 2017-07-21 上海瀚之友信息技术服务有限公司 一种业务监控系统及方法

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033045A (zh) * 2018-06-19 2018-12-18 深圳智慧园区信息技术有限公司 一种生成园区业务图表的方法、装置及设备
CN110795315A (zh) * 2018-08-01 2020-02-14 北京京东尚科信息技术有限公司 监控业务的方法和装置
CN108876317A (zh) * 2018-08-20 2018-11-23 广东技术师范学院 一种数据管理监控方法、装置及终端设备
CN109344394A (zh) * 2018-08-30 2019-02-15 广发证券股份有限公司 一种文本类数据质量监控方法与系统
CN109213822A (zh) * 2018-08-31 2019-01-15 深圳壹账通智能科技有限公司 监控数据的呈现方法和装置
CN109254896A (zh) * 2018-08-31 2019-01-22 北京奇虎科技有限公司 引擎监控数据的获取方法、装置、终端设备及存储介质
CN109218131A (zh) * 2018-09-03 2019-01-15 平安医疗健康管理股份有限公司 网络监控方法、装置、计算机设备和存储介质
CN109409875A (zh) * 2018-09-25 2019-03-01 阿里巴巴集团控股有限公司 一种账单校验方法、装置及电子设备
CN109522193A (zh) * 2018-10-22 2019-03-26 网宿科技股份有限公司 一种运维数据的处理方法、系统及装置
CN109524088A (zh) * 2018-10-27 2019-03-26 平安医疗健康管理股份有限公司 基于数据可视化的医疗监控方法、装置、终端及介质
CN109524088B (zh) * 2018-10-27 2024-02-13 深圳平安医疗健康科技服务有限公司 基于数据可视化的医疗监控方法、装置、终端及介质
WO2020087830A1 (zh) * 2018-11-02 2020-05-07 深圳壹账通智能科技有限公司 数据分析方法、装置、服务器及存储介质
CN109684161A (zh) * 2018-11-02 2019-04-26 深圳壹账通智能科技有限公司 数据分析方法、装置、服务器及存储介质
CN109711155A (zh) * 2018-11-13 2019-05-03 同盾控股有限公司 一种预警确定方法和装置
CN110147405A (zh) * 2019-04-15 2019-08-20 平安普惠企业管理有限公司 一种基于基架运维的监控方法、装置、设备和存储介质
WO2020238415A1 (zh) * 2019-05-29 2020-12-03 深圳前海微众银行股份有限公司 一种监控模型训练的方法及装置
CN110275878B (zh) * 2019-06-25 2021-08-17 北京达佳互联信息技术有限公司 业务数据检测方法、装置、计算机设备及存储介质
CN110275878A (zh) * 2019-06-25 2019-09-24 北京达佳互联信息技术有限公司 业务数据检测方法、装置、计算机设备及存储介质
CN110457175A (zh) * 2019-07-08 2019-11-15 阿里巴巴集团控股有限公司 业务数据处理方法、装置、电子设备及介质
CN112311577A (zh) * 2019-07-31 2021-02-02 中国移动通信集团广东有限公司 一种监控指标数据管理方法、装置、电子设备及存储介质
CN110489612A (zh) * 2019-08-26 2019-11-22 秒针信息技术有限公司 一种资讯信息的多指标监控方法及装置
CN110708197A (zh) * 2019-09-27 2020-01-17 招商局金融科技有限公司 监控装置、监控装置的监控策略的设置方法及存储介质
CN111007810A (zh) * 2019-11-06 2020-04-14 珠海格力电器股份有限公司 物料分析预警方法、装置、电子设备及存储介质
CN112783716B (zh) * 2019-11-11 2024-04-05 北京沃东天骏信息技术有限公司 一种监控方法和装置
CN112783716A (zh) * 2019-11-11 2021-05-11 北京沃东天骏信息技术有限公司 一种监控方法和装置
CN112835991A (zh) * 2019-11-25 2021-05-25 北京达佳互联信息技术有限公司 监控数据的系统、方法、设备及存储介质
CN112835991B (zh) * 2019-11-25 2023-11-21 北京达佳互联信息技术有限公司 监控数据的系统、方法、设备及存储介质
CN111124682A (zh) * 2019-12-24 2020-05-08 珠海大横琴科技发展有限公司 一种弹性资源分配方法、装置、电子设备和存储介质
CN111124682B (zh) * 2019-12-24 2021-01-08 珠海大横琴科技发展有限公司 一种弹性资源分配方法、装置、电子设备和存储介质
CN111274088A (zh) * 2020-01-15 2020-06-12 平安科技(深圳)有限公司 大数据平台实时监控方法、装置、介质及电子设备
CN111274088B (zh) * 2020-01-15 2021-08-24 平安科技(深圳)有限公司 大数据平台实时监控方法、装置、介质及电子设备
CN111290924B (zh) * 2020-01-22 2022-05-10 北京字节跳动网络技术有限公司 监控方法、装置及电子设备
CN111290924A (zh) * 2020-01-22 2020-06-16 北京字节跳动网络技术有限公司 监控方法、装置及电子设备
CN111290916A (zh) * 2020-02-18 2020-06-16 深圳前海微众银行股份有限公司 大数据监控方法、装置、设备及计算机可读存储介质
CN111414376A (zh) * 2020-03-02 2020-07-14 中国建设银行股份有限公司 一种数据预警方法和装置
CN111583069A (zh) * 2020-03-26 2020-08-25 口碑(上海)信息技术有限公司 一种任务数据处理方法以及装置
CN111581508A (zh) * 2020-04-30 2020-08-25 广州市百果园信息技术有限公司 业务监控方法、装置、设备及存储介质
CN111754123A (zh) * 2020-06-28 2020-10-09 深圳壹账通智能科技有限公司 数据监控方法、装置、计算机设备及存储介质
CN111651646A (zh) * 2020-06-30 2020-09-11 支付宝(杭州)信息技术有限公司 业务处理方法及装置
CN111651646B (zh) * 2020-06-30 2023-07-07 支付宝(杭州)信息技术有限公司 业务处理方法及装置
CN111901171B (zh) * 2020-07-29 2023-10-20 腾讯科技(深圳)有限公司 异常检测和归因方法、装置、设备及计算机可读存储介质
CN111901171A (zh) * 2020-07-29 2020-11-06 腾讯科技(深圳)有限公司 异常检测和归因方法、装置、设备及计算机可读存储介质
CN111861472A (zh) * 2020-07-30 2020-10-30 中国工商银行股份有限公司 业务监控的处理方法和装置
CN111861472B (zh) * 2020-07-30 2024-04-09 中国工商银行股份有限公司 业务监控的处理方法和装置
CN111966871A (zh) * 2020-08-07 2020-11-20 中国建设银行股份有限公司 一种银行业务产品质量监控方法、装置及存储介质
CN112463543A (zh) * 2020-12-17 2021-03-09 江苏苏宁云计算有限公司 业务数据的监控方法、规则数据生成方法、装置及系统
CN113590579A (zh) * 2021-06-22 2021-11-02 微梦创科网络科技(中国)有限公司 一种基于数据仓库的根因分析方法、装置及系统
CN113590579B (zh) * 2021-06-22 2024-05-31 微梦创科网络科技(中国)有限公司 一种基于数据仓库的根因分析方法、装置及系统
WO2023273532A1 (zh) * 2021-06-30 2023-01-05 中国民航信息网络股份有限公司 服务治理方法、装置、服务器及计算机存储介质

Also Published As

Publication number Publication date
WO2019051951A1 (zh) 2019-03-21
CN107741955B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN107741955A (zh) 业务数据监控方法、装置、终端设备及存储介质
US20220101214A1 (en) Machine learning artificial intelligence system for predicting popular hours
US10656190B2 (en) Non-parametric statistical behavioral identification ecosystem for electricity fraud detection
CN110322093B (zh) 信息处理方法、信息显示方法、装置及计算设备
CN112598513B (zh) 识别股东风险交易行为的方法及装置
CN110764902A (zh) 基于ai的虚拟资源分配方法、装置、计算机设备及存储介质
CN109558991B (zh) 基于自贩机的货道量推荐方法、装置、设备及存储介质
CN115759433A (zh) 业务办理等待时长的确定方法、装置和服务器
CN109543117A (zh) 基于智能推荐的服务推送方法及终端设备
CN109190982A (zh) 企业经营健康度获取方法、装置、计算机装置及存储介质
CN114201212B (zh) 配置文件处理方法、装置、计算机设备及存储介质
CN110909148A (zh) 一种客服辅助方法及装置
Wang et al. Multi-objective parallel robotic dispensing planogram optimisation using association rule mining and evolutionary algorithms
CN111009299A (zh) 相似药品推荐方法及系统、服务器及介质
CN110119784A (zh) 一种订单推荐方法及装置
CN114881313A (zh) 基于人工智能的行为预测方法、装置及相关设备
CN114020802A (zh) 风险的排序方法及装置
CN113159552A (zh) 一种员工激励管理方法、系统、设备和存储介质
CN109767342A (zh) 一种数据处理方法、系统、终端及存储介质
CN109408584A (zh) 报表显示方法、装置、计算机装置及存储介质
KR102574617B1 (ko) 판매량이 예측 가능한 자동화 식당 운영 방법
CN109711855A (zh) 一种销售漏斗显示系统、装置及终端设备
CN113781237B (zh) 基于分布式人工智能系统的产品订购单消费方法
KR102708242B1 (ko) 주문 정보를 처리하는 방법 및 전자 장치
US20230101734A1 (en) Machine learning model to fill gaps in adaptive rate shifting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant