CN114006801B - 动态化模板的发送方法、装置、电子设备及存储介质 - Google Patents
动态化模板的发送方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114006801B CN114006801B CN202111277189.5A CN202111277189A CN114006801B CN 114006801 B CN114006801 B CN 114006801B CN 202111277189 A CN202111277189 A CN 202111277189A CN 114006801 B CN114006801 B CN 114006801B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- template
- data
- field
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
- G06F8/24—Object-oriented
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开关于一种动态化模板的发送方法、装置、电子设备及存储介质。所述方法包括:接收已发送动态化模板的第一客户端发送的模板运行数据,动态化模板中存在采集数据的采集点,模板运行数据是第一客户端通过采集点采集得到的数据;当模板运行数据中存在异常数据时,获取异常数据;当异常数据满足异常指标时,向模板配置中心发送调整指令,调整指令用于指示模板配置中心减少动态化模板的发送数量。根据本公开方案,基于实时采集到的大数据监控动态化模板的运行情况,在判断动态化模板存在问题时便缩小动态化模板的下发量,可以及时避免故障扩大,提升动态化模板的发送质量。
Description
技术领域
本公开涉及互联网技术领域,尤其涉及一种动态化模板的发送方法、装置、电子设备、计算机可读存储介质、计算机程序产品。
背景技术
随着移动端动态化技术的发展,基于动态化体系可以快速落地产品。相关技术中,动态化模板大多采用JS(JavaScript,一种编程语言)和Native(原生方法)结合的模式进行开发,在开发、解决问题的过程中,通常采用归因方法解决问题,即找出问题发生的原因,再针对原因有针对性地采取解决措施。由于归因解决方法时效性较差,从而影响动态化模板的发送质量。
发明内容
本公开提供一种动态化模板的发送方法、装置、电子设备、计算机可读存储介质、计算机程序产品,以至少解决相关技术中解决动态化模板的问题所需时间较长,从而影响动态化模板的发送质量的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种动态化模板的发送方法,包括:
接收已发送动态化模板的第一客户端发送的模板运行数据,所述动态化模板中存在采集数据的采集点,所述模板运行数据是所述第一客户端通过所述采集点采集得到的数据;
当所述模板运行数据中存在异常数据时,获取所述异常数据;
当所述异常数据满足异常指标时,向模板配置中心发送调整指令,所述调整指令用于指示所述模板配置中心减少所述动态化模板的发送数量。
在其中一个实施例中,已发送所述动态化模板的第一客户端的数量为多个;所述模板运行数据包括字段以及与所述字段对应的字段值;
所述当所述模板运行数据中存在异常数据时,获取所述异常数据,包括:
对多个所述模板运行数据下相同字段的字段值进行聚合处理,当所述字段值中存在异常字段值时,根据聚合处理后的所述异常字段值生成所述异常数据。
在其中一个实施例中,所述当所述异常数据满足异常指标时,向模板配置中心发送调整指令,包括:
根据聚合处理后的所述异常字段值,确定所述异常字段值的出现次数;
当所述异常字段值的出现次数满足与所述字段对应的异常次数指标时,向所述模板配置中心发送所述调整指令。
在其中一个实施例中,所述异常字段值的出现次数满足与所述字段对应的异常次数指标,包括:
当出现以下情况中的任一种时,确定所述异常字段值的出现次数满足与所述字段对应的异常次数指标:
所述异常次数指标为第一异常次数阈值,所述异常字段对应的出现次数大于所述第一异常次数阈值;
所述异常次数指标为异常比例阈值,所述出现次数在所述模板运行数据的产生时间段内的环比或者同比大于所述异常比例阈值;
所述异常次数指标为第二异常次数阈值,根据所述出现次数以及所述模板运行数据的产生时间段,确定预设时间段内所述字段的异常字段值的预测出现次数,所述预测出现次数大于所述第二异常次数阈值。
在其中一个实施例中,所述对多个所述模板运行数据下相同字段的字段值进行聚合处理,包括:
将所述字段对应的字段值发送至与所述字段对应的处理单元,所述处理单元用于对所述字段下的字段值进行处理,生成结构化数据表。
在其中一个实施例中,在所述向模板配置中心发送调整指令之后,还包括:
根据所述调整指令向还未下发所述动态化模板的第二客户端发送所述动态化模板;
接收所述第二客户端发送的当前模板运行数据;
当所述当前模板运行数据中存在异常数据时,获取所述当前模板运行数据中的当前异常数据;
当所述当前异常数据与所述异常数据之间满足异常数据变化条件时,继续向所述模板配置中心发送新的调整指令,所述新的调整指令用于指示所述模板配置中心继续减少所述动态化模板的发送数量;
当所述当前异常数据与所述异常数据之间不满足异常数据变化条件时,向报警平台发送报警消息。
在其中一个实施例中,所述模板配置中心还用于确定未发送所述动态化模板的第三客户端,指示所述第三客户端运行与所述动态化模板对应的原生方法。
根据本公开实施例的第二方面,提供一种动态化模板的发送装置,包括:
运行数据接收模块,被配置为执行接收已发送动态化模板的第一客户端发送的模板运行数据,所述动态化模板中存在采集数据的采集点,所述模板运行数据是所述第一客户端通过所述采集点采集得到的数据;
异常数据获取模块,被配置为执行当所述模板运行数据中存在异常数据时,获取所述异常数据;
模板发送模块,被配置为执行当所述异常数据满足异常指标时,向模板配置中心发送调整指令,所述调整指令用于指示所述模板配置中心减少所述动态化模板的发送数量。
在其中一个实施例中,已发送所述动态化模板的第一客户端的数量为多个;所述模板运行数据包括字段以及与所述字段对应的字段值;
所述异常数据获取模块,被配置为执行对多个所述模板运行数据下相同字段的字段值进行聚合处理,当所述字段值中存在异常字段值时,根据聚合处理后的所述异常字段值生成所述异常数据。
在其中一个实施例中,所述模板发送模块,包括:
次数确定单元,被配置为执行根据聚合处理后的所述异常字段值,确定所述异常字段值的出现次数;
模板发送单元,被配置为执行当所述异常字段值的出现次数满足与所述字段对应的异常次数指标时,向所述模板配置中心发送所述调整指令。
在其中一个实施例中,所述模板发送单元,被配置为执行当出现以下情况中的任一种时,确定所述异常字段值的出现次数满足与所述字段对应的异常次数指标:
所述异常次数指标为第一异常次数阈值,所述异常字段对应的出现次数大于所述第一异常次数阈值;
所述异常次数指标为异常比例阈值,所述出现次数在所述模板运行数据的产生时间段内的环比或者同比大于所述异常比例阈值;
所述异常次数指标为第二异常次数阈值,根据所述出现次数以及所述模板运行数据的产生时间段,确定预设时间段内所述字段的异常字段值的预测出现次数,所述预测出现次数大于所述第二异常次数阈值。
在其中一个实施例中,所述异常数据获取模块,被配置为执行将所述字段对应的字段值发送至与所述字段对应的处理单元,所述处理单元用于对所述字段下的字段值进行处理,生成结构化数据表。
在其中一个实施例中,所述模板发送模块,还被配置为执行根据所述调整指令向还未下发所述动态化模板的第二客户端发送所述动态化模板;
所述运行数据接收模块,还被配置为执行接收所述第二客户端发送的当前模板运行数据;
所述异常数据获取模块,还被配置为执行当所述当前模板运行数据中存在异常数据时,获取所述当前模板运行数据中的当前异常数据;
所述装置还包括:
变化条件判断模块,被配置为执行当所述当前异常数据与所述异常数据之间满足异常数据变化条件时,继续向所述模板配置中心发送新的调整指令,所述新的调整指令用于指示所述模板配置中心继续减少所述动态化模板的发送数量;
报警信息发送模块,被配置为执行当所述当前异常数据与所述异常数据之间不满足异常数据变化条件时,向报警平台发送报警消息。
在其中一个实施例中,所述模板配置中心还用于确定未发送所述动态化模板的第三客户端,指示所述第三客户端运行与所述动态化模板对应的原生方法。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述第一方面任一项实施例所述的动态化模板的发送方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面任一项实施例所述的动态化模板的发送方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如第一方面任一项实施例所述的动态化模板的发送方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在动态化模板中配置用于采集数据的采集点,接收已发送动态化模板的第一客户端发送的模板运行数据;当模板运行数据中存在异常数据时,获取异常数据;当异常数据满足异常指标时,向模板配置中心发送调整指令,指示模板配置中心减少动态化模板的发送数量,通过基于采集到的大数据监控动态化模板的运行情况,一旦在判断动态化模板存在问题时便减少动态化模板的发送量,可以及时避免故障扩大,提升动态化模板的发送质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种动态化模板的发送方法的应用环境图。
图2是根据一示例性实施例示出的一种动态化模板的发送方法的流程图。
图3是根据一示例性实施例示出的一种发送动态化模板步骤的流程图。
图4是根据一示例性实施例示出的一种动态化模板的发送方法的流程图。
图5是根据一示例性实施例示出的一种动态化模板的发送方法的示意图。
图6是根据一示例性实施例示出的一种动态化模板的发送装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本公开所提供的动态化模板的发送方法,可以应用于如图1所示的应用环境中。
以下对图1中出现的术语进行说明:
动态化模板:动态完成更换界面部署和更新的模板。可以在平台项目中实现多套界面布局,在平台上线之后实现动态更换界面布局。示例性地,在应用程序的首页,普通状态下应用程序的首页内容是固定的。若预先配置了符合节日规律的动态化模板,在节日来临时,可以加载节日模板,使用户终端自动从普通界面切换至显示节日界面。
动态化模板开发者:应用各个客户端形态平台能力,通过编写代码实现可以实时切换端上UI(User Interface,用户界面)元素的模板的开发者。利用脚本语言开发时,借用平台能力完成逻辑,使得开发出的动态化模板具备业务功能。
整合:开发得到的动态化模板打包后输出至模板配置中心。
模板配置中心:动态模板管理平台,执行具体的上下线、样式管理等功能。
错误反馈:当客户端在运行动态化模板时发生错误,可以通过自动化的方式发现问题并自动反馈,也可以人工反馈。
如图1所示,模板配置中心110通过网络与业务服务器120进行交互。多个用户终端130分别通过网络与业务服务器120、处理服务器140进行交互。其中,业务服务器120是指对接用户终端130的服务器,具备各类业务服务能力,包括动态化模板的投放、回收等,使动态化模板最终被渲染在用户终端130上。具体地,模板配置中心110中预先配置了整合后的n个客户端形态下的动态化模板,n为任意正整数。模板配置中心110通过网络将动态化模板发送至业务服务器120。业务服务器120在确定某个用户终端130登录应用程序,且满足发送动态模板的条件时,向该个用户终端130发送动态化模板,动态化模板中预先配置有采集数据的采集点。用户终端130运行动态化模板,通过采集点采集用户终端130中的相关数据,得到模板运行数据。用户终端130将模板运行数据上报至处理服务器140,以通过处理服务器140对模板运行数据进行处理,获取异常数据。处理服务器140在判断异常数据达到异常指标时,向模板配置中心110发送调整指令,指示模板配置中心110按照缩量发送逻辑指示业务服务器120向还未发送动态化模板的用户终端130发送动态化模板(即减少后续动态化模板的发送数量)。
其中,用户终端130可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备。业务服务器120和处理服务器140可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2是根据一示例性实施例示出的一种动态化模板的发送方法的流程图,如图2所示,动态化模板的发送方法用于处理服务器中,包括以下步骤。
在步骤S210中,接收已发送动态化模板的第一客户端发送的模板运行数据,动态化模板中存在采集数据的采集点,模板运行数据是第一客户端通过采集点采集得到的数据。
其中,第一客户端可以是业务服务器按照发送策略已发送动态化模板的客户端。
采集点可以为埋点。埋点是一种数据采集方式,通过埋点可以采集页面渲染情况、格式信息等数据。动态化模板中的采集点可以按需配置,例如,可以在动态化模板的发送节点、页面渲染节点、格式匹配节点等处设置响相应的采集点。
具体地,当业务服务器确定第一客户端满足动态化模板的发送条件时,向第一客户端发送动态化模板。第一客户端实时通过采集点采集相关数据,得到模板运行数据。例如,采集点针对页面渲染节点,若第一客户端检测到页面渲染正常,则可以通过该采集点采集得到渲染正常的模板运行数据;若第一客户端检测到页面渲染异常,则可以通过该采集点采集得到渲染异常的模板运行数据。第一客户端可以将所采集到的数据实时或者定时(例如,每隔预设时间段)地发送至处理服务器。
在步骤S220中,当模板运行数据中存在异常数据时,获取异常数据。
具体地,模板运行数据中包含字段以及与字段对应的字段值。例如,模板运行数据为【参数;错误】,那么字段可以是【参数】,对应的字段值可以为“错误”。处理服务器在收到模板运行数据后,可以对字段值进行分析处理,判断每个字段对应的字段值是否指示异常,若字段值指示异常,则将该字段值所属的模板运行数据作为异常数据。
在步骤S230中,当异常数据满足异常指标时,向模板配置中心发送调整指令,调整指令用于指示模板配置中心减少动态化模板的发送数量。
其中,在对异常数据进行监控的过程中,通常需要对当前的异常数据进行分析,确定当前的异常数据是否满足异常指标。一个示例中,异常指标可以采用数据的变化率,变化率可以采用同比或环比等表示。同比是指跟以往同一时期相比,例如与昨天的同一时间段相比;环比是指表示连续2个统计周期(比如连续两个时段)内的量的变化比。另一个示例中,异常指标还可以采用数据的达成率,达成率可以采用异常数据出现的次数、异常数据量等表示。
具体地,处理服务器对所得到的异常数据进行分析,在判断异常数据满足异常指标时,向模板配置中心发送调整指令,指示模板配置中心按照缩量发送逻辑继续发送动态化模板。其中,缩量发送逻辑用于减少动态化模板被继续发送的数量。例如,将动态化模板的发送策略由所有客户端发送切换至部分客户端发送。部分客户端的确定方式可以预先配置,例如,随机选择一定比例的客户端作为部分客户端、将目标属性下的客户端作为部分客户端。其中,目标属性可以是客户端属性,例如,客户端版本、客户端所在终端的操作系统版本等。
一个实施例中,还可以在处理服务器中配置报警逻辑,例如,配置报警方式(例如,邮件、电话、短信等)、报警时间(例如,实时、固定时间点)、管理员信息(例如,管理员帐户)等,当确定异常数据满足异常指标时,还可以报警逻辑向报警平台发送报警信息,以使用户能够及时获悉动态化模板的发送情况。
上述动态化模板的发送方法中,在动态化模板中配置用于采集数据的采集点,接收已发送动态化模板的第一客户端发送的模板运行数据;当模板运行数据中存在异常数据时,获取异常数据;当异常数据满足异常指标时,向模板配置中心发送调整指令,指示模板配置中心减少动态化模板的发送数量,通过基于实时采集到的大数据监控动态化模板的运行情况,一旦在判断动态化模板存在问题时便缩小动态化模板的发送量,可以及时避免故障扩大,提升动态化模板的发送质量。
在一示例性实施例中,模板配置中心还用于确定无需发送动态化模板的第三客户端,指示第三客户端运行与动态化模板对应的原生方法。
其中,原生方法(native)也可以是与平台有关的本地方法。原生方法可以访问操作系统底层信息。
具体地,在本实施例中,动态化模板可采用JS结合native模式开发得到,即,对预先为每个版本的动态化模板配置相对应的原生方法兜底逻辑。在模板配置中心接收到处理服务器发送的调整指令,确定无需发送动态化模板的第三客户端后,通过业务服务器指示第三客户端运行与动态化模板对应的原生方法。
本实施例中,通过配置与每个动态化模板对应的原生方法作为兜底逻辑,在确定当前的异常数据满足异常指标时,指示无需发送动态化模板的客户端运行原生方法,可以使用户无感知故障的发生,实现客户端的正常运行。
在一示例性实施例中,已发送动态化模板的第一客户端的数量为多个;模板运行数据包括字段以及与字段对应的字段值;当模板运行数据中存在异常数据时,获取异常数据,包括:对多个模板运行数据下相同字段的字段值进行聚合处理,当字段值中存在异常字段值时,根据聚合处理后的异常字段值生成异常数据。
其中,每个采集点采集的模板运行数据中包含字段以及与字段对应的字段值。
一个示例中,采集点设置在模板发送节点,字段包括“发送”、“版本号”。若模板发送成功,与字段“发送”对应的字段值可以为成功,与字段“版本号”对应的字段值可以为可用。若模板发送失败,与字段“发送”对应的字段值可以为失败,与字段“版本号”对应的字段值可以为不可用。
另一个示例性中,采集点设置在页面渲染节点,字段为“参数”,若模板可用,与字段“参数”对应的字段值可以为可用;若模板不可用,与字段“参数”对应的字段值可以为不可用。
具体地,在已发送动态化模板的第一客户端的数量为多个的情况下,处理服务器接收每个第一客户端发送的模板运行数据。处理服务器从字段维度对当前接收到的模板运行数据进行聚合处理,得到与每个字段对应的多个字段值。当多个字段值中存在异常字段值时,例如,字段值为“错误”、“失败”、“不可用”等时,将聚合处理后的异常字段值作为异常数据。
一个实施例中,可以对指定的一个或者多个字段进行单独监测,根据指定字段的字段值判断是否需要缩量发送动态化模板。
本实施例中,在模板运行数据中设置特定的字段,从字段维度对多个已发送动态化模板的客户端发送的模板运行数据进行聚合处理,可以精确地统计得到与每个字段对应的异常数据,有助于提升数据处理的准确性和灵活性。
在一示例性实施例中,当异常数据满足异常指标时,向模板配置中心发送调整指令,包括:根据聚合处理后的异常字段值,确定异常字段值的出现次数;当异常字段值的出现次数满足与字段对应的异常次数指标时,向模板配置中心发送调整指令。
具体地,在已发送动态化模板的第一客户端的数量为多个的情况下,处理服务器从字段维度对当前接收到的多个模板运行数据进行聚合处理,得到与每个字段对应的多个字段值。当多个字段值中存在异常字段值时,例如,字段值为“错误”、“失败”、“不可用”等时,处理服务器获取每个字段对应的异常字段值的出现次数。一个示例中,字段“发送”对应的字段值包括[成功、成功、失败],则可以得到字段“发送”对应的异常字段值的出现次数为1。处理服务器在确定字段对应的出现次数满足异常次数指标的情况下,向模板配置中心发送调整指令。
一个实施例中,还可以将多个字段对应的异常字段值的出现次数进行累计求和处理。根据求和处理后的出现次数判断是否满足异常次数指标,在确定满足,则向模板配置中心发送调整指令。
本实施例中,通过统计异常发生的次数,根据异常发生的次数判断是否需要缩量发送动态化模板,易于后台部署和后期维护。此外,由于异常发生次数的获取过程较为简单,因此还可以减轻处理服务器的运行压力。
在一示例性实施例中,异常字段值的出现次数满足与字段对应的异常次数指标,可以通过现以下情况中的任一种实现:
(1)异常次数指标为第一异常次数阈值。处理服务器将出现次数与第一异常次数阈值进行比较,当确定异常字段对应的出现次数大于第一异常次数阈值时,向模板配置中心发送调整指令。
(2)异常次数指标为异常比例阈值。在这种情况下,可以配置模板运行数据的产生时间段,例如,配置每隔2小时对最近2小时接收到的模板运行数据进行处理。处理服务器在获取产生时间段内异常字段值的出现次数后,计算该产生时间段的环比或者同比,当环比或者同比大于异常比例阈值时,向模板配置中心发送调整指令。
(3)异常次数指标为第二异常次数阈值。处理服务器中部署有深度学习模型。深度学习模型可以是任一种能够预测异常字段值的出现次数的模型,例如,线性模型、神经网络模型、支持向量机等。在获取当前异常字段值的出现次数之后,可以将模板运行数据的产生时间段、字段、与字段对应的异常字段值的出现次数等作为输入数据,通过深度学习模型预测得到预设时间段内字段的异常字段值的预测出现次数。当处理服务器确定预测出现次数大于第二异常次数阈值时,向模板配置中心发送调整指令。
本实施例中,提供多种判断异常数据是否满足异常指标的方式,使得动态化模板的缩量发送更具灵活性。
在一示例性实施例中,对多个模板运行数据下相同字段的字段值进行聚合处理,包括:将字段对应的字段值发送至与字段对应的处理单元,处理单元用于对字段下的字段值进行处理,生成结构化数据表。
具体地,预先根据数据处理需求配置与每个字段对应的处理单元,将处理单元注册到消息队列分布服务元数据配置中心。在处理服务器接收到多个第一客户端发送的模板运行数据后,将字段对应的字段值发送至与字段对应的处理单元,通过该处理单元实现数据从消息队列分布服务到数据仓库工具的转换。转换的次数依实际需求而定。
预先配置在平台框架中编写结构化查询语言语句。将每个字段下的数据转换至数据仓库工具后,通过结构化查询语言数据实现数据落表,将数据存储至列式数据库管理系统,从而将非结构化的模板运行数据处理成结构化数据表的过程。
本实施例中,通过预先部署与字段对应的处理单元,分别对字段对应的字段值进行独立处理,可以提升模板运行数据的处理效率。通过将非结构化的模板运行数据转换成结构化数据,便于后续的数据消费。
在一示例性实施例中,如图3所示,在步骤S230,向模板配置中心发送调整指令之后,还包括:
在步骤S310中,根据调整指令向还未下发所述动态化模板的第二客户端发送动态化模板。
在步骤S320中,接收第二客户端发送的当前模板运行数据。
在步骤S330中,当当前模板运行数据中存在异常数据时,获取当前模板运行数据中的当前异常数据。
在步骤S340中,当当前异常数据与异常数据之间满足异常数据变化条件时,继续向模板配置中心发送新的调整指令,新的调整指令用于指示模板配置中心继续按减少动态化模板的发送数量。
在步骤S350中,当当前异常数据与异常数据之间不满足异常数据变化条件时,向报警平台发送报警消息。
其中,异常数据变化条件可以根据当前异常数据与异常数据之间的数据量差异确定,例如,当前异常字段值与异常字段值之间的出现次数差值少于第一阈值;当前异常字段值与异常字段值之间的出现次数变化率大于第二阈值。
具体地,在处理服务器向模板配置中心发送调整指令,指示模板配置中心向第二客户端发送动态化模板之后,处理服务器继续接收第二客户端发送的当前模板运行数据。根据当前模板运行数据确定当前异常数据,确定当前异常数据的具体实现方式可以参照上述实施例,在此不做具体阐述。若处理服务器确定当前异常数据与缩量发送之前得到的异常数据之间的差异满足异常数据变化条件,表明缩量发送措施有效,则继续向模板配置中心发送新的调整指令,指示模板配置中心继续按照缩量发送逻辑发送动态化模板。若处理服务器确定当前异常数据与缩量发送之前得到的异常数据之间的差异不满足异常数据变化条件,表明缩量发送措施效果不佳,可能存在其他故障原因,则可以向报警平台发送报警消息,以提示用户人工干预。
本实施例中,通过持续性地监控动态化模板的异常情况,使用缩量发送后的数据反向验证缩量发送是否有效,可以提升缩量发送的灵敏度和实时性。通过向报警平台发送报警信息,可以有效实现异常归类、实时监控、全天候值班、错误归因、修正触发等功能,进而使得动态化模板的发送功能更加全面。
图4是根据一示例性实施例示出的一种动态化模板的发送方法的流程图,结合图5所示的示意图对动态化模板的发送方法进行说明。如图4所示,包括以下步骤。
在步骤S402中,接收已发送动态化模板的第一客户端发送的模板运行数据。其中,动态化模板中存在采集数据的采集点,模板运行数据是第一客户端通过采集点采集得到的数据。已发送动态化模板的第一客户端的数量为多个,模板运行数据包括字段以及与字段对应的字段值。
在步骤S404中,将模板运行数据发送至大数据处理平台,通过大数据处理平台将字段对应的字段值发送至与字段对应的处理单元,通过该处理单元对字段下的数据进行流式处理,实现数据从消息队列分布服务到数据仓库工具的转换,实现数据落表,并将数据存储至列式数据库管理系统,实现将非结构化的模板运行数据处理成结构化数据表。
在步骤S406中,当从结构化数据表中获取与字段对应的字段值中存在异常字段值时,根据聚合处理后的异常字段值生成异常数据。
在步骤S408中,根据聚合处理后的异常字段值,确定异常字段值的出现次数,当异常字段值的出现次数满足与字段对应的异常次数指标时,向模板配置中心发送调整指令,调整指令用于指示模板配置中心按照缩量发送逻辑向还未发送动态化模板的第二客户端发送动态化模板。模板配置中心还用于确定无需发送动态化模板的第三客户端,指示第三客户端运行与动态化模板对应的原生方法。
在步骤S410中,接收第二客户端发送的当前模板运行数据,根据当前模板运行数据持续动态化地确定是否需要继续缩量发送动态化模板。
在步骤S412中,将动态化模板的异常情况发送至报警平台。
图5是根据一示例性实施例示出的一种动态化模板的发送系统示意图。如图5所示,该发送系统包括终端、模板配置中心、业务服务器、处理服务器。其中,处理服务器中集成有大数据处理平台、处理单元、流失处理、报警处理配置中心。发送系统按照上述实施例所述的步骤实现动态化模板的发送控制。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是,本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见,每个实施例重点说明的是与其他实施例的不同之处,相关之处参见其他方法实施例的说明即可。
图6是根据一示例性实施例示出的一种动态化模板的发送装置600框图。参照图6,该装置包括运行数据接收模块602、异常数据获取模块604、模板发送模块606。
模板运行数据接收模块602,被配置为执行接收已发送动态化模板的第一客户端发送的模板运行数据,动态化模板中存在采集数据的采集点,模板运行数据是第一客户端通过采集点采集得到的数据;异常数据获取模块604,被配置为执行当模板运行数据中存在异常数据时,获取异常数据;模板发送模块606,被配置为执行当异常数据满足异常指标时,向模板配置中心发送调整指令,调整指令用于指示模板配置中心减少动态化模板的发送数量。
在一示例性实施例中,已发送动态化模板的第一客户端的数量为多个;模板运行数据包括字段以及与字段对应的字段值;异常数据获取模块604,被配置为执行对多个模板运行数据下相同字段的字段值进行聚合处理,当字段值中存在异常字段值时,根据聚合处理后的异常字段值生成异常数据。
在一示例性实施例中,模板发送模块606,包括:次数确定单元,被配置为执行根据聚合处理后的异常字段值,确定异常字段值的出现次数;模板发送单元,被配置为执行当异常字段值的出现次数满足与字段对应的异常次数指标时,向模板配置中心发送调整指令。
在一示例性实施例中,模板发送单元,被配置为执行当出现以下情况中的任一种时,确定异常字段值的出现次数满足与字段对应的异常次数指标:异常次数指标为第一异常次数阈值,异常字段对应的出现次数大于第一异常次数阈值;异常次数指标为异常比例阈值,出现次数在模板运行数据的产生时间段内的环比或者同比大于异常比例阈值;异常次数指标为第二异常次数阈值,根据出现次数以及模板运行数据的产生时间段,确定预设时间段内字段的异常字段值的预测出现次数,预测出现次数大于第二异常次数阈值。
在一示例性实施例中,异常数据获取模块604,被配置为执行将字段对应的字段值发送至与字段对应的处理单元,处理单元用于对字段下的字段值进行处理,生成结构化数据表。
在一示例性实施例中,模板发送模块606,还被配置为执行根据调整指令向还未下发动态化模板的第二客户端发送动态化模板;运行数据接收模块602,还被配置为执行接收第二客户端发送的当前模板运行数据;异常数据获取模块604,还被配置为执行当当前模板运行数据中存在异常数据时,获取当前模板运行数据中的当前异常数据;装置600还包括:变化条件判断模块,被配置为执行当当前异常数据与异常数据之间满足异常数据变化条件时,继续向模板配置中心发送新的调整指令,新的调整指令用于指示模板配置中心继续减少动态化模板的发送数量;报警信息发送模块,被配置为执行当当前异常数据与异常数据之间不满足异常数据变化条件时,向报警平台发送报警消息。
在一示例性实施例中,模板配置中心还用于确定未发送动态化模板的第三客户端,指示第三客户端运行与动态化模板对应的原生方法。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种用于发送动态模板的电子设备S00的框图。例如,电子设备S00可以为服务器。参照图7,电子设备S00包括处理组件S20,其进一步包括一个或多个处理器,以及由存储器S22所代表的存储器资源,用于存储可由处理组件S20的执行的指令,例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件S20被配置为执行指令,以执行上述方法。
电子设备S00还可以包括:电源组件S24被配置为执行电子设备S00的电源管理,有线或无线网络接口S26被配置为将电子设备S00连接到网络,和输入输出(I/O)接口S28。电子设备S00可以操作基于存储在存储器S22的操作系统,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD或类似。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器S22,上述指令可由电子设备S00的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质,例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由电子设备S00的处理器执行以完成上述方法。
需要说明的,上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种动态化模板的发送方法,其特征在于,包括:
接收已发送动态化模板的第一客户端发送的模板运行数据,所述动态化模板中存在采集数据的采集点,所述模板运行数据是所述第一客户端通过所述采集点采集得到的数据;
当所述模板运行数据中存在异常数据时,获取所述异常数据;
当所述异常数据满足异常指标时,向模板配置中心发送调整指令,所述调整指令用于指示所述模板配置中心减少所述动态化模板的发送数量。
2.根据权利要求1所述的动态化模板的发送方法,其特征在于,已发送所述动态化模板的第一客户端的数量为多个;所述模板运行数据包括字段以及与所述字段对应的字段值;
所述当所述模板运行数据中存在异常数据时,获取所述异常数据,包括:
对多个所述模板运行数据下相同字段的字段值进行聚合处理,当所述字段值中存在异常字段值时,根据聚合处理后的所述异常字段值生成所述异常数据。
3.根据权利要求2所述的动态化模板的发送方法,其特征在于,所述当所述异常数据满足异常指标时,向模板配置中心发送调整指令,包括:
根据聚合处理后的所述异常字段值,确定所述异常字段值的出现次数;
当所述异常字段值的出现次数满足与所述字段对应的异常次数指标时,向所述模板配置中心发送所述调整指令。
4.根据权利要求3所述的动态化模板的发送方法,其特征在于,所述异常字段值的出现次数满足与所述字段对应的异常次数指标,包括:
当出现以下情况中的任一种时,确定所述异常字段值的出现次数满足与所述字段对应的异常次数指标:
所述异常次数指标为第一异常次数阈值,所述异常字段对应的出现次数大于所述第一异常次数阈值;
所述异常次数指标为异常比例阈值,所述出现次数在所述模板运行数据的产生时间段内的环比或者同比大于所述异常比例阈值;
所述异常次数指标为第二异常次数阈值,根据所述出现次数以及所述模板运行数据的产生时间段,确定预设时间段内所述字段的异常字段值的预测出现次数,所述预测出现次数大于所述第二异常次数阈值。
5.根据权利要求2所述的动态化模板的发送方法,其特征在于,所述对多个所述模板运行数据下相同字段的字段值进行聚合处理,包括:
将所述字段对应的字段值发送至与所述字段对应的处理单元,所述处理单元用于对所述字段下的字段值进行处理,生成结构化数据表。
6.根据权利要求1~5任一项所述的动态化模板的发送方法,其特征在于,在所述向模板配置中心发送调整指令之后,还包括:
根据所述调整指令向还未下发所述动态化模板的第二客户端发送所述动态化模板;
接收所述第二客户端发送的当前模板运行数据;
当所述当前模板运行数据中存在异常数据时,获取所述当前模板运行数据中的当前异常数据;
当所述当前异常数据与所述异常数据之间满足异常数据变化条件时,继续向所述模板配置中心发送新的调整指令,所述新的调整指令用于指示所述模板配置中心继续减少所述动态化模板的发送数量;
当所述当前异常数据与所述异常数据之间不满足异常数据变化条件时,向报警平台发送报警消息。
7.根据权利要求1~5任一项所述的动态化模板的发送方法,其特征在于,所述模板配置中心还用于确定未下发所述动态化模板的第三客户端,指示所述第三客户端运行与所述动态化模板对应的原生方法。
8.一种动态化模板的发送装置,其特征在于,包括:
运行数据接收模块,被配置为执行接收已发送动态化模板的第一客户端发送的模板运行数据,所述动态化模板中存在采集数据的采集点,所述模板运行数据是所述第一客户端通过所述采集点采集得到的数据;
异常数据获取模块,被配置为执行当所述模板运行数据中存在异常数据时,获取所述异常数据;
模板发送模块,被配置为执行当所述异常数据满足异常指标时,向模板配置中心发送调整指令,所述调整指令用于指示所述模板配置中心减少所述动态化模板的发送数量。
9.根据权利要求8所述的动态化模板的发送装置,其特征在于,已发送所述动态化模板的第一客户端的数量为多个;所述模板运行数据包括字段以及与所述字段对应的字段值;
所述异常数据获取模块,被配置为执行对多个所述模板运行数据下相同字段的字段值进行聚合处理,当所述字段值中存在异常字段值时,根据聚合处理后的所述异常字段值生成所述异常数据。
10.根据权利要求9所述的动态化模板的发送装置,其特征在于,所述模板发送模块,包括:
次数确定单元,被配置为执行根据聚合处理后的所述异常字段值,确定所述异常字段值的出现次数;
模板发送单元,被配置为执行当所述异常字段值的出现次数满足与所述字段对应的异常次数指标时,向所述模板配置中心发送所述调整指令。
11.根据权利要求10所述的动态化模板的发送装置,其特征在于,所述模板发送单元,被配置为执行当出现以下情况中的任一种时,确定所述异常字段值的出现次数满足与所述字段对应的异常次数指标:
所述异常次数指标为在第一异常次数阈值,所述异常字段对应的出现次数大于所述第一异常次数阈值;
所述异常次数指标为异常比例阈值,所述出现次数在所述模板运行数据的产生时间段内的环比或者同比大于所述异常比例阈值;
所述异常次数指标为第二异常次数阈值,根据所述出现次数以及所述模板运行数据的产生时间段,确定预设时间段内所述字段的异常字段值的预测出现次数,所述预测出现次数大于所述第二异常次数阈值。
12.根据权利要求9所述的动态化模板的发送装置,其特征在于,所述异常数据获取模块,被配置为执行将所述字段对应的字段值发送至与所述字段对应的处理单元,所述处理单元用于对所述字段下的字段值进行处理,生成结构化数据表。
13.根据权利要求8~12任一项所述的动态化模板的发送装置,其特征在于,所述模板发送模块,还被配置为执行根据所述调整指令向还未下发所述动态化模板的第二客户端发送所述动态化模板;
所述运行数据接收模块,还被配置为执行接收所述第二客户端发送的当前模板运行数据;
所述异常数据获取模块,还被配置为执行当所述当前模板运行数据中存在异常数据时,获取所述当前模板运行数据中的当前异常数据;
所述装置还包括:
变化条件判断模块,被配置为执行当所述当前异常数据与所述异常数据之间满足异常数据变化条件时,继续向所述模板配置中心发送新的调整指令,所述新的调整指令用于指示所述模板配置中心继续减少所述动态化模板的发送数量;
报警信息发送模块,被配置为执行当所述当前异常数据与所述异常数据之间不满足异常数据变化条件时,向报警平台发送报警消息。
14.根据权利要求8~12任一项所述的动态化模板的发送装置,其特征在于,所述模板配置中心还用于确定未下发所述动态化模板的第三客户端,指示所述第三客户端运行与所述动态化模板对应的原生方法。
15.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的动态化模板的下发方法。
16.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的动态化模板的发送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111277189.5A CN114006801B (zh) | 2021-10-29 | 2021-10-29 | 动态化模板的发送方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111277189.5A CN114006801B (zh) | 2021-10-29 | 2021-10-29 | 动态化模板的发送方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114006801A CN114006801A (zh) | 2022-02-01 |
CN114006801B true CN114006801B (zh) | 2023-10-17 |
Family
ID=79925676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111277189.5A Active CN114006801B (zh) | 2021-10-29 | 2021-10-29 | 动态化模板的发送方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114006801B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111181785A (zh) * | 2019-12-30 | 2020-05-19 | 上海汇付数据服务有限公司 | 基于反馈式链路的监控方法和装置 |
US10691919B1 (en) * | 2017-03-09 | 2020-06-23 | Idex Asa | Dynamic registration using multiple match enrollment |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534356B (zh) * | 2016-12-12 | 2018-05-22 | 腾讯科技(深圳)有限公司 | 模板数据处理、请求模板数据、模板数据展示的方法和装置 |
US11153281B2 (en) * | 2018-12-06 | 2021-10-19 | Bank Of America Corporation | Deploying and utilizing a dynamic data stenciling system with a smart linking engine |
-
2021
- 2021-10-29 CN CN202111277189.5A patent/CN114006801B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10691919B1 (en) * | 2017-03-09 | 2020-06-23 | Idex Asa | Dynamic registration using multiple match enrollment |
CN111181785A (zh) * | 2019-12-30 | 2020-05-19 | 上海汇付数据服务有限公司 | 基于反馈式链路的监控方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114006801A (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111401903B (zh) | 区块链消息处理方法、装置、计算机以及可读存储介质 | |
US10210036B2 (en) | Time series metric data modeling and prediction | |
CN111694797B (zh) | 一种文件上传及解析方法、装置、服务器及介质 | |
CN112055078B (zh) | 一种数据传输方法、装置、计算机设备和存储介质 | |
CN110781180B (zh) | 一种数据筛选方法和数据筛选装置 | |
JP7509886B2 (ja) | モノのインターネットにおいてサブスクリプションデータをプッシュするための方法および装置、並びにそれらのデバイスおよび記憶媒体 | |
CN114006801B (zh) | 动态化模板的发送方法、装置、电子设备及存储介质 | |
CN116700907B (zh) | 服务调用需求文档存储方法、装置、电子设备和可读介质 | |
CN116996363A (zh) | 一种配电网的故障预警方法及相关装置 | |
CN112650804A (zh) | 大数据接入方法、装置、系统及存储介质 | |
CN103561113A (zh) | Web Service接口的生成方法及装置 | |
CN115514618A (zh) | 告警事件的处理方法、装置、电子设备和介质 | |
US10089149B2 (en) | Method for scheduling multiple periodic requests and scheduling device | |
CN113672449A (zh) | 智能运维异常监测方法、装置、计算机设备和存储介质 | |
CN113157472A (zh) | 一种服务信息处理方法、装置、设备及计算机存储介质 | |
CN114662709A (zh) | 一种设备保养分析方法及装置 | |
US11822519B2 (en) | Multi-dimensional database platform including an apache kafka framework and an auxiliary database for event data processing and provisioning | |
CN110852537A (zh) | 服务质量检测方法和装置 | |
CN114979132B (zh) | 一种集群组件状态探测的方法和装置 | |
CN114448703B (zh) | 请求处理方法、装置、电子设备及存储介质 | |
CN115861775B (zh) | 一种视频分析方法及系统 | |
CN116450465B (zh) | 数据处理方法、装置、设备及介质 | |
US20230185780A1 (en) | Systems and methods for event data processing and provisioning using a multi-dimensional database platform | |
CN115865881A (zh) | 一种基于mqtt的消息交互方法、系统、设备及介质 | |
CN117749599A (zh) | Kafka收发消息一致性的监控方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |