CN115480993A - 一种信号到达时间阈值确定方法、装置、设备及存储介质 - Google Patents

一种信号到达时间阈值确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115480993A
CN115480993A CN202211211445.5A CN202211211445A CN115480993A CN 115480993 A CN115480993 A CN 115480993A CN 202211211445 A CN202211211445 A CN 202211211445A CN 115480993 A CN115480993 A CN 115480993A
Authority
CN
China
Prior art keywords
abnormal
sequence
time
arrival time
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211211445.5A
Other languages
English (en)
Inventor
古毅伟
樊晶华
林雯
何贤志
韩仁宏
李晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202211211445.5A priority Critical patent/CN115480993A/zh
Publication of CN115480993A publication Critical patent/CN115480993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种信号到达时间阈值确定方法、装置、设备及存储介质。该方法包括:获取目标上游系统对应的至少一个历史信号到达时间;根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;根据正常序列中的正常到达时间确定初始时间阈值;如果根据异常序列中的异常到达时间确定初始时间阈值正常,则将初始时间阈值确定为目标时间阈值,解决了根据经验设置时间阈值不准确的问题,根据异常数据比例将历史信号到达时间划分为正常序列和异常序列,通过正常序列中确定初始时间阈值,通过异常序列中的异常到达时间对初始时间阈值进行检查,合理选择时间阈值,提高时间阈值的准确性,降低误差。

Description

一种信号到达时间阈值确定方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种信号到达时间阈值确定方法、装置、设备及存储介质。
背景技术
现有各行业IT系统中除为实时响应用户操作需求的联机作业外,还普遍存在针对将相似任务进行集中处理的批量处理作业。批处理作业模块一般会在业务低谷(譬如晚间)接收上游系统数据,并根据批处理作业的逻辑对数据进行加工处理,并视情况决定是否向下游系统进行供数。通常,只有当上游系统数据成功到达并完成数据预处理后,会向数据库或文件系统插入一条数据已到达信号,批处理作业系统会采取轮询等待数据已到达信号的方式启动批处理作业,只有轮询等待中检测到上游数据已到达信号才会启动批处理作业。对于时效性要求很高的批处理作业系统,则很难容忍当发生上游数据延迟到达造成批处理作业无法按时启动的情况,对于上游数据延迟到达的检测及告警显得尤为重要。
针对上游数据延迟到达的检测现有技术方案实现一般为按照经验设置一个告警时间阈值,当超过这个时间阈值如果没有检测到上游数据已到达信号,则进行系统告警通知。现有上游系统数据到达信号延迟告警时间阈值通常是基于经验设置,存在较大的主观性,误差较大。
发明内容
本发明提供了一种信号到达时间阈值确定方法、装置、设备及存储介质,以解决时间阈值根据经验人为设置时不准确的问题。
根据本发明的一方面,提供了一种信号到达时间阈值确定方法,包括:
获取目标上游系统对应的至少一个历史信号到达时间;
根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;
根据所述正常序列中的正常到达时间确定初始时间阈值;
如果根据所述异常序列中的异常到达时间确定所述初始时间阈值正常,则将所述初始时间阈值确定为目标时间阈值。
根据本发明的另一方面,提供了一种信号到达时间阈值确定装置,包括:
历史时间获取模块,用于获取目标上游系统对应的至少一个历史信号到达时间;
序列划分模块,用于根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;
初始阈值确定模块,用于根据所述正常序列中的正常到达时间确定初始时间阈值;
目标阈值确定模块,用于如果根据所述异常序列中的异常到达时间确定所述初始时间阈值正常,则将所述初始时间阈值确定为目标时间阈值。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的信号到达时间阈值确定方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的信号到达时间阈值确定方法。
本发明实施例的技术方案,通过获取目标上游系统对应的至少一个历史信号到达时间;根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;根据所述正常序列中的正常到达时间确定初始时间阈值;如果根据所述异常序列中的异常到达时间确定所述初始时间阈值正常,则将所述初始时间阈值确定为目标时间阈值,解决了根据经验设置固定的时间阈值不准确的问题,根据异常数据比例将历史信号到达时间划分为正常序列和异常序列,通过对正常序列中的正常到达时间进行分析确定初始时间阈值,并通过异常序列中的异常到达时间对初始时间阈值进行检查,在初始时间阈值正常的条件下将初始时间阈值确定为目标时间阈值,合理选择时间阈值,时间阈值的设置更加准确,降低误差。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种信号到达时间阈值确定方法的流程图;
图2是根据本发明实施例二提供的一种信号到达时间阈值确定方法的流程图;
图3是根据本发明实施例三提供的一种信号到达时间阈值确定装置的结构示意图;
图4是实现本发明实施例的信号到达时间阈值确定方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种信号到达时间阈值确定方法的流程图,本实施例可适用于确定信号到达时间的时间阈值的情况,该方法可以由信号到达时间阈值确定装置来执行,该信号到达时间阈值确定装置可以采用硬件和/或软件的形式实现,该信号到达时间阈值确定装置可配置于电子设备中。如图1所示,该方法包括:
S101、获取目标上游系统对应的至少一个历史信号到达时间。
在本实施例中,目标上游系统具体可以理解为执行本方法的系统的上游系统中的一个系统,执行本方法的系统(以下简称为本系统)对应的上游系统可以是一个也可以是多个,每个上游系统均可以作为目标上游系统,进而确定相应的时间阈值。历史信号到达时间具体可以理解为历史数据中所保存的数据已到达信号的到达时间,历史信号到达时间的精度可以设定,可以精确到分、秒等。
具体的,本系统在接收到每个上游系统所发送的数据已到达信号时,均记录并保存信号到达时间。在确定目标上游系统后,从相应的存储空间中获取目标上游系统所对应的历史信号达到时间。
需要知道的是,数据已到达信号通常按照一定的周期进行发送,例如,每天发送一次,每隔12小时发送一次等。本申请在确定时间阈值时,所获取的历史信号到达时间为每个相同时间段的周期内的历史信号到达时间,例如,以0点到12点为一个周期,12-24点为一个周期为例,为方便确定时间阈值,根据0-12点的历史信号到达时间确定一个相应的时间阈值,根据12-24点的历史信号到达时间确定一个相应的时间阈值,每段周期均对应自己的时间阈值。也可以将两个不同时间段的时间进行转换,例如,将12-24点内的历史信号到达时间转换到0-12点,进而可以根据0-24点内的所有历史信号到达时间确定时间阈值,在确定时间阈值后,再将时间阈值转换至12-24点,由此确定两个时间段的时间阈值。
S102、根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列。
在本实施例中,异常数据比例具体可以理解为历史信号到达时间中时间异常的数据所占比例,例如10%。正常序列具体可以理解为正常的历史信号到达时间所形成的时间数据序列,将正常序列中的历史信号到达时间作为正常到达时间;异常序列具体可以理解为异常的历史信号到达时间所形成的时间数据序列,将异常序列中的历史信号到达时间作为异常到达时间。
具体的,预先设置异常数据比例,异常数据比例可以根据目标上游系统的延期次数确定。确定历史信号到达时间的数量,根据异常数据比例和历史信号到达时间的数量确定正常序列中的数据量以及异常序列中的数据量,根据数据量对各历史信号到达时间进行划分,将一部分历史信号到达时间作为正常到达时间形成正常序列,将一部分历史信号到达时间作为异常到达时间形成异常序列。
S103、根据正常序列中的正常到达时间确定初始时间阈值。
在本实施例中,初始时间阈值具体可以理解为可作为时间阈值的候选值,初始时间阈值为初步确定的时间阈值,可通过判断确定其是否可以作为最终的时间阈值。统计正常序列中的正常到达时间,计算正常到达时间的平均值、最小值、中位数、加权求和等,得到初始时间阈值。
S104、如果根据异常序列中的异常到达时间确定初始时间阈值正常,则将初始时间阈值确定为目标时间阈值。
在本实施例中,目标时间阈值具体可以理解为最终可作为时间阈值的时间值。统计异常序列中的异常到达时间,计算平均值、最小值等作为比较的标准值,通过标准值判断初始时间阈值是否正常,例如,比较标准值与初始时间阈值的大小,若标准值大于初始时间阈值,则初始时间阈值正常;或者计算标准值与初始时间阈值的差值,判断差值的大小是否在合理范围内,若是,则初始时间阈值正常。当初始时间阈值正常时,则将初始时间阈值确定为目标时间阈值。
本发明实施例提供了一种信号到达时间阈值确定方法,通过获取目标上游系统对应的至少一个历史信号到达时间;根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;根据所述正常序列中的正常到达时间确定初始时间阈值;如果根据所述异常序列中的异常到达时间确定所述初始时间阈值正常,则将所述初始时间阈值确定为目标时间阈值,解决了根据经验设置固定的时间阈值不准确的问题,根据异常数据比例将历史信号到达时间划分为正常序列和异常序列,通过对正常序列中的正常到达时间进行分析确定初始时间阈值,并通过异常序列中的异常到达时间对初始时间阈值进行检查,在初始时间阈值正常的条件下将初始时间阈值确定为目标时间阈值,合理选择时间阈值,时间阈值的设置更加准确,降低误差。
实施例二
图2为本发明实施例二提供的一种信号到达时间阈值确定方法的流程图,本实施例在上述实施例的基础上进行细化。如图2所示,该方法包括:
S201、确定目标上游系统以及滑动时间窗口大小。
在本实施例中,滑动时间窗口大小可以理解为获取数据的时间范围或时间长度,例如,30天、30个周期等。滑动时间窗口大小可以预先设置。目标上游系统可以自动选择,也可以人为选择。例如,通过显示界面为用户提供上游系统的选项,用户可以通过单击、双击、滑动、滚动等方式选择一个或者多个上游系统作为目标上游系统,在选择多个目标上游系统时可以根据选择的顺序依次或者同时执行本申请提供的方法确定对应的目标时间阈值。本申请的方法还可以确定其他系统的上游系统的时间阈值,例如,提供不同的系统的选项,用户在选择后,根据预先存储的系统之间的关系确定用户所选择的系统的目标上游系统,进而确定对应的目标时间阈值。还可以设置自动触发条件,自动选择目标上游系统,以本系统为例,本系统对应一个或者多个上游系统,分别设置每个上游系统的触发条件,例如,每隔15天触发一次,每天触发一次、每次数据跑批前触发一次,等等;当上游系统满足触发条件时,此上游系统即可作为目标上游系统,不同的上游系统可同时满足触发条件并作为目标上游系统。
如果上游系统因业务、技术优化出现供数提前的情况,信号延迟告警时间阈值是无法自适应调整,从而造成告警阀值始终偏大的情况。本申请可以设置触发条件自动触发目标时间阈值的确定,实时更新目标时间阈值。例如,每次数据跑批前触发一次,确定目标上游系统的目标时间阈值,实现目标时间阈值的自适应调整。
S202、根据当前时间和滑动时间窗口大小确定数据获取范围。
在本实施例中,数据获取范围具体可以理解为获取历史信号到达时间的时间范围。当前时间可以以当前时刻作为当前时间,也可以将当天的日期作为当前时间,以当前时间为起点,向后移动滑动时间窗口大小,确定终点,将起点和终点之间的时间范围作为数据获取范围。例如,当前时间为10月1号,滑动时间窗口大小为30,则9月1号为终点,将9月1号至10月1号确定为数据获取范围。
S203、获取目标上游系统在数据获取范围内的历史信号到达时间。
在确定数据获取范围后,确定目标上游系统对应的存储空间内所保存的历史信号到达时间,获取在数据获取范围内的历史信号到达时间。
S204、将各历史信号到达时间按照时间降序排列,得到数据序列。
在本实施例中,数据序列具体可以理解为由历史信号到达时间按照一定顺序排序所形成的序列。将各历史信号到达时间按照时间降序排列,得到在时间上从晚到早的数据序列。
S205、根据预设的异常数据比例和历史信号到达时间的数量确定异常数据量。
在本实施例中,异常数据量具体可以理解为异常到达时间的数量。统计历史信号到达时间的数量,通过异常数据比例计算历史信号到达时间中所存在异常到达时间的异常数据量,异常数据量可以由异常数据比例乘以历史信号到达时间的数量直接得到,也可以经过其他处理得到,例如,对异常数据比例与历史信号到达时间的数量的乘积进行取整、增加n(n=1、2、3…)。
作为本实施例的一个可选实施例,本可选实施例进一步将根据预设的异常数据比例和历史信号到达时间的数量确定异常数据量优化为:
A1、计算异常数据比例和历史信号到达时间的数量的乘积,并根据预设函数对乘积进行处理,确定候选数据量。
在本实施例中,候选数据量具体可以理解为用于可作为异常数据量的候选值。计算异常数据比例和历史信号到达时间的数量的乘积,由于乘积可以整数,也可能是小数,而异常数据量需取整数。因此,通过预设函数对乘积进行取整,得到候选数据量。保证乘积为整数,对乘积进行取整可以是向上取整,也可以是向下取值等方式。
A2、判断候选数据量是否大于预设数据量,若是,将候选数据量确定为异常数据量;否则,将预设数据量确定为异常数据量。
在本实施例中,预设数据量具体可以理解为预先设置的数值,用于确定异常数据量,预设数据量可以是1、2等。比较候选数据量与预设数据量的大小,若候选数据量大于预设数据量,将候选数据量确定为异常数据量;否则,将预设数据量确定为异常数据量。本申请优选将预设数据量设置为1,避免异常数据量为0的情况发生。
S206、按照从前到后的顺序从数据序列中取出历史信号到达时间并作为异常到达时间,形成长度为异常数据量的异常序列。
按照从前到后的顺序从数据序列中取出数据,从第一个历史信号到达时间到第m个(m为异常数据量)历史信号到达时间,取出共m个(即前m个)历史信号到达时间,将此m个历史信号到达时间作为异常到达时间,形成异常序列。
S207、将数据序列中剩余的历史信号到达时间作为正常到达时间,形成正常序列。
数据序列中剩余的历史信号到达时间即为正常到达时间,由此形成正常序列。本申请中的正常序列和异常序列依然可以保持原来的排列顺序,即降序排列。
S208、计算正常到达时间的平均值和标准差。
S209、根据预设系数对标准差进行加权运算,将运算结果与平均值的和确定为初始时间阈值。
在本实施例中,预设系数具体可以理解为预先设置的加权系数,对标准差进行加权。预设系数可以根据实际需求设置,例如,3。将标准差乘以预设系数,得到的结果作为运算结果与平均值进行相加,将相加得到的和作为初始时间阈值。
S210、根据异常序列中的异常到达时间确定最小异常到达时间。
在本实施例中,最小异常到达时间具体可以理解为异常到达时间中的最小值。比较异常序列中的异常到达时间,将最小值确定为最小异常到达时间。在异常序列中的异常到达时间按照降序排列时,异常序列中的最后一个异常到达时间即为最小异常到达时间。
S211、判断最小异常到达时间是否大于初始时间阈值,若是,执行S212;否则,执行S213。
S212、确定初始时间阈值正常,将初始时间阈值确定为目标时间阈值。
若最小异常到达时间大于初始时间阈值,则说明异常序列中的所有异常到达时间均大于初始时间阈值,此时初始时间阈值选择合理,将初始时间阈值确定为目标时间阈值。
在确定目标时间阈值后,当轮询等待检测上游数据已到达信号过程中,如果超过目标时间阈值仍然没有检测到上游数据已到达信号,则进行系统告警通知。
S213、确定初始时间阈值异常,将异常序列中的最小异常到达时间剔除,并添加至正常序列中,形成新的异常序列和正常序列,并重新执行S208。
若最小异常到达时间不大于初始时间阈值,则说明异常序列中的存在异常到达时间不大于初始时间阈值,此时初始时间阈值选择不合理,将异常序列中的最小异常到达时间从异常序列中剔除,形成新的异常序列,并将最小异常到达时间作为正常到达时间添加至正常序列中,形成新的正常序列。返回执行S208,重新确定初始时间阈值,并判断初始时间阈值是否正常。
需要知道的是,异常序列中的最小异常到达时间会从异常序列中取出并添加至正常序列中,因此存在异常序列为空的情况。若异常序列为空,即最小异常到达时间不存在,直接将初始时间阈值作为目标时间阈值(即确定初始时间阈值为正常)。在执行S211步骤时,此时存在最小异常到达时间或异常序列不为空。
本发明实施例提供了一种信号到达时间阈值确定方法,解决了根据经验设置固定的时间阈值不准确的问题,根据异常数据比例将历史信号到达时间划分为正常序列和异常序列,计算正常序列中的正常到达时间的平均值以及标准差,并通过预设系数对标准差进行加权,根据加权结果和平均值进一步计算得到初始时间阈值,保证初始时间阈值选择的合理性和准确性。并通过异常序列中的最小异常到达时间对初始时间阈值进行判定,确定初始时间阈值的选择是否合理,若不合理则重新确定异常序列和正常序列,对初始时间阈值进行修正,提高时间阈值的准确性,客观、合理设置时间阈值,降低误差。
实施例三
图3为本发明实施例三提供的一种信号到达时间阈值确定装置的结构示意图。如图3所示,该装置包括:历史时间获取模块31、序列划分模块32、初始阈值确定模块33和目标阈值确定模块34。
其中,历史时间获取模块31,用于获取目标上游系统对应的至少一个历史信号到达时间;
序列划分模块32,用于根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;
初始阈值确定模块33,用于根据所述正常序列中的正常到达时间确定初始时间阈值;
目标阈值确定模块34,用于如果根据所述异常序列中的异常到达时间确定所述初始时间阈值正常,则将所述初始时间阈值确定为目标时间阈值。
本发明实施例提供了一种信号到达时间阈值确定装置,解决了根据经验设置固定的时间阈值不准确的问题,根据异常数据比例将历史信号到达时间划分为正常序列和异常序列,通过对正常序列中的正常到达时间进行分析确定初始时间阈值,并通过异常序列中的异常到达时间对初始时间阈值进行检查,在初始时间阈值正常的条件下将初始时间阈值确定为目标时间阈值,合理选择时间阈值,时间阈值的设置更加准确,降低误差。
可选的,历史时间获取模块31包括:
窗口确定单元,用于确定目标上游系统以及滑动时间窗口大小;
数据范围确定单元,用于根据当前时间和所述滑动时间窗口大小确定数据获取范围;
时间获取单元,用于获取所述目标上游系统在所述数据获取范围内的历史信号到达时间。
可选的,序列划分模块32包括:
排序单元,用于将各历史信号到达时间按照时间降序排列,得到数据序列;
异常数据量确定单元,用于根据预设的异常数据比例和历史信号到达时间的数量确定异常数据量;
异常序列形成单元,用于按照从前到后的顺序从所述数据序列中取出历史信号到达时间并作为异常到达时间,形成长度为异常数据量的异常序列;
正常序列形成单元,用于将所述数据序列中剩余的历史信号到达时间作为正常到达时间,形成正常序列。
可选的,异常数据量确定单元,具体用于:计算异常数据比例和历史信号到达时间的数量的乘积,并根据预设函数对所述乘积进行处理,确定候选数据量;判断所述候选数据量是否大于预设数据量,若是,将所述候选数据量确定为异常数据量;否则,将所述预设数据量确定为异常数据量。
可选的,初始阈值确定模块33,包括:
时间计算单元,用于计算正常到达时间的平均值和标准差;
初始阈值确定单元,用于根据预设系数对所述标准差进行加权运算,将运算结果与平均值的和确定为初始时间阈值。
可选的,该装置还包括:
阈值判断模块,用于根据所述异常序列中的异常到达时间判断所述初始时间阈值是否正常;
阈值判断模块包括:
最小异常时间确定单元,用于根据所述异常序列中的异常到达时间确定最小异常到达时间;
阈值判断单元,用于判断所述最小异常到达时间是否大于所述初始时间阈值,若是,确定所述初始时间阈值正常;否则,确定所述初始时间阈值异常。
可选的,该装置还包括:
序列更新模块,用于如果根据所述异常序列中的异常到达时间确定所述初始时间阈值异常,将所述异常序列中的最小异常到达时间剔除,并添加至所述正常序列中,形成新的异常序列和正常序列,并重新执行根据所述正常序列中的正常到达时间确定初始时间阈值。
本发明实施例所提供的信号到达时间阈值确定装置可执行本发明任意实施例所提供的信号到达时间阈值确定方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备40包括至少一个处理器41,以及与至少一个处理器41通信连接的存储器,如只读存储器(ROM)42、随机访问存储器(RAM)43等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序,来执行各种适当的动作和处理。在RAM 43中,还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45,包括:输入单元46,例如键盘、鼠标等;输出单元47,例如各种类型的显示器、扬声器等;存储单元48,例如磁盘、光盘等;以及通信单元49,例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理,例如信号到达时间阈值确定方法。
在一些实施例中,信号到达时间阈值确定方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元48。在一些实施例中,计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时,可以执行上文描述的信号到达时间阈值确定方法的一个或多个步骤。备选地,在其他实施例中,处理器41可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行信号到达时间阈值确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种信号到达时间阈值确定方法,其特征在于,包括:
获取目标上游系统对应的至少一个历史信号到达时间;
根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;
根据所述正常序列中的正常到达时间确定初始时间阈值;
如果根据所述异常序列中的异常到达时间确定所述初始时间阈值正常,则将所述初始时间阈值确定为目标时间阈值。
2.根据权利要求1所述的方法,其特征在于,所述获取目标上游系统对应的至少一个历史信号到达时间,包括:
确定目标上游系统以及滑动时间窗口大小;
根据当前时间和所述滑动时间窗口大小确定数据获取范围;
获取所述目标上游系统在所述数据获取范围内的历史信号到达时间。
3.根据权利要求1所述的方法,其特征在于,所述根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列,包括:
将各历史信号到达时间按照时间降序排列,得到数据序列;
根据预设的异常数据比例和历史信号到达时间的数量确定异常数据量;
按照从前到后的顺序从所述数据序列中取出历史信号到达时间并作为异常到达时间,形成长度为异常数据量的异常序列;
将所述数据序列中剩余的历史信号到达时间作为正常到达时间,形成正常序列。
4.根据权利要求3所述的方法,其特征在于,所述根据预设的异常数据比例和历史信号到达时间的数量确定异常数据量,包括:
计算异常数据比例和历史信号到达时间的数量的乘积,并根据预设函数对所述乘积进行处理,确定候选数据量;
判断所述候选数据量是否大于预设数据量,若是,将所述候选数据量确定为异常数据量;否则,将所述预设数据量确定为异常数据量。
5.根据权利要求1所述的方法,其特征在于,所述根据所述正常序列中的正常到达时间确定初始时间阈值,包括:
计算正常到达时间的平均值和标准差;
根据预设系数对所述标准差进行加权运算,将运算结果与平均值的和确定为初始时间阈值。
6.根据权利要求1所述的方法,其特征在于,根据所述异常序列中的异常到达时间判断所述初始时间阈值是否正常,包括:
根据所述异常序列中的异常到达时间确定最小异常到达时间;
判断所述最小异常到达时间是否大于所述初始时间阈值,若是,确定所述初始时间阈值正常;否则,确定所述初始时间阈值异常。
7.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
如果根据所述异常序列中的异常到达时间确定所述初始时间阈值异常,将所述异常序列中的最小异常到达时间剔除,并添加至所述正常序列中,形成新的异常序列和正常序列,并重新执行根据所述正常序列中的正常到达时间确定初始时间阈值。
8.一种信号到达时间阈值确定装置,其特征在于,包括:
历史时间获取模块,用于获取目标上游系统对应的至少一个历史信号到达时间;
序列划分模块,用于根据预设的异常数据比例和历史信号到达时间的数量对各历史信号到达时间进行序列划分,得到正常序列和异常序列;
初始阈值确定模块,用于根据所述正常序列中的正常到达时间确定初始时间阈值;
目标阈值确定模块,用于如果根据所述异常序列中的异常到达时间确定所述初始时间阈值正常,则将所述初始时间阈值确定为目标时间阈值。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的信号到达时间阈值确定方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的信号到达时间阈值确定方法。
CN202211211445.5A 2022-09-30 2022-09-30 一种信号到达时间阈值确定方法、装置、设备及存储介质 Pending CN115480993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211211445.5A CN115480993A (zh) 2022-09-30 2022-09-30 一种信号到达时间阈值确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211211445.5A CN115480993A (zh) 2022-09-30 2022-09-30 一种信号到达时间阈值确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115480993A true CN115480993A (zh) 2022-12-16

Family

ID=84394398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211211445.5A Pending CN115480993A (zh) 2022-09-30 2022-09-30 一种信号到达时间阈值确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115480993A (zh)

Similar Documents

Publication Publication Date Title
CN109697522B (zh) 一种数据预测的方法和装置
CN109471783B (zh) 预测任务运行参数的方法和装置
CN112527598B (zh) 监控数据的方法、装置、设备、存储介质和程序产品
CN114662953A (zh) 物联网设备运维方法、装置、设备及介质
CN114301803B (zh) 网络质量检测方法、装置、电子设备及存储介质
CN114519636A (zh) 一种批量业务处理方法、装置、设备及存储介质
CN116431505A (zh) 一种回归测试方法、装置、电子设备、存储介质及产品
CN115759751A (zh) 一种企业风险预测方法、装置、存储介质、电子设备及产品
CN115480993A (zh) 一种信号到达时间阈值确定方法、装置、设备及存储介质
CN114999665A (zh) 数据处理方法、装置、电子设备及存储介质
CN115629903A (zh) 任务延迟监控方法、装置、设备及存储介质
CN114661562A (zh) 一种数据告警方法、装置、设备及介质
CN117150215B (zh) 一种考核结果确定方法、装置、电子设备及存储介质
CN115526592A (zh) 一种工时确定方法、装置、设备及存储介质
CN115238811A (zh) 异常检测模型的训练方法、装置、设备及存储介质
CN117453358A (zh) 离线调度任务的优化方法、装置、电子设备及存储介质
CN115955189A (zh) 一种发电异常的检测方法、装置、设备及介质
CN115563015A (zh) 一种代码热度统计方法、装置、设备和存储介质
CN115730000A (zh) 一种基于数据湖的医疗数据集成方法、装置、设备及介质
CN115858291A (zh) 一种系统指标的检测方法、装置、电子设备及其存储介质
CN117608896A (zh) 交易数据处理方法、装置、电子设备及存储介质
CN115858621A (zh) 用户行为预测方法、装置、电子设备及存储介质
CN115599634A (zh) 一种数据处理方法、装置、设备及存储介质
CN117195104A (zh) 资源分类方法、装置、电子设备及存储介质
CN114820193A (zh) 一种筹码变更曲线生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination