CN117648232B - 一种应用程序数据监控方法、装置及存储介质 - Google Patents
一种应用程序数据监控方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117648232B CN117648232B CN202311684516.8A CN202311684516A CN117648232B CN 117648232 B CN117648232 B CN 117648232B CN 202311684516 A CN202311684516 A CN 202311684516A CN 117648232 B CN117648232 B CN 117648232B
- Authority
- CN
- China
- Prior art keywords
- data
- segment
- data segment
- suspicious
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 48
- 238000012806 monitoring device Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据监控领域,公开了一种应用程序数据监控方法、装置及存储介质,其方法包括:实时获取应用程序数据流;将所述应用程序数据流中的数据按照预设的数据类别进行数据排列,得到至少一个程序监测数据段,其中每个所述程序监测数据段中数据的数据类别均一致;对于任意一个所述程序监测数据段,确定是否存在可疑数据段;在存在所述可疑数据段的情况下,在所述可疑数据段中设置断点,并根据所述可疑数据段中的断点确定异常数据段;输出所述异常数据段。本申请可以及时发现和防范应用程序数据被篡改的情况,从而对应用程序数据进行监控,有效防范现有技术中应用程序数据被篡改的问题。
Description
技术领域
本发明涉及数据监控领域,具体地,涉及一种应用程序数据监控方法、装置及存储介质。
背景技术
应用程序指在计算机或移动设备上运行的软件程序,用于执行特定的任务或提供特定的功能,其包括各种类型的软件,如办公软件、娱乐软件、游戏、社交媒体应用、浏览器等。在现有技术中,应用程序亦被攻击或遭恶意软件感染,导致应用程序的缓存数据、输入数据等数据被篡改,由此,对应用程序数据进行监控,以防范应用程序数据被篡改十分必要。
发明内容
本发明的目的是提供一种应用程序数据监控方法、装置及存储介质,用于对应用程序数据进行监控,以防范应用程序数据被篡改。
为了实现上述目的,本发明第一方面提供一种应用程序数据监控方法,包括:
实时获取应用程序数据流;
将所述应用程序数据流中的数据按照预设的数据类别进行数据排列,得到至少一个程序监测数据段,其中每个所述程序监测数据段中数据的数据类别均一致;
对于任意一个所述程序监测数据段,确定是否存在可疑数据段;
在存在所述可疑数据段的情况下,在所述可疑数据段中设置断点,并根据所述可疑数据段中的断点确定异常数据段;
输出所述异常数据段。
优选地,所述对于任意一个所述程序监测数据段,确定是否存在可疑数据段,包括:
对于任意一个所述程序监测数据段,获取每个数据的数据输入源;
对每个数据的所述数据输入源进行验证,确定每个数据的所述数据输入源是否为可信数据源;
在所有所述程序监测数据段中的数据的所述数据输入源均为所述可信数据源的情况下,确定所述程序监测数据段中是否存在偏差数据;
在所述程序监测数据段中存在所述偏差数据的情况下,将包括所述偏差数据的数据段作为可疑数据段,其中,包括所述偏差数据的数据段的长度为预设长度。
优选地,所述在所有所述程序监测数据段中的数据的所述数据输入源均为所述可信数据源的情况下,确定所述程序监测数据段中是否存在偏差数据,包括:
在所有所述程序监测数据段中的数据的所述数据输入源均为所述可信数据源的情况下,根据所述程序监测数据段中前N个数据,采用预设的预测模型预测所述程序监测数据段中第N个数据之后每个数据的数据值,其中,N>1,且N为正整数;
在所述程序监测数据段中存在一个数据的数据值与所述预测模型预测的数据值的差值大于预设的差值阈值的情况下,确定所述数据为偏差数据;
其中,所述预测模型的构建方法包括:
获取历史应用程序数据流;
采用所述历史应用程序数据流对时间序列预测模型进行训练,得到所述预测模型。
优选地,所述方法还包括:
在其中一个所述程序监测数据段中的数据的所述数据输入源不为所述可信数据源的情况下,输出警示信息。
优选地,所述可疑数据段包括段首数据和段尾数据,所述在所述可疑数据段中设置断点,包括;
将所述段首数据与所述偏差数据之间的数据段作为第一数据段,将所述可疑数据段中除去所述第一数据段的数据段作为第二数据段;
在所述第一数据段的段尾与所述第二数据段的段首处设置断点。
优选地,所述根据所述可疑数据段中的断点确定异常数据段,包括:
计算在所述断点的一侧的第一数据段中所有数据的第一方差值;
计算在所述断点的另一侧的所述第二数据段中所有数据的第二方差值;
在所述第二方差值与所述第一方差值的差值大于预设的方差阈值的情况下,确定所述第二数据段中无所述可疑数据,并将所述第一数据段作为所述可疑数据段;
在所述第一数据段中确定所述异常数据段。
优选地,所述方法还包括:
在所述第二方差值与所述第一方差值的差值小于或等于预设的方差阈值的情况下,确定所述第二数据段中存在所述可疑数据,并采用预设的第一循环逻辑,直至所述第二数据段不存在所述可疑数据;
其中,所述第一循环逻辑包括:
将所述断点后移预设的数据位,得到断点后移后的包括所述偏差数据的第一数据段和剩余的第二数据段;
根据所述第一数据段的方差值与所述第二数据段的方差值的差值,确定所述第二数据段是否存在所述可疑数据;
在所述第二数据段存在所述可疑数据的情况下,循环执行所述将所述断点后移预设的数据位,得到包括所述偏差数据的第一数据段和剩余的第二数据段的步骤,至所述第二数据段不存在所述可疑数据。
优选地,所述在所述第一数据段中确定所述异常数据段,包括:
采用预设的第二循环逻辑,至得到所述异常数据段;
其中,所述第二循环逻辑包括:
将所述断点前移预设的数据位,得到断点前移后的第三数据段和包括所述偏差数据的第四数据段;
根据所述第三数据段的方差值与所述第四数据段的方差值的差值,确定所述第三数据段是否存在所述可疑数据;
在所述第三数据段存在所述可疑数据的情况下,循环执行所述将所述断点前移预设的数据位,得到断点前移后的第三数据段和包括所述偏差数据的第四数据段的步骤,至所述第三数据段不存在所述可疑数据;
将所述第四数据段作为所述异常数据段。
第二方面,本发明还提供一种应用程序数据监控装置,其特征在于,包括:
存储器,被配置成存储指令;以及
处理器,被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述的应用程序数据监控方法。
第三方面,本发明还提供一种机器可读存储介质,其特征在于,该机器可读存储介质上存储有指令,该指令用于使得机器执行上述的应用程序数据监控方法。
通过上述技术方案,首先通过实时获取应用程序数据流,并按照预设的数据类别进行排列,可以将数据进行监控和分类;然后,通过确定是否存在可疑数据段,并在可疑数据段中设置断点,可以进一步确定异常数据段;最后,输出异常数据段,可以及时发现和防范应用程序数据被篡改的情况,从而对应用程序数据进行监控,有效防范现有技术中应用程序数据被篡改的问题。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1是本申请实施例中一种应用程序数据监控方法的整体流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请实施例,并不用于限制本申请实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明,若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,若本申请实施例中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
图1示意性示出了根据本申请实施例的一种应用程序数据监控方法的流程示意图。如图1所示,本申请实施例提供一种应用程序数据监控方法,该方法可以包括下列步骤。
S101、实时获取应用程序数据流。
应用程序数据流表示应用程序在运行过程中产生的数据,包括应用程序接收和发送的各种数据,如网络数据包、文件读写、内存数据等。可以通过数据端口,例如API,或预设的监测程序获取应用程序的数据流。
S102、将应用程序数据流中的数据按照预设的数据类别进行数据排列,得到至少一个程序监测数据段,其中每个程序监测数据段中数据的数据类别均一致。
数据类别可以用于表示数据的特征,数据类别本实施例中包括网络数据、文件数据、内存数据等。将应用程序数据流中的数据按照预设的数据类别进行数据排列,可以得到不同数据类别的程序监测数据段,对于每个数据类别,将其按照一定的顺序进行排列,形成程序监测数据段。程序监测数据段是指具有相同数据类别的一段连续的数据。其中,可以设定程序监测数据段的长度,即规定程序监测数据段中的数据量,以便于更好的对程序监测数据段中的数据进行监测。
S103、对于任意一个程序监测数据段,确定是否存在可疑数据段。
需要说明的是,在具体实施中,应用程序数据流中同一数据类别的数据的数值通常在一个数据区间内保持稳定,故可以对任意一个同一数据类别的程序监测数据段,确定其是否存在可疑数据段。
另外,在具体实施中,若应用程序数据被篡改,可能会导致不止一个同一数据类别的应用程序数据遭到篡改,可疑数据段指包括至少一个可能被篡改的数据的数据段。
S104、在存在可疑数据段的情况下,在可疑数据段中设置断点,并根据可疑数据段中的断点确定异常数据段。
在存在可疑数据段的情况下,可以通过设置断点来进一步监测和确定异常数据段。断点指将可疑数据段划分为两个至多个数据段,进而实现对异常数据段的精准定位,以便于对异常数据段进行及时监测和管理。异常数据段指可能包含被篡改、异常或疑似恶意的数据。
S105、输出异常数据段。
本实施例首先通过实时获取应用程序数据流,并按照预设的数据类别进行排列,可以将数据进行监控和分类;然后,通过确定是否存在可疑数据段,并在可疑数据段中设置断点,可以进一步确定异常数据段;最后,输出异常数据段,可以及时发现和防范应用程序数据被篡改的情况,从而对应用程序数据进行监控,有效防范现有技术中应用程序数据被篡改的问题。
在本实施例的其中一种实施方式中,对于任意一个程序监测数据段,确定是否存在可疑数据段,包括如下步骤:
S201、对于任意一个程序监测数据段,获取每个数据的数据输入源。
数据输入源指数据来源,数据来源可以是用户输入、网络传输、文件读取等。
S202、对每个数据的数据输入源进行验证,确定每个数据的数据输入源是否为可信数据源。
可信数据源指被认为是可信和合法的数据输入源。对每个数据的数据输入源进行验证,以判断数据输入源是否为可信数据源,可以通过验证数据的来源是否合法、是否通过了安全认证等方式来实现。
具体的,对于数据输入源,可以使用认证机制来验证其身份和合法性。例如,对于网络数据,可以使用SSL/TLS证书来验证数据源的身份,以确定数据输入源是否为可信数据源。
S203、在所有程序监测数据段中的数据的数据输入源均为可信数据源的情况下,确定程序监测数据段中是否存在偏差数据。
偏差数据指在程序监测数据段中存在的与预期数据不一致的数据。偏差数据可能是被篡改、异常或疑似恶意的数据。在所有程序监测数据段中的数据的数据输入源均为可信数据源的情况下,判断程序监测数据段中是否存在偏差数据,可以通过对数据的内容、格式、规则等进行分析和比对来判断数据是否存在偏差。
S204、在程序监测数据段中存在偏差数据的情况下,将包括偏差数据的数据段作为可疑数据段,其中,包括偏差数据的数据段的长度为预设长度。
如果在程序监测数据段中存在偏差数据,将包括偏差数据的数据段作为可疑数据段。其中,可疑数据段的长度为预设长度。由于程序监测数据段中的数据为同一数据类别的数据,且在具体实施中,若应用程序数据被篡改,可能会导致不止一个同一数据类别的应用程序数据遭到篡改,故若程序监测数据段中存在偏差数据,则程序监测数据段中的其他数据也可能被篡改。
本实施例通过对每个数据的数据输入源进行验证,确定数据输入源是否为可信数据源,便于对来自不可信或恶意来源的数据进行监测;如果在程序监测数据段中存在偏差数据,将包括偏差数据的数据段作为可疑数据段,便于快速定位和处理存在异常的数据段,提高数据异常检测的效率。
在本实施例的其中一种实施方式中,在所有程序监测数据段中的数据的数据输入源均为可信数据源的情况下,确定程序监测数据段中是否存在偏差数据,包括如下步骤:
S301、在所有程序监测数据段中的数据的数据输入源均为可信数据源的情况下,根据程序监测数据段中前N个数据,采用预设的预测模型预测程序监测数据段中第N个数据之后每个数据的数据值,其中,N>1,且N为正整数。
在所有程序监测数据段中的数据的数据输入源均为可信数据源的情况下,本实施例中根据程序监测数据段中前N个数据,采用预设的预测模型预测程序监测数据段中第N个数据之后每个数据的数据值,其中,N>1,且N为正整数。
根据预测模型和前N个数据,可以预测程序监测数据段中第N个数据之后每个数据的数据值。例如,如果N=5,可以将前5个数据作为输入,预测第6个数据,并使用第6个数据的预测结果作为输入,预测第7个数据,以此类推。
S302、在程序监测数据段中存在一个数据的数据值与预测模型预测的数据值的差值大于预设的差值阈值的情况下,确定数据为偏差数据。
在程序监测数据段中存在一个数据的数据值与预测模型预测的数据值的差值大于预设的差值阈值的情况下,表明这个数据偏差较大,并确定数据为偏差数据。例如在程序监测数据段中预测第8个数据为4,实际第8个数据为7,差值为3,而差值阈值为2,表明此数据偏差较大,并确定此数据为偏差数据。
其中,预测模型的构建方法包括:
S303、获取历史应用程序数据流。
历史应用程序数据流指应用程序历史的数据流,为应用程序产生的实际数据,历史应用程序数据流的时间跨度和数量应足够以覆盖所需的预测时间范围。
S304、采用历史应用程序数据流对时间序列预测模型进行训练,得到预测模型。
采用历史应用程序数据流对时间序列预测模型进行训练。时间序列预测模型是一种用于分析和预测时间序列数据的统计模型,时间序列预测模型可以是指数平滑模型、神经网络模型等。
在训练模型之前,需要对历史应用程序数据流中的应用程序数据进行预处理,包括去除异常值、平滑数据等,使应用程序数据更适合模型的训练。
使用应用程序数据对选定的时间序列预测模型进行训练。训练过程中,时间序列预测模型会根据数据的模式和趋势学习数据的规律。训练完成后,使用评估指标。例如均方根误差、平均绝对误差等对模型的预测性能进行评估。
经过训练后的预测模型即可对数据进行预测。
本实施例在所有程序监测数据段中的数据的数据输入源均为可信数据源的情况下,采用预设的预测模型对应用程序数据流中第N个数据之后的每个数据进行预测,并通过比较预测的数据值与实际数据值的差值,在差值大于预设的差值阈值的情况下,则确定该数据为偏差数据,便于有效地检测和确定程序监测数据段中的偏差数据,进而有助于及时发现数据异常和偏差,提高数据监测的准确性和可靠性。同时,通过构建预测模型,可以对未来数据进行预测,便于提供更准确的数据预测。
在本实施例的其中一种实施方式中,应用程序数据监控方法还包括如下步骤:
S401、在其中一个程序监测数据段中的数据的数据输入源不为可信数据源的情况下,输出警示信息。
在其中一个程序监测数据段中的数据的数据输入源不为可信数据源的情况下,输出警示信息,其中,警示信息可以是警示窗口,即在应用程序界面中弹出一个警示窗口,明确指出数据输入源存在问题;还可以是通过电子邮件、短信或其他通信渠道向系统管理员发送警报通知,以及时通知数据输入源存在问题,需要采取相应的措施;还可以是将警示信息记录在应用程序的日志文件中,以便后续分析和跟踪。
本实施例在其中一个程序监测数据段中的数据的数据输入源不为可信数据源的情况下,输出警示信息,便于提醒用户或系统管理员注意数据输入源的可信性问题,进而便于对应用程序数据的安全性管理。
在本实施例的其中一种实施方式中,可疑数据段包括段首数据和段尾数据,在可疑数据段中设置断点,包括如下步骤:
S501、将段首数据与偏差数据之间的数据段作为第一数据段,将可疑数据段中除去第一数据段的数据段作为第二数据段。
S502、在第一数据段的段尾与第二数据段的段首处设置断点。
本实施例中将段首数据与偏差数据之间的数据段作为第一数据段,将可疑数据段中除去第一数据段的数据段作为第二数据段,举例说明,假设可疑数据段包含以下数据:[A,B,C,D,E,F,G],其中,A为段首数据,G为段尾数据。若C为偏差数据,则将段首数据A与偏差数据C之间的数据段作为第一数据段,将除去第一数据段的数据段作为第二数据段,即第一数据段为[A,B,C],第二数据段为[D,E,F,G],并在第一数据段的段尾与第二数据段的段首处设置断点,此时可疑数据段可以是[A,B,C]/[D,E,F,G],其中“/”表示断点。
本实施例在第一数据段的段尾与第二数据段的段首处设置断点,从而便于将可疑数据段划分为两个数据段,进一步缩小可能存在问题的数据段,便于缩小可疑数据段的范围,使得应用程序数据的监控更加准确。
在本实施例的其中一种实施方式中,根据可疑数据段中的断点确定异常数据段,包括如下步骤:
S601、计算在断点的一侧的第一数据段中所有数据的第一方差值。
方差是一种衡量数据分散程度的统计指标,用于判断数据的波动情况。例如,若第一数据段数据为[2,5,8,6,4],若计算其方差,首先计算第一数据段中所有数据的平均值,即平均值=(2+5+8+6+4)/5=5,其次每个数据与平均值的差值的平方,即(2-5)2=9,(5-5)2=0,(8-5)2=9,(6-5)2=1,(4-5)2=1,然后计算所有差值的平方的和,即9+0+9+1+1=20,最后将差值的平方和除以数据的个数,得到方差,即方差=20/5=4,因此,第一数据段的方差为4。
S602、计算在断点的另一侧的第二数据段中所有数据的第二方差值。
若第二数据段数据为[4,7,9],若计算其方差,首先计算第二数据段中所有数据的平均值,即平均值=(4+7+9)/3=6.67,其次每个数据与平均值的差值的平方,即(4-6.67)2=6.11,(7-6.67)2=0.11,(9-6.67)2=5.44,然后计算所有差值的平方的和,即6.11+0.11+5.44=11.66,最后将差值的平方和除以数据的个数,得到方差,即方差=11.66/3=3.89,因此,第二数据段的方差为3.89。
S603、在第二方差值与第一方差值的差值大于预设的方差阈值的情况下,确定第二数据段中无可疑数据,并将第一数据段作为可疑数据段。
本实施例中,方差阈值可以是0.6,若第二方差值与第一方差值的差值大于方差阈值,则确定第二数据段区别于出现异常数据的第一数据段,表明两个数据段的数据分散程度不相似,即两个数据段中的数据波动情况较大,存在明显的差异,此时则判定第二数据段中无可疑数据段;同理,若第二方差值与第一方差值的差值小于或等于方差阈值,表明出现异常数据的第一数据段与第二数据段方差相别不大,表明两个数据段的数据分散程度相似,即两个数据段中的数据波动情况相近,没有明显的差异,可能表示两个数据段中的数据是相似的或具有相似的特征。此时第二数据段中出现可疑数据的概率较大。
以步骤S601和步骤S602为例,在第一数据段的方差为4,第二数据段的方差为3.89的情况下,由于|3.89-4|=0.11<0.6,此时则判定第二数据段存在可疑数据。
S604、在第一数据段中确定异常数据段。
在第二方差值与第一方差值的差值大于预设的方差阈值的情况下,确定第一数据段中存在异常数据段,第二数据段中无可疑数据,并在第一数据段中确定异常数据段。
本实施例根据第一数据段和第二数据段的方差对异常数据段进行判断,从而便于缩小异常数据段的范围,以便于有效对异常的应用程序数据进行监测。
在本实施例的其中一种实施方式中,应用程序数据监控方法还包括如下步骤:
S701、在第二方差值与第一方差值的差值小于或等于预设的方差阈值的情况下,确定第二数据段中存在可疑数据,并采用预设的第一循环逻辑,直至第二数据段不存在可疑数据。
若第二方差值与第一方差值的差值小于或等于方差阈值,表明出现异常数据的第一数据段与第二数据段方差相别不大,表明两个数据段的数据分散程度相似,即两个数据段中的数据波动情况相近,没有明显的差异,可能表示两个数据段中的数据是相似的或具有相似的特征。此时第二数据段中出现可疑数据的概率较大,故采用预设的第一循环逻辑,不断缩小第二数据段的范围,至第二数据段不存在可疑数据。
其中,第一循环逻辑包括:
S702、将断点后移预设的数据位,得到断点后移后的包括偏差数据的第一数据段和剩余的第二数据段。
由于第二数据段可能存在可疑数据,将断点后移预设的数据位,表明需要变动断点,使得断点后移至第二数据段中,预设的数据位本实施例中可以是3,但为了准确性,可以将预设的数据位设为1,即断点后移一位即对根据断点得到的第一数据段和第二数据段进行重新监测。
需要说明的是,本实施例的第一数据段与第二数据段并非一成不变,第一数据段与第二数据段用于区分断点两侧的数据段,即将断点一侧的数据段作为第一数据段,将断点另一侧的数据段作为第二数据段。
例如,若可疑数据段:[A,B,C]/[D,E,F,G],此时第一数据段为[A,B,C],第二数据段为[D,E,F,G],若断点后移1个数据位,此时可疑数据段变为[A,B,C,D]/[E,F,G],此时第一数据段为[A,B,C,D],第二数据段为[E,F,G]。
S703、根据第一数据段的方差值与第二数据段的方差值的差值,确定第二数据段是否存在可疑数据。
若可疑数据段:[A,B,C]/[D,E,F,G],第一数据段的方差值1=方差([A,B,C]),第二数据段的方差值2=方差([D,E,F,G]),设置方差阈值为0.6,若差值=|方差值2-方差值1|<0.6,则确定第二数据段存在可疑数据,并继续执行步骤S704,若差值=|方差值2-方差值1|≥0.6,则确定第二数据段不存在可疑数据,此时则跳出执行步骤。
S704、在第二数据段存在可疑数据的情况下,循环执行将断点后移预设的数据位,得到包括偏差数据的第一数据段和剩余的第二数据段的步骤,至第二数据段不存在可疑数据。
在第二数据段存在可疑数据的情况下,此时则将断点后移预设的数据位,至第二数据段不存在可疑数据。
除此之外,在断点后移至第二数据段的段尾数据或断点将要后移的数据位超出了第二数据段的段尾数据,亦中断程序,并将整个可疑数据段作为异常数据段。
需要说明的是,由于可疑数据段是在程序监测数据段中得到的,若出现整个可疑数据段作为异常数据段的情况,本实施例中,将获取程序监测数据段中除可疑数据段之外的且与可疑数据段的时间戳连续的数据段与可疑数据段进行拼接,并将拼接后的可疑数据段作为新的可疑数据段,对其中的异常数据段按照步骤S501-S502、步骤S601至步骤S603、步骤S701至步骤S704进行监测。
本实施例通过第一循环逻辑至第二数据段不存在可疑数据,从而逐步确定存在可疑数据的数据段,有效定位出现异常数据的异常数据段。
在本实施例的其中一种实施方式中,在第一数据段中确定异常数据段,包括如下步骤:
S801、采用预设的第二循环逻辑,至得到异常数据段。
在第二方差值与第一方差值的差值大于预设的方差阈值的情况下,确定第二数据段中无可疑数据,并将第一数据段作为可疑数据段,并采用预设的第二循环逻辑,至在第一数据段中得到异常数据段。
其中,第二循环逻辑包括:
S802、将断点前移预设的数据位,得到断点前移后的第三数据段和包括偏差数据的第四数据段。
需要说明的是,第三数据段和第四数据段亦非固定,将第一数据段中包括偏差数据的数据段作为第四数据段,将第一数据段中不包括偏差数据的数据段作为第三数据段。
例如,若断点前移预设的数据位,此时第一数据段为[A,B]/[C,D],其中C为偏差数据,则[C,D]为第四数据段,[A,B]为第三数据段。
此时的断点相比于步骤S501至步骤S502中的断点是前移状态,具体的,若可疑数据段为[A,B,C,D]/[E,F,G],此时确定第一数据段中存在可疑数据,但第二数据段不存在可疑数据,则将断点前移至偏差数据的前一个数据位,此时得到第一数据段为[A,B]/[C,D],此时断点相比于[A,B,C,D]/[E,F,G]前移了2个数据位。
S803、根据第三数据段的方差值与第四数据段的方差值的差值,确定第三数据段是否存在可疑数据。
若第一数据段:[A,B,C]/[D,E,F,G],第三数据段的方差值3=方差([A,B,C]),第四数据段的方差值4=方差([D,E,F,G]),设置方差阈值为0.6,若差值=|方差值4-方差值3|<0.6,则确定第三数据段存在可疑数据,并继续执行步骤S804,若差值=|方差2-方差1|≥0.6,则确定第三数据段不存在可疑数据,此时则跳出执行步骤。
S804、在第三数据段存在可疑数据的情况下,循环执行将断点前移预设的数据位,得到断点前移后的第三数据段和包括偏差数据的第四数据段的步骤,至第三数据段不存在可疑数据。
S805、将第四数据段作为异常数据段。
在第三数据段存在可疑数据的情况下,此时则将断点前移预设的数据位,至第三数据段不存在可疑数据。
本实施例中由于断点总是位移至偏差数据的前一个数据位,故第四数据段均在断点右侧/后侧,第三数据段均在断点左侧/前侧。
若存在偏差数据在第一数据段的段首数据的情况,则获取程序监测数据段中除可疑数据段之外的且与第一数据段的时间戳连续的数据段,并将与第一数据段的时间戳连续的数据段与第一数据段进行拼接,并将拼接后的第一数据段作为新的第一数据段,对其中的异常数据段按照步骤S501-S502、步骤S601至步骤S603、步骤S801至步骤S804进行监测。
除此之外,在断点前移至第三/第一数据段的段首数据或断点将要前移的数据位超出了第一数据段的段尾数据,亦中断程序,并将整个第一数据段作为异常数据段。此时则获取程序监测数据段中除可疑数据段之外的且与第一数据段的时间戳连续的数据段,并将与第一数据段的时间戳连续的数据段与第一数据段进行拼接,并将拼接后的第一数据段作为新的第一数据段,对其中的异常数据段按照步骤S501-S502、步骤S601至步骤S603、步骤S801至步骤S804进行监测。
需要说明的是,本实施例中所有的举例说明仅用于解释用途,并不构成对本申请的限定。
本实施例通过断点的方式对应用程序数据进行监测,有效避免对出现异常的应用程序数据进行漏检,相比于仅对单个数据进行检测的方式,本方式可以有效排除所有出现异常的应用程序数据。
本申请实施例还提供一种应用程序数据监控装置,包括:
存储器,被配置成存储指令;以及
处理器,被配置成从存储器调用指令以及在执行指令时能够实现上述的应用程序数据监控方法。
本申请实施例还提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器执行上述的应用程序数据监控方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种应用程序数据监控方法,其特征在于,包括:
实时获取应用程序数据流;
将所述应用程序数据流中的数据按照预设的数据类别进行数据排列,得到至少一个程序监测数据段,其中每个所述程序监测数据段中数据的数据类别均一致;
对于任意一个所述程序监测数据段,确定是否存在可疑数据段;
在存在所述可疑数据段的情况下,在所述可疑数据段中设置断点,并根据所述可疑数据段中的断点确定异常数据段;
输出所述异常数据段;
所述对于任意一个所述程序监测数据段,确定是否存在可疑数据段,包括:
对于任意一个所述程序监测数据段,获取每个数据的数据输入源;
对每个数据的所述数据输入源进行验证,确定每个数据的所述数据输入源是否为可信数据源;
在所有所述程序监测数据段中的数据的所述数据输入源均为所述可信数据源的情况下,确定所述程序监测数据段中是否存在偏差数据;
在所述程序监测数据段中存在所述偏差数据的情况下,将包括所述偏差数据的数据段作为可疑数据段,其中,包括所述偏差数据的数据段的长度为预设长度;
所述可疑数据段包括段首数据和段尾数据,所述在所述可疑数据段中设置断点,包括;
将所述段首数据与所述偏差数据之间的数据段作为第一数据段,将所述可疑数据段中除去所述第一数据段的数据段作为第二数据段;
在所述第一数据段的段尾与所述第二数据段的段首处设置断点;
所述根据所述可疑数据段中的断点确定异常数据段,包括:
计算在所述断点的一侧的第一数据段中所有数据的第一方差值;
计算在所述断点的另一侧的所述第二数据段中所有数据的第二方差值;
在所述第二方差值与所述第一方差值的差值大于预设的方差阈值的情况下,确定所述第二数据段中无所述可疑数据,并将所述第一数据段作为所述可疑数据段;
在所述第一数据段中确定所述异常数据段。
2.根据权利要求1所述的应用程序数据监控方法,其特征在于,所述在所有所述程序监测数据段中的数据的所述数据输入源均为所述可信数据源的情况下,确定所述程序监测数据段中是否存在偏差数据,包括:
在所有所述程序监测数据段中的数据的所述数据输入源均为所述可信数据源的情况下,根据所述程序监测数据段中前N个数据,采用预设的预测模型预测所述程序监测数据段中第N个数据之后每个数据的数据值,其中,N>1,且N为正整数;
在所述程序监测数据段中存在一个数据的数据值与所述预测模型预测的数据值的差值大于预设的差值阈值的情况下,确定所述数据为偏差数据;
其中,所述预测模型的构建方法包括:
获取历史应用程序数据流;
采用所述历史应用程序数据流对时间序列预测模型进行训练,得到所述预测模型。
3.根据权利要求1所述的应用程序数据监控方法,其特征在于,所述方法还包括:
在其中一个所述程序监测数据段中的数据的所述数据输入源不为所述可信数据源的情况下,输出警示信息。
4.根据权利要求1所述的应用程序数据监控方法,其特征在于,所述方法还包括:
在所述第二方差值与所述第一方差值的差值小于或等于预设的方差阈值的情况下,确定所述第二数据段中存在所述可疑数据,并采用预设的第一循环逻辑,直至所述第二数据段不存在所述可疑数据;
其中,所述第一循环逻辑包括:
将所述断点后移预设的数据位,得到断点后移后的包括所述偏差数据的第一数据段和剩余的第二数据段;
根据所述第一数据段的方差值与所述第二数据段的方差值的差值,确定所述第二数据段是否存在所述可疑数据;
在所述第二数据段存在所述可疑数据的情况下,循环执行所述将所述断点后移预设的数据位,得到包括所述偏差数据的第一数据段和剩余的第二数据段的步骤,至所述第二数据段不存在所述可疑数据。
5.根据权利要求1所述的应用程序数据监控方法,其特征在于,所述在所述第一数据段中确定所述异常数据段,包括:
采用预设的第二循环逻辑,至得到所述异常数据段;
其中,所述第二循环逻辑包括:
将所述断点前移预设的数据位,得到断点前移后的第三数据段和包括所述偏差数据的第四数据段;
根据所述第三数据段的方差值与所述第四数据段的方差值的差值,确定所述第三数据段是否存在所述可疑数据;
在所述第三数据段存在所述可疑数据的情况下,循环执行所述将所述断点前移预设的数据位,得到断点前移后的第三数据段和包括所述偏差数据的第四数据段的步骤,至所述第三数据段不存在所述可疑数据;
将所述第四数据段作为所述异常数据段。
6.一种应用程序数据监控装置,其特征在于,包括:
存储器,被配置成存储指令;以及
处理器,被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1至5中任一项所述的应用程序数据监控方法。
7.一种机器可读存储介质,其特征在于,该机器可读存储介质上存储有指令,该指令用于使得机器执行根据权利要求1至5中任一项所述的应用程序数据监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311684516.8A CN117648232B (zh) | 2023-12-11 | 2023-12-11 | 一种应用程序数据监控方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311684516.8A CN117648232B (zh) | 2023-12-11 | 2023-12-11 | 一种应用程序数据监控方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117648232A CN117648232A (zh) | 2024-03-05 |
CN117648232B true CN117648232B (zh) | 2024-05-24 |
Family
ID=90047611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311684516.8A Active CN117648232B (zh) | 2023-12-11 | 2023-12-11 | 一种应用程序数据监控方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117648232B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915846A (zh) * | 2015-06-18 | 2015-09-16 | 北京京东尚科信息技术有限公司 | 一种电子商务时间序列数据的异常检测方法及系统 |
CN105808382A (zh) * | 2016-03-08 | 2016-07-27 | 江苏省电力公司苏州供电公司 | 基于波形系数的变电站异常数据识别及恢复方法 |
CN109186813A (zh) * | 2018-10-23 | 2019-01-11 | 株洲中车时代电气股份有限公司 | 一种温度传感器自检装置及方法 |
CN110309136A (zh) * | 2019-07-10 | 2019-10-08 | 山东大学 | 一种数据库异常事件缺失数据填充方法及系统 |
CN111754123A (zh) * | 2020-06-28 | 2020-10-09 | 深圳壹账通智能科技有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
CN112153044A (zh) * | 2020-09-23 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 流量数据的检测方法及相关设备 |
CN112161648A (zh) * | 2020-09-14 | 2021-01-01 | 精英数智科技股份有限公司 | 异常传感器的识别方法、装置、可读存储介质及电子设备 |
CN113205146A (zh) * | 2021-05-19 | 2021-08-03 | 江苏方天电力技术有限公司 | 一种基于片段统计特征比较的时序数据异常波动检测算法 |
US11087877B1 (en) * | 2020-07-02 | 2021-08-10 | Omniscient Neurotechnology Pty Limited | Identifying anomalous brain data |
CN113270141A (zh) * | 2021-06-10 | 2021-08-17 | 哈尔滨因极科技有限公司 | 一种基因组拷贝数变异检测整合算法 |
WO2021212752A1 (zh) * | 2020-04-23 | 2021-10-28 | 平安科技(深圳)有限公司 | 基于设备指标数据的异常检测方法、装置、设备及存储介质 |
CN114580861A (zh) * | 2022-02-17 | 2022-06-03 | 珠海格力电器股份有限公司 | 能源数据异常检测方法、装置及能源系统 |
CN114595113A (zh) * | 2022-01-18 | 2022-06-07 | 阿里巴巴(中国)有限公司 | 应用系统中的异常检测方法和装置、异常检测功能设置方法 |
CN114760131A (zh) * | 2022-04-15 | 2022-07-15 | 中国人民解放军国防科技大学 | 一种面向返回式编程流量的特征提取方法、装置及设备 |
CN115033453A (zh) * | 2022-06-14 | 2022-09-09 | 阿里巴巴(中国)有限公司 | 异常检测方法、装置、设备、存储介质及程序 |
CN116149926A (zh) * | 2022-07-22 | 2023-05-23 | 马上消费金融股份有限公司 | 业务指标的异常监测方法、装置、设备及存储介质 |
WO2023213417A1 (en) * | 2022-05-06 | 2023-11-09 | Analog Devices International Unlimited Company | Time-series anomaly detection |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10713145B2 (en) * | 2018-01-05 | 2020-07-14 | International Business Machines Corporation | Automated debugging with combined static and dynamic analysis |
CN109239265B (zh) * | 2018-09-11 | 2021-01-22 | 清华大学合肥公共安全研究院 | 监测设备故障检测方法及装置 |
US11567914B2 (en) * | 2018-09-14 | 2023-01-31 | Verint Americas Inc. | Framework and method for the automated determination of classes and anomaly detection methods for time series |
EP3916556B1 (en) * | 2020-05-29 | 2023-05-03 | Ovh | Method and system for detecting anomalies in a data pipeline |
-
2023
- 2023-12-11 CN CN202311684516.8A patent/CN117648232B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915846A (zh) * | 2015-06-18 | 2015-09-16 | 北京京东尚科信息技术有限公司 | 一种电子商务时间序列数据的异常检测方法及系统 |
CN105808382A (zh) * | 2016-03-08 | 2016-07-27 | 江苏省电力公司苏州供电公司 | 基于波形系数的变电站异常数据识别及恢复方法 |
CN109186813A (zh) * | 2018-10-23 | 2019-01-11 | 株洲中车时代电气股份有限公司 | 一种温度传感器自检装置及方法 |
CN110309136A (zh) * | 2019-07-10 | 2019-10-08 | 山东大学 | 一种数据库异常事件缺失数据填充方法及系统 |
WO2021212752A1 (zh) * | 2020-04-23 | 2021-10-28 | 平安科技(深圳)有限公司 | 基于设备指标数据的异常检测方法、装置、设备及存储介质 |
CN111754123A (zh) * | 2020-06-28 | 2020-10-09 | 深圳壹账通智能科技有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
US11087877B1 (en) * | 2020-07-02 | 2021-08-10 | Omniscient Neurotechnology Pty Limited | Identifying anomalous brain data |
CN112161648A (zh) * | 2020-09-14 | 2021-01-01 | 精英数智科技股份有限公司 | 异常传感器的识别方法、装置、可读存储介质及电子设备 |
CN112153044A (zh) * | 2020-09-23 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 流量数据的检测方法及相关设备 |
CN113205146A (zh) * | 2021-05-19 | 2021-08-03 | 江苏方天电力技术有限公司 | 一种基于片段统计特征比较的时序数据异常波动检测算法 |
CN113270141A (zh) * | 2021-06-10 | 2021-08-17 | 哈尔滨因极科技有限公司 | 一种基因组拷贝数变异检测整合算法 |
CN114595113A (zh) * | 2022-01-18 | 2022-06-07 | 阿里巴巴(中国)有限公司 | 应用系统中的异常检测方法和装置、异常检测功能设置方法 |
CN114580861A (zh) * | 2022-02-17 | 2022-06-03 | 珠海格力电器股份有限公司 | 能源数据异常检测方法、装置及能源系统 |
CN114760131A (zh) * | 2022-04-15 | 2022-07-15 | 中国人民解放军国防科技大学 | 一种面向返回式编程流量的特征提取方法、装置及设备 |
WO2023213417A1 (en) * | 2022-05-06 | 2023-11-09 | Analog Devices International Unlimited Company | Time-series anomaly detection |
CN115033453A (zh) * | 2022-06-14 | 2022-09-09 | 阿里巴巴(中国)有限公司 | 异常检测方法、装置、设备、存储介质及程序 |
CN116149926A (zh) * | 2022-07-22 | 2023-05-23 | 马上消费金融股份有限公司 | 业务指标的异常监测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117648232A (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200382302A1 (en) | Security privilege escalation exploit detection and mitigation | |
US11303661B2 (en) | System and method for detection and prevention of attacks on in-vehicle networks | |
CN110177108B (zh) | 一种异常行为检测方法、装置及验证系统 | |
KR20190109427A (ko) | 침입 탐지를 위한 지속적인 학습 | |
CN112003838B (zh) | 网络威胁的检测方法、装置、电子装置和存储介质 | |
CN110602135B (zh) | 网络攻击处理方法、装置以及电子设备 | |
WO2019144548A1 (zh) | 安全测试方法、装置、计算机设备和存储介质 | |
US20200380117A1 (en) | Aggregating anomaly scores from anomaly detectors | |
US11736506B2 (en) | Monitoring apparatus | |
CN112385196A (zh) | 用于报告计算机安全事故的系统和方法 | |
CN116305290A (zh) | 一种系统日志安全检测方法及装置、电子设备及存储介质 | |
CN117648232B (zh) | 一种应用程序数据监控方法、装置及存储介质 | |
US11694489B2 (en) | Message monitoring system, message transmission electronic control unit, and monitoring electronic control unit | |
CN112711570A (zh) | 日志信息的处理方法、装置、电子设备及存储介质 | |
CN117134979A (zh) | 一种数据通信方法、装置、设备及介质 | |
US20190251130A1 (en) | Method and apparatus for detecting page redirection circulation | |
CN110334514B (zh) | 一种基于可信计算平台验证度量报告的方法及装置 | |
CN114584370A (zh) | 一种服务器数据交互网络安全系统 | |
CN114218577A (zh) | 一种api的风险确定方法、装置、设备及介质 | |
CN109214212B (zh) | 信息防泄露方法及装置 | |
US11392435B2 (en) | Evaluation of a performance parameter of a monitoring service | |
CN108234196B (zh) | 故障检测方法及装置 | |
CN111935180A (zh) | 安防设备主动防御方法、装置及系统 | |
CN111447118B (zh) | 基于数据传输流的数据传输方法及装置 | |
CN111967043B (zh) | 确定数据相似度的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |