CN110858170B - 数据异常监控方法和装置 - Google Patents

数据异常监控方法和装置 Download PDF

Info

Publication number
CN110858170B
CN110858170B CN201810969090.3A CN201810969090A CN110858170B CN 110858170 B CN110858170 B CN 110858170B CN 201810969090 A CN201810969090 A CN 201810969090A CN 110858170 B CN110858170 B CN 110858170B
Authority
CN
China
Prior art keywords
data
module
sandbox
preset
monitored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810969090.3A
Other languages
English (en)
Other versions
CN110858170A (zh
Inventor
王伯洋
杨森
胡杰
陈屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810969090.3A priority Critical patent/CN110858170B/zh
Publication of CN110858170A publication Critical patent/CN110858170A/zh
Application granted granted Critical
Publication of CN110858170B publication Critical patent/CN110858170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种沙盒组件、数据异常监控方法、设备和存储介质，所述数据异常监控方法包括：S101，获取被监控数据；S102，基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件。利用本发明实施例可基于沙盒组件实现数据异常监控。

Description

数据异常监控方法和装置
技术领域
本发明涉及计算机技术领域，尤其是涉及一种数据异常监控方法及其装置、设备和计算机可读存储介质以及一种用于数据异常监控的沙盒组件。
背景技术
随着移动互联网技术的创新和发展，数据已经充斥到了各个行业的各个业务领域，企业对于海量数据的维护、管理和应用是提高企业竞争力的重要因素之一。研究者们通过设置功能多样化的数据异常监控平台对诸如大数据(big data)系统、各类数据产品、电子商务链路等等实施监控。这类异常监控平台通常可以具有以下功能：采集/监控异常数据、数据仓库技术(Extract-Transform-Load，ETL)计算、数据分析汇总、展现/查询异常数据和最后的异常报警等。
但是，在复杂场景下，这类异常监控平台实际上很难做到准确报警，原因在于，这类平台产品的报警模式均基于规则，例如X错误出现Y次以上则报警、过去A分钟错误数比阈值高出N个百分点则报警。常采用的规则有逻辑规则、业务定制规则、配置项规则等。
然而，上述的规则存在表达力不足(lack of expressiveness)和无法规模化的问题，很难跟上技术发展的需求，比如，当出现复杂业务场景时，只能根据需求逐一添加报警规则，导致平台系统日益臃肿和复杂，而对于新接入的需监控的应用仍然缺乏适合的报警规则，则无法直接支持。
此外，传统的基于规则的报警模式常出现的两类错误有：一、false positive即不应报警但实际触发报警；二、false negative即应当报警但没有报警，由于false negative错误后果严重，因此实际上，开发者会把规则制定的极为敏感，使得报警频发，然后再从大量假报警中筛选真正的异常进行排查，这对监控平台造成了巨大的压力。
发明内容
有鉴于此，本发明提出一种数据异常监控方法及其装置、设备和计算机可读存储介质以及一种用于数据异常监控的沙盒组件，用以解决传统的基于规则的报警模式下，异常监控平台无法满足使用需求的问题。
第一方面，本发明提供一种种数据异常监控方法，所述方法包括：
获取被监控数据；
基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件。
第二方面，本发明还提供一种种数据异常监控装置，所述装置包括：
数据获取模块，用于获取被监控数据；
沙盒处理模块，用于基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件。
第三方面，本发明还提供一种数据异常监控设备，其包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行如上所述的数据异常监控方法。
第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如上所述的数据异常监控方法。
第五方面，本发明还提供一种用于数据异常监控的沙盒组件，所述沙盒组件包括：沙盒模块和安全屏障模块，当所述沙盒组件运行时，执行以下处理：
所述沙盒模块接收到输入的调试样例数据后，基于预置的函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则确定为目标函数规则；
所述沙盒模块接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件，如果所述目标输出数据符合预设的报警条件，则执行报警；
所述安全屏障模块用于维护所述沙盒模块的运行安全。
第六方面，本发明还提供一种用于数据异常监控的沙盒组件，所述沙盒组件包括：前端沙盒模块、沙盒函数模块、后端沙盒模块和安全屏障模块，当所述沙盒组件运行时，执行以下处理：
所述前端沙盒模块接收到输入的调试样例数据后，调用所述沙盒函数模块中预置的函数规则，并基于所述函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则作为目标函数规则保存至所述后端沙盒模块中；
所述后端沙盒模块接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件，如果所述目标输出数据符合预设的报警条件，则执行报警；
所述安全屏障模块用于维护所述前端沙盒模块和所述后端沙盒模块的运行安全。
本发明的实施例采取沙盒组件的形式为数据监控赋能，可为操作者提供极大的灵活性，操作者可根据自己希望的情况定义报警条件，将其反映到沙盒组件中，运行沙盒组件就能够实现报警。这种数据异常监控方式跳出了传统规则的老路，把传统上认为不安全的、不可能让用户自行定义的报警规则沙盒化，用户能够自由编写调试规则，突破了以往模式的限制，解决了以往报警模式无法满足实际需求的问题。
附图说明
图1为本发明实施例的数据异常监控方法的流程示意图。
图2为本发明一个实施例的沙盒组件的结构框图。
图3为本发明另一实施例的沙盒组件的结构框图。
图4为本发明一个实施例的数据异常监控方法的原理示意图。
图5为本发明实施例的设备的硬件结构示意图。
具体实施方式
以下结合附图及具体实施例，对本发明进行详细描述。应理解，所描述的具体实施例仅用于解释本发明，而不用于限定本发明。文中的诸如第一、第二等用语仅用来对一实体(或操作)与另一实体(或操作)进行区分，而不表示这些实体(或操作)之间存在特定的关系或顺序；文中的诸如上、下、左、右、前、后等表示方向或方位的用语，仅表示相对的方向或方位，而非绝对的方向或方位。
本发明的思想在于跳出传统的基于规则的报警模式，提供一种全新的基于沙盒组件的数据异常监控方案。以下对本发明的各个方面进行详细描述。
<沙盒技术>
在计算机安全技术领域，sandbox被称为沙盒，有时也被称为沙箱，其是在受限的安全环境中运行应用程序的一种处理方案，主要手段是限制授予应用程序的代码访问权限。沙盒技术的原理大体上是通过重定向技术，把程序的生成和/或修改的文件等定向到自身文件夹中，当某个程序试图发挥作用时，先令该程序在沙盒中运行，如果该程序含有恶意行为，则禁止该程序进一步运行，由于沙盒中进行的所有改动不会对系统造成损失，因此能够避免这类程序对系统造成实际危害。
在实际应用场景中，沙盒技术可提供对资源的严格控制，通过限制对系统文件、内存和设置等的访问权限，可使企业实现通过执行潜在的恶意代码来发现其活动和意图，而整个过程并不会对主机设备产生影响。
因此，沙盒技术多用于为那些来源不可信、具备破坏力或无法判定程序意图的程序提供试验环境。例如，在计算机反病毒行业领域，沙盒技术被技术人员广泛使用，沙盒是一个观察计算机病毒的重要环境。此外影子系统也是基于沙盒技术的软件之一。
<监控对象>
不同于一般意义上的沙盒技术(主要用于为来源不可信、具备破坏力或无法判定程序意图的程序提供试验环境)，本发明提出的沙盒组件目的在于实施数据异常监控，这里所述的数据可以是任何期望监控的数据对象，例如：大数据系统、数据产品平台、电子商务全链路涉及到的数据和/或维度，等等。
<沙盒组件的报警处置>
本发明的基于沙盒组件的数据异常监控方案将数据异常监控过程转化为围绕沙盒组件的处理，通过在沙盒中设置沙盒函数来设置报警条件，该沙盒函数的输入即为被监控的数据，该沙盒函数的输出为是否执行报警的依据。
在本发明的一种实施方式中，如果输出结果符合预设的报警条件，则执行报警；如果输出结果不符合预设的报警条件，则不执行报警。
在本发明的另一种实施方式中，如果输出结果为真值，则执行报警；如果输出结果为假值，则不执行报警。
其中，对于需要报警的情况，执行报警的方式可包括以下各种方式中的至少一种：以预先设定的方式(如蜂鸣、语音提示、灯光闪烁提示等)发出告警，将异常情况通过预先设定的通信层(如电话、邮件、即时通讯软件等)通知操作人员；在通知消息中附加任何需要的辅助信息，帮助操作人员迅速排查/定位异常。
在本发明的一种实施方式中，所述沙盒组件中包括至少两个沙盒函数，可以设置为两个沙盒函数互不干扰，各自独立运行；也可以设置为前一个沙盒函数的输出作为后一个沙盒函数的输入。
举例来讲，本发明的一个实施例中沙盒组件包括两个沙盒函数f1和f2，如果f1和f2为各自独立运行，则对于被监控的数据源A，输入f1进行运算，当f1的输出为需要报警时执行报警，当f1的输出为不需要报警时，将数据源A输入f2进行运算，并执行相应流程。比较而言，如果f1的输出为f2的输入，则当f1的输出为需要报警时执行报警，当f1的输出为不需要报警时，将f1的输出输入f2进行运算，再执行相应流程。对于所述沙盒组件中包括三个或更多的沙盒函数的情况，可按照需求为不同的数据源灵活地设置不同类型、不同数量的沙盒函数。
本发明可以用来监控所有类型的数据和维度，所创建的沙盒组件确保对这些被监控数据的所有处理处于安全环境中，通过对其中的沙盒函数做自定义的设置，操作人员(包括开发者和用户)可以自由、灵活地设置报警条件，实现对各种异常的报警处置。
<异常的类型>
本发明中，所述沙盒组件中的沙盒函数反映操作人员所定义的异常。操作人员基于图灵完备的编程语言实现所述沙盒函数，所述的图灵完备的编程语言为例如Python、Ruby、Java、JavaScript等具有通用计算能力的编程语言。
在本发明的一种实施方式中，所述异常与被监控数据有可能出现的异常相对应，例如异常数目、异常页面、异常用户的地理位置、环境变量等，这些异常中的大部分属于常见的数据异常。
在本发明的另一种实施方式中，所述异常与操作人员自定义的异常相对应。这里的“自定义”指的是由操作人员根据实际需求自由制定异常的类型。为便于理解，以下给出若干具体的例子：
●由于全站正在故障，本错误信息自动不触发报警；
●本错误信息并不符合报警条件，但由于错误次数累计超过了阈值，仍然执行报警；
上述异常与被监控数据有可能出现的异常相关。
●如果员工Y正在休假，出现R情况时需要报警；
●只有周末发生K情况才需要报警；
上述异常与被监控数据有可能出现的异常无关。
以上提到的所有类型的异常均可单独或组合起来作为报警条件，每一个异常类型可以以一个沙盒函数表达。当定义的异常出现时，即执行报警。
除此之外，操作者还可以选择获取外部信息，综合判定是否报警，从而实现不同时间报警结果不同；操作者还可以选择编制动态自定义规则，判定是否报警，从而加大报警处理的灵活性；操作者还可以自行采用更复杂的模型，例如深度学习模型，量化模型等对错误率进行判定，决定是否报警，等等。
可见，由于沙盒组件所带来的灵活性，操作者可以采取多种多样的约束条件决定是否报警，不受本文中所罗列示例的限制。
总之，本发明由于采取沙盒组件的形式为数据监控赋能，可为操作者提供极大的灵活性，操作者可根据自己希望的情况定义数据异常，将这种异常反映到沙盒组件中，形成报警条件，运行沙盒组件，就能够完成报警处置。这种数据异常监控方式跳出了传统规则的老路，把传统上认为不安全的、不可能让用户自行定义的报警规则沙盒化，用一个沙盒安全层来确保函数安全运行，能够获得图灵完备语言的强大能力，用户可以自由编写并调试规则。
基于上述内容，本发明实施例可提供一种数据异常监控方法，参考图1，所述方法包括：
S101，获取被监控数据；
S102，基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件。
本发明提供的上述方案是一种全新的数据异常监控方案，跳出传统的基于规则的报警模式，而是由沙盒组件赋能，可绕过传统报警规则的限制，用户拥有图灵完备编程语言的能力，在灵活度和功能性上得到解放，可解决传统报警规则模式造成的表达力不足、无法普适、极易造成系统臃肿、错误报警、平台压力大等诸多问题。
基于上述内容，本发明还提供一种用于数据异常监控的沙盒组件，参考图2，所述沙盒组件包括沙盒模块10和安全屏障模块20，当所述沙盒组件运行时，执行以下处理：
所述沙盒模块10接收到输入的调试样例数据后，基于预置的函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则确定为目标函数规则；
所述沙盒模块10接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件；
所述安全屏障模块20用于维护所述沙盒模块10的运行安全。
基于上述沙盒组件，能够实现数据异常监控。其中，当操作人员需要修改报警条件时，对其中的沙盒模块10进行更新，更新后的沙盒组件先对调试样例数据进行处理，然后再对被检测数据进行处理。
基于上述内容，本发明还提供一种用于数据异常监控的沙盒组件，参考图3，所述的沙盒组件包括：前端沙盒模块100、沙盒函数模块200、后端沙盒模块300和安全屏障模块400，当所述沙盒组件运行时，执行以下处理：
所述前端沙盒模块100接收到输入的调试样例数据后，调用所述沙盒函数模块200中预置的函数规则，并基于所述函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则作为目标函数规则保存至所述后端沙盒模块中；
所述后端沙盒模块300接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件；
所述安全屏障模块400用于维护所述前端沙盒模块和所述后端沙盒模块的运行安全。
基于上述沙盒组件，能够更好地实现数据异常监控，由于对调试样例数据的处理和对被监控目标数据的处理分别在前端沙盒模块100和后端沙盒模块300中运行，提高了沙盒组件的整体易用性。
在实际应用场景中，本发明的实施例可采用JavaScript作为函数语言，任何其他图灵完备的编程语言均可实现本发明的方案，如Python、Ruby或Java，只需调整沙盒和安全层即可。
在实际应用场景中，参考图4，本发明可通过执行以下步骤流程实现：
①用户在前端浏览器编写函数规则(Functional Rule)；
②编写后，使用调试样例输入(Test input)进行调试；调试时，函数规则会在前端沙盒(Frontend Sandbox)中运行，由沙盒机制和前端安全屏障(Frontend Secure Layer)共同确保函数规则安全运行；
③获得调试输出(Test Output)，检查调试输出确保函数规则正确，确认后保存到后端；
④系统后端收到线上数据输入(Prod Input)时，函数规则会在后端沙盒(BackendSandbox)中运行，由沙盒机制和后端安全屏障(Backend Secure Layer)共同确保函数规则安全运行；
⑤得到线上输出(Prod Output)结果，如果判断不需报警，则继续处理下个规则和/或下个数据源；如果判断需要报警，则使用配置的通信层(短信、邮件、即时通信软件等)进行报警通知。
在本发明的实施例中，可将前端沙盒置于浏览器同一进程中，后端沙盒置于同一服务器另一进程中；也可以将沙盒放到云端或放到其他服务器等，只需调整通信模块，使用网络协议或其他方式通信从而实现报警。基于上述步骤能够很好地实现数据异常监控。
与本发明实施例的方法相对应地，本发明还提供一种数据异常监控装置、设备和计算机可读存储介质。
其中，所述的数据异常监控设备包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行本发明实施例所述的数据异常监控方法中的各步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现本发明实施例所述的数据异常监控方法中的各步骤。
利用本发明提供的数据异常监控装置、设备和计算机可读存储介质能够很好地实现数据异常监控。
应当指出，在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机程序指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
图5示出了能够实现根据本发明实施例的方法和设备的示例性硬件架构的结构图，例如本发明实施例的数据异常监控设备。其中，计算设备1000包括输入设备1001、输入接口1002、处理器1003、存储器1004、输出接口1005、以及输出设备1006。
其中，输入接口1002、处理器1003、存储器1004、以及输出接口1005通过总线1010相互连接，输入设备1001和输出设备1006分别通过输入接口1002和输出接口1005与总线1010连接，进而与计算设备1000的其他组件连接。
具体地，输入设备1001接收来自外部的输入信息，并通过输入接口1002将输入信息传送到处理器1003；处理器1003基于存储器1004中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1004中，然后通过输出接口1005将输出信息传送到输出设备1006；输出设备1006将输出信息输出到计算设备1000的外部供用户使用。
计算设备1000可以执行本发明上述的方法中的各步骤。
处理器1003可以是一个或多个中央处理器(英文：Central Processing Unit，CPU)。在处理器601或处理器701是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器1004可以是但不限于随机存储存储器(RAM)、只读存储器(ROM)，可擦除可编程只读存储器(EPROM)、光盘只读存储器(CD-ROM)、硬盘等中的一种或多种。存储器1004用于存储程序代码。可以理解，本发明实施例提供的任一模块或全部模块的功能可以用央处理器1003实现。
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处可参见方法实施例部分的说明。

Claims (19)

1.一种数据异常监控方法，其特征在于，所述方法包括：
获取被监控数据；
基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件；
所述预设的沙盒组件包括：沙盒模块和安全屏障模块，当所述沙盒组件运行时，执行以下处理：
所述沙盒模块接收到输入的调试样例数据后，基于预置的函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则确定为目标函数规则；
所述沙盒模块接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件；
所述安全屏障模块用于维护所述沙盒模块的运行安全。
2.根据权利要求1所述的方法，其特征在于，所述基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件，包括：
将所述被监控数据输入所述预设的沙盒组件中，运行所述预设的沙盒组件以得到输出数据；
判断所述输出数据是否符合所述预设的报警条件。
3.根据权利要求1所述的方法，其特征在于，所述预设的报警条件包括至少一个异常，所述异常与所述被监控数据有可能出现的异常相对应。
4.根据权利要求1所述的方法，其特征在于，所述预设的报警条件包括至少一个异常，所述异常与操作者自定义的异常相对应。
5.根据权利要求4所述的方法，其特征在于，所述操作者自定义的异常与被监控数据有可能出现的异常相关。
6.根据权利要求4所述的方法，其特征在于，所述操作者自定义的异常与被监控数据有可能出现的异常无关。
7.根据权利要求1所述的方法，其特征在于，在所述基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件之后，所述方法还包括：
对于符合所述预设的报警条件的被监控数据，执行报警。
8.根据权利要求7所述的方法，其特征在于，所述执行报警包括发出告警并上报异常信息，所述异常信息与所述预设的报警条件相对应。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述预设的沙盒组件包括：前端沙盒模块、沙盒函数模块、后端沙盒模块和安全屏障模块，当所述沙盒组件运行时，执行以下处理：
所述前端沙盒模块接收到输入的调试样例数据后，调用所述沙盒函数模块中预置的函数规则，并基于所述函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则作为目标函数规则保存至所述后端沙盒模块中；
所述后端沙盒模块接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件；
所述安全屏障模块用于维护所述前端沙盒模块和所述后端沙盒模块的运行安全。
10.根据权利要求9所述的方法，其特征在于，所述安全屏障模块包括前端安全屏障模块和后端安全屏障模块，其中，
所述前端安全屏障模块用于维护所述前端沙盒模块的运行安全；
所述后端安全屏障模块用于维护所述后端沙盒模块的运行安全。
11.一种数据异常监控装置，其特征在于，所述装置包括：
数据获取模块，用于获取被监控数据；
沙盒处理模块，用于基于预设的沙盒组件，判断所述被监控数据是否符合预设的报警条件；
所述预设的沙盒组件包括：沙盒模块和安全屏障模块，当所述沙盒组件运行时，执行以下处理：
所述沙盒模块接收到输入的调试样例数据后，基于预置的函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则确定为目标函数规则；
所述沙盒模块接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件；
所述安全屏障模块用于维护所述沙盒模块的运行安全。
12.一种数据异常监控设备，其特征在于，所述设备包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1至10中任一项所述的方法。
14.一种用于数据异常监控的装置，其特征在于，所述装置包括：沙盒模块和安全屏障模块，
所述沙盒模块，用于接收到输入的调试样例数据后，基于预置的函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则确定为目标函数规则；
所述沙盒模块，还用于接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件，如果所述目标输出数据符合预设的报警条件，则执行报警；
所述安全屏障模块用于维护所述沙盒模块的运行安全。
15.一种用于数据异常监控的装置，其特征在于，所述装置包括：前端沙盒模块、沙盒函数模块、后端沙盒模块和安全屏障模块
所述前端沙盒模块，用于接收到输入的调试样例数据后，调用所述沙盒函数模块中预置的函数规则，并基于所述函数规则对所述调试样例数据进行处理，以得到调试输出数据，如果所述调试输出数据正确，则将所述预置的函数规则作为目标函数规则保存至所述后端沙盒模块中；
所述后端沙盒模块，用于接收到输入的被监控目标数据后，基于所述目标函数规则对所述被监控目标数据进行处理，以得到目标输出数据，并判断所述目标输出数据是否符合预设的报警条件，如果所述目标输出数据符合预设的报警条件，则执行报警；
所述安全屏障模块用于维护所述前端沙盒模块和所述后端沙盒模块的运行安全。
16.根据权利要求15所述的装置，其特征在于，所述安全屏障模块包括前端安全屏障模块和后端安全屏障模块，其中，
所述前端安全屏障模块用于维护所述前端沙盒模块的运行安全；
所述后端安全屏障模块用于维护所述后端沙盒模块的运行安全。
17.根据权利要求15所述的装置，其特征在于，所述预置的函数规则与操作者自定义的数据异常相对应。
18.根据权利要求17所述的装置，其特征在于，所述操作者自定义的数据异常与被监控目标数据有可能出现的数据异常相关。
19.根据权利要求17所述的装置，其特征在于，所述操作者自定义的数据异常与被监控目标数据有可能出现的数据异常无关。
CN201810969090.3A 2018-08-23 2018-08-23 数据异常监控方法和装置 Active CN110858170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810969090.3A CN110858170B (zh) 2018-08-23 2018-08-23 数据异常监控方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810969090.3A CN110858170B (zh) 2018-08-23 2018-08-23 数据异常监控方法和装置

Publications (2)

Publication Number Publication Date
CN110858170A CN110858170A (zh) 2020-03-03
CN110858170B true CN110858170B (zh) 2023-06-30

Family

ID=69635288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810969090.3A Active CN110858170B (zh) 2018-08-23 2018-08-23 数据异常监控方法和装置

Country Status (1)

Country Link
CN (1) CN110858170B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065126B (zh) * 2021-06-03 2022-05-27 北京数安行科技有限公司 基于分布式数据沙盒的个人信息合规的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208004A (zh) * 2011-05-13 2011-10-05 南京邮电大学 一种基于最小化特权原则的软件行为控制方法
CN107025407A (zh) * 2017-03-22 2017-08-08 国家计算机网络与信息安全管理中心 一种office文档文件的恶意代码检测方法及系统
CN107992398A (zh) * 2017-12-22 2018-05-04 宜人恒业科技发展（北京）有限公司 一种业务系统的监控方法和监控系统
CN108234176A (zh) * 2016-12-21 2018-06-29 贵州白山云科技有限公司 一种监控系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208004A (zh) * 2011-05-13 2011-10-05 南京邮电大学 一种基于最小化特权原则的软件行为控制方法
CN108234176A (zh) * 2016-12-21 2018-06-29 贵州白山云科技有限公司 一种监控系统及其方法
CN107025407A (zh) * 2017-03-22 2017-08-08 国家计算机网络与信息安全管理中心 一种office文档文件的恶意代码检测方法及系统
CN107992398A (zh) * 2017-12-22 2018-05-04 宜人恒业科技发展（北京）有限公司 一种业务系统的监控方法和监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘鸿霞等."立体动态的大数据安全防护体系架构研究".《信息网络安全》.2016,第2016年卷(第9期),第18-25页. *

Also Published As

Publication number Publication date
CN110858170A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
US11683333B1 (en) Cybersecurity and threat assessment platform for computing environments
US20230085001A1 (en) Testing and remediating compliance controls
US10635813B2 (en) Methods and apparatus for using machine learning on multiple file fragments to identify malware
CN111488578A (zh) 现代应用程序的连续漏洞管理
US20210160249A1 (en) Systems and methods for role-based computer security configurations
US11119887B2 (en) Attaching metadata to lines of code for alerting to changes in the code
US20150302198A1 (en) Detection of Malicious Code Insertion in Trusted Environments
US8918885B2 (en) Automatic discovery of system integrity exposures in system code
US10911447B2 (en) Application error fingerprinting
Gonzalez et al. Anomalicious: Automated detection of anomalous and potentially malicious commits on github
CN112436968A (zh) 一种网络流量的监测方法、装置、设备及存储介质
WO2021034740A1 (en) Method, system, and storage medium for security of software components
US10984109B2 (en) Application component auditor
US20160205127A1 (en) Determining a risk level for server health check processing
US11074119B2 (en) Automatic root cause analysis for web applications
US20230269272A1 (en) System and method for implementing an artificial intelligence security platform
US9292693B2 (en) Remediation of security vulnerabilities in computer software
IL259635A (en) Systems and methods for scanning software security that uses a scan quality index
US11609985B1 (en) Analyzing scripts to create and enforce security policies in dynamic development pipelines
CN112559489A (zh) 基于跨链的区块链监管方法、设备及存储介质
EP4038557A1 (en) Method and system for continuous estimation and representation of risk
CN110858170B (zh) 数据异常监控方法和装置
US11874932B2 (en) Managing application security vulnerabilities
US11449408B2 (en) Method, device, and computer program product for obtaining diagnostic information
CN115495424A (zh) 数据处理的方法、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant