CN114817964A - 基于多重复合函数的大数据平台监管方法和装置 - Google Patents
基于多重复合函数的大数据平台监管方法和装置 Download PDFInfo
- Publication number
- CN114817964A CN114817964A CN202210575842.4A CN202210575842A CN114817964A CN 114817964 A CN114817964 A CN 114817964A CN 202210575842 A CN202210575842 A CN 202210575842A CN 114817964 A CN114817964 A CN 114817964A
- Authority
- CN
- China
- Prior art keywords
- data
- analyzed
- big data
- data platform
- supervision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种基于多重复合函数的大数据平台监管方法和装置,涉及数据处理技术领域。方法包括:获取大数据平台中存储的待分析数据;依据预设风险信息对待分析数据进行分析,获得分析结果,其中,预设风险信息是基于多重复合函数确定的信息;依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常;在确定待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管。实现持续不间断的对大数据平台进行监管,从而支撑针对大数据平台的日常海量业务和数据处理。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种基于多重复合函数的大数据平台监管方法、装置、电子设备和可读介质。
背景技术
随着互联网的发展,在很多互联网平台中都存储了大量的用户信息和行为数据。而针对这些用户数据,通常会收到网络攻击,易导致数据的泄露,降低数据的安全性。并且,出于商业利益的考量,一些互联网平台会通过“授权协议”等方式绕过数据监管部门的监管,通过对用户数据的分析,推断用户的消费行为习惯,用以配合互联网平台进行金融产品和广告的精准推送,从而造成对用户的隐私信息的泄露,降低用户的使用体验。如何抗击网络攻击,以方便为数据提供安全保障,称为亟待解决的问题。
目前,常用的数据监管方式,通常是采用监管机构现场式监管、通过大数据平台报送的材料和组织专家评审的方式进行,审计数据多是通过用户举报、平台自组织搜集以及第三方收集获得的数据,存在监管效率低下,审计数据不准确的问题;并且,通过上述监管分析,所获得的监管结果呈离散化,不能对大数据平台中存储的数据进行持续性的监管,更无法支撑针对大数据平台的日常海量业务和数据行为的监管。
发明内容
为此,本申请提供一种基于多重复合函数的大数据平台监管方法、装置、电子设备和可读介质,如何针对大数据平台中的数据进行安全持续有效的监控,以提升数据安全性的问题。
为了实现上述目的,本申请第一方面提供一种基于多重复合函数的大数据平台监管方法,方法包括:获取大数据平台中存储的待分析数据;依据预设风险信息对待分析数据进行分析,获得分析结果,其中,预设风险信息是基于多重复合函数确定的信息;依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常;在确定待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管。
在一些具体实现中,依据预设风险信息对待分析数据进行分析,获得分析结果,包括:
获取待分析数据中的被攻击的数据;
确定被攻击的数据占待分析数据的比例;
依据被攻击的数据占待分析数据的比例和预设比例阈值,确定分析结果;
其中,分析结果用于表征待分析数据受到网络攻击的程度信息。
在一些具体实现中,预设风险信息包括:重标识攻击风险信息、差分攻击风险信息和统计推断攻击风险信息中的至少一种。
在一些具体实现中,依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常,包括:
依据分析结果和大数据平台的抗风险攻击评估信息,确定待分析数据对应的异常等级,其中,异常等级表示待分析数据存在数据泄露风险的等级或待分析数据存在数据滥用风险的等级;
在确定异常等级超过预设异常等级阈值的情况下,确定待分析数据存在异常;
其中,预设异常等级阈值表征大数据平台能够抵抗网络攻击的程度值。
在一些具体实现中,在确定待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管,包括:
在确定待分析数据存在异常的情况下,依据待分析数据对应的异常等级,从多个监管策略中选取待实施策略,其中,监管策略包括大数据平台的数据整改策略、阻断大数据平台的处理任务和关停与异常等级对应的业务中的至少一种;
使用待实施策略对大数据平台进行监管。
在一些具体实现中,依据监管策略对大数据平台进行监管之后,还包括:
基于多个预设时段,分别对待分析数据进行监管,获得多个与预设时段对应的监管结果;
依据多个预设时段对应的监管结果,确定对大数据平台的数据的处理效能;
依据对大数据平台的数据的处理效能,更新监管策略。
在一些具体实现中,待分析数据包括:用户的特征信息、用户的所处位置信息、用户的数量和用户使用大数据平台提供的数据服务信息中的至少一种。
为了实现上述目的,本申请第二方面提供一种大数据平台监管装置,其包括:获取模块,被配置为获取大数据平台中存储的待分析数据;分析模块,被配置为依据预设风险信息对所述待分析数据进行分析,获得分析结果,其中,预设风险信息是基于多重复合函数确定的信息;确定模块,被配置为依据所述分析结果和所述大数据平台的抗风险攻击效能评估信息,确定所述待分析数据是否存在异常;监管模块,被配置为在确定所述待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管。
为了实现上述目的,本申请第三方面提供一种服务器,其包括:至少一个大数据平台监管装置;大数据平台监管装置,被配置为执行本申请实施例中的任意一种基于多重复合函数的大数据平台监管方法。
为了实现上述目的,本申请第四方面提供一种电子设备,其包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现本申请实施例中的任意一种基于多重复合函数的大数据平台监管方法。
为了实现上述目的,本申请第五方面提供一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现本申请实施例中的任意一种基于多重复合函数的大数据平台监管方法。
本申请中的基于多重复合函数的大数据平台监管方法、装置、电子设备和可读介质,通过获取大数据平台中存储的待分析数据,无需再采用数据的现场监管方式,即可获得可靠的待分析数据,提升数据的准确性,并降低人工成本;依据预设风险信息对待分析数据进行分析,获得分析结果,能够对待分析数据进行量化处理,以使获得的分析结果更准确;依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常,以明确大数据平台是否能够抵抗受到的网络攻击,从而及时发现大数据平台存在的数据泄露或数据滥用等风险;在确定待分析数据存在异常的情况下,依据监管策略持续不间断的对大数据平台进行监管,从而支撑针对大数据平台的日常海量业务和数据处理。
附图说明
附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请,并不构成对本申请的限制。通过参考附图对详细示例实施例进行描述,以上和其它特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1示出本申请实施例提供的基于多重复合函数的大数据平台监管方法的流程示意图。
图2示出本申请实施例提供的数据分析方法的流程示意图。
图3示出本申请实施例提供的大数据平台监管装置的组成方框图。
图4示出本申请实施例提供的大数据监管服务器的组成方框图。
图5示出本申请实施例提供的数据监管系统的组成方框图。
图6示出本申请实施例提供的数据监管系统的工作方法的流程示意图。
图7示出能够实现根据本发明实施例的数据监控方法和装置的计算设备的示例性硬件架构的结构图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请,并不用于限制本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
随着互联网技术的发展和业务拓展的需求的提高,大数据平台面临着新的风险攻击,如对大数据平台中的用户账户的重标识攻击、针对大数据平台的数据传递的差分攻击等,以上不同类别的网络攻击易导致大数据平台产生严重的数据泄露风险。并且,有些大数据平台处于商业利益的考虑,会在不告知用户的情况下,通过“授权协议”等方式绕过数据监管,进而通过对用户数据的分析,建立各种“画像系统”,用以推断用户的消费行为,以配合互联网平台进行金融产品和/或广告等业务的精准推送,降低了用户的使用体验,并使用户的隐私信息存在被泄露的风险。
通常,多采用监管机构现场式监管、通过大数据平台报送的材料和组织专家评审的方式进行数据的监管,但其中的审计数据多是通过用户举报、平台自组织搜集以及第三方收集获得的数据,存在监管效率低下,审计数据不准确的问题;并且,通过上述监管分析,所获得的监管结果呈离散化,不能对大数据平台中存储的数据进行持续性的监管,更无法支撑针对大数据平台的日常海量业务和数据行为的监管。
并且,针对大数据平台内部存储的数据,现有的数据监管方式无法实现“穿透式”的监管,多数监管方式都是依赖外部信息的获取,以及大数据平台主动报送的监管信息等进行数据监管,无法实现对大数据平台的数据的实时管控。
图1示出本申请一实施例提供的基于多重复合函数的大数据平台监管方法的流程示意图。该基于多重复合函数的大数据平台监管方法可应用于大数据平台监管装置,该大数据平台监管装置可以设置于服务器中。如图1所示,本申请实施例中的基于多重复合函数的大数据平台监管方法包括但不限于以下步骤。
步骤S110,获取大数据平台中存储的待分析数据。
步骤S120,依据预设风险信息对待分析数据进行分析,获得分析结果。
其中,预设风险信息是基于多重复合函数确定的信息,例如,多重复合函数可以是基于重标识攻击函数,也可以是基于差分攻击风险函数,还可以是基于统计推断攻击风险函数等。
需要说明的是,上述不同的函数可以是封装在大数据平台内部的函数,也可以是大数据平台监管装置使用的函数。以上对于多重复合函数仅是举例说明,可以根据实际需要进行具体的设定,其他未说明的风险函数也在本申请的保护范围之内,在此不再赘述。
在一些具体实现中,预设风险信息包括:重标识攻击风险信息、差分攻击风险信息和统计推断攻击风险信息中的至少一种。
通过不同类别的风险信息,表征预设风险信息,能够丰富对待分析数据可能存在的风险的判断依据,以获得更准确的分析结果。
步骤S130,依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常。
例如,该异常可以包括:待分析数据存在数据泄露风险的异常,和/或,待分析数据存在数据滥用风险的异常等。
以上对于异常仅是举例说明,可根据实际需要进行具体设定,其他未说明的异常情况也在本申请的保护范围之内,在此不再赘述。
步骤S140,在确定待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管。
其中,大数据平台是提供待分析数据的平台。
在本实施例中,通过获取大数据平台中存储的待分析数据,无需再采用数据的现场监管方式,即可获得可靠的待分析数据,提升数据的准确性,并降低人工成本;依据预设风险信息对待分析数据进行分析,获得分析结果,能够对待分析数据进行量化处理,以使获得的分析结果更准确;依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常,以明确大数据平台是否能够抵抗受到的网络攻击,从而及时发现大数据平台存在的数据泄露或数据滥用等风险;在确定待分析数据存在异常的情况下,依据监管策略持续不间断的对大数据平台进行监管,从而支撑针对大数据平台的日常海量业务和数据处理
在一些具体实现中,图2示出本申请实施例提供的数据分析方法的流程示意图。
如图2所示,步骤S120中的依据预设风险信息对待分析数据进行分析,获得分析结果可采用如下步骤实现:
步骤S121,获取待分析数据中的被攻击的数据。
其中,被攻击的数据用于表征受到侵害的数据,如,被重标识攻击到的用户数据、被差分攻击方法攻破的数据,以及被统计推断攻击攻破的数据等等。
步骤S122,确定被攻击的数据占待分析数据的比例。
其中,可以将被攻击的数据与待分析数据进行比值运算,从而确定被攻击的数据占待分析数据的比例。
又例如,还可以将被攻击的数据中包含的信息量,并获取被攻击的数据中包含的信息量,进而可以定量的确定被攻击的数据占待分析数据的比例,以提高该比例的准确性。
步骤S123,依据被攻击的数据占待分析数据的比例和预设比例阈值,确定分析结果。
其中,分析结果用于表征待分析数据受到网络攻击的程度信息。
例如,若被攻击的数据占待分析数据的比例超过预设比例阈值(如,50%等),则确定分析结果为待分析数据受到的网络攻击很严重,需要对待分析数据对应的大数据平台进行进一步的治理和整顿(如,停止该大数据平台的业务数据的处理权限等),以提升该大数据平台的数据安全性。
又例如,若被攻击的数据占待分析数据的比例小于或等于预设比例阈值(如,20%等),则确定分析结果为待分析数据受到的网络攻击较轻微,需要对该待分析数据对应的大数据平台进行警示,以加强该大数据平台的数据监控程度,降低数据泄露的比例,提升用户的使用体验。
在本实施例中,通过定量的对待分析数据进行分析,确定被攻击的数据占待分析数据的比例,并依据被攻击的数据占待分析数据的比例和预设比例阈值,确定分析结果,能够使该分析结果更准确的反应待分析数据被攻击的程度信息,通过不同的分析结果确定不同的治理策略,提升大数据平台的数据安全性,并提升用户的使用体验。
在一些具体实现中,依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常,包括:
依据分析结果和大数据平台的抗风险攻击评估信息,确定待分析数据对应的异常等级;在确定异常等级超过预设异常等级阈值的情况下,确定待分析数据存在异常。
其中,异常等级表示待分析数据存在数据泄露风险的等级或待分析数据存在数据滥用风险的等级;预设异常等级阈值表征大数据平台能够抵抗网络攻击的程度值。
例如,预设异常等级阈值可以采用不同阶段的百分比表示。如可以通过50%、30%作为阈值,来划分不同的等级。在确定异常等级大于或等于50%的情况下,确定该异常等级为第一级;在确定异常等级大于50%且异常等级小于30%的情况下,确定该异常等级为第二级;在确定异常等级小于或等于30%的情况下,确定该异常等级为第三级。
需要说明的是,抗风险攻击评估信息可以采用部署到大数据平台中的风险识别与评估函数实现,以使该风险识别与评估函数能够实时对大数据平台内部的数据进行风险管控,降低数据泄露的风险。
通过将分析结果输入到风险识别与评估函数中进行风险识别,能够确定待分析数据对应的异常等级,从而在异常等级对应不同的阶段时,采取不同的措施,对可能存在的风险进行管控,提升数据的安全性。
在一些具体实现中,在确定待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管,包括:在确定待分析数据存在异常的情况下,依据待分析数据对应的异常等级,从多个监管策略中选取待实施策略;使用待实施策略对大数据平台进行监管。
其中,监管策略包括大数据平台的数据整改策略、阻断大数据平台的处理任务和关停与异常等级对应的业务中的至少一种。
例如,在确定异常等级为最高的第一级的情况下,表征待分析数据此时受到的网络攻击的风险很高,存在数据泄露或数据滥用,需要从多个监管策略中选取待实施策略,如该待实施策略可以为:对大数据平台的数据整改策略(如,将该大数据平台进行停业整改),以全面的对该大数据平台进行治理,提升大数据平台的数据安全性。
又例如,在确定异常等级为较低的第三级的情况下,表征待分析数据此时受到的网络攻击的风险较低,可以基于该第三级确定待实施策略为:关停与第三级对应的业务,能够只针对该第三级的异常进行处理,减少对大数据平台的业务运营的影响,同时兼顾数据的安全性,减少与该第三级对应的业务泄露数据的风险,或,降低与该第三级对应的业务滥用用户隐私数据的比例等,提升用户的使用体验。
在一些具体实现中,依据监管策略对大数据平台进行监管之后,还包括:基于多个预设时段,分别对待分析数据进行监管,获得多个与预设时段对应的监管结果;依据多个预设时段对应的监管结果,确定对大数据平台的数据的处理效能;依据对大数据平台的数据的处理效能,更新监管策略。
需要说明的是,其中的处理效能可以采用多个预设时段对应的监管结果的变化信息表征。例如,某个预设时段对应的监管结果稳定在30%且该监管结果的上下波动不超过5%,则确定对大数据平台的数据的处理效能符合监管需求;
又例如,如果某个预设时段对应的监管结果呈波动状态,如上下波动不超过10%,则确定对大数据平台的数据的处理效能不符合监管需求,需要依据对大数据平台的数据的处理效能,更新监管策略。以使更新后的监管策略能够更符合对大数据平台的数据的处理需求。
例如将某个大数据平台的监管策略由“关停与异常等级对应的业务”更新至“阻断大数据平台的处理任务”,进一步对大数据平台进行更严格的监管,以提升数据的安全性。
在一些具体实现中,待分析数据包括:用户的特征信息、用户的所处位置信息、用户的数量和用户使用大数据平台提供的数据服务信息中的至少一种。
其中,用户使用大数据平台提供的数据服务信息可包括:用户的类型(如,浏览网页的用户,或进行网络购物的用户等)、以及用户所进行的数据服务(如,用户进行网站浏览的数据、购物数据和商品偏好数据等)。
用户的特征信息包括但不限于:用户姓名、用户性别、用户年龄、用户身份证号码等信息。
通过多个不同维度的信息来表征待分析数据,能够更全面的衡量大数据平台中的数据,降低数据被滥用的风险;并且,在具体实现时,还可以通过调用大数据平台提供的其内部封装的函数实现,通过调用大数据平台内部封装的函数来抓取需要的数据,能够与该大数据平台的生产环境联通,从而获取更准确的待分析数据。
图3示出本申请实施例提供的大数据平台监管装置的组成方框图。如图3所示,该大数据平台监管装置300包括但不限于如下模块。
获取模块301,被配置为获取大数据平台中存储的待分析数据。
分析模块302,被配置为依据预设风险信息对所述待分析数据进行分析,获得分析结果。
确定模块303,被配置为依据所述分析结果和所述大数据平台的抗风险攻击效能评估信息,确定所述待分析数据是否存在异常。
监管模块304,被配置为在确定所述待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管。
在一些具体实现中,分析模块302,具体用于:获取待分析数据中的被攻击的数据;确定被攻击的数据占待分析数据的比例;依据被攻击的数据占待分析数据的比例和预设比例阈值,确定分析结果。
其中,分析结果用于表征待分析数据受到网络攻击的程度信息。
在一些具体实现中,预设风险信息包括:重标识攻击风险信息、差分攻击风险信息和统计推断攻击风险信息中的至少一种。
在一些具体实现中,确定模块303,具体用于:依据分析结果和大数据平台的抗风险攻击评估信息,确定待分析数据对应的异常等级;在确定异常等级超过预设异常等级阈值的情况下,确定待分析数据存在异常。
其中,异常等级表示待分析数据存在数据泄露风险的等级或待分析数据存在数据滥用风险的等级;预设异常等级阈值表征大数据平台能够抵抗网络攻击的程度值。
在一些具体实现中,监管模块304,具体用于:在确定待分析数据存在异常的情况下,依据待分析数据对应的异常等级,从多个监管策略中选取待实施策略;使用待实施策略对大数据平台进行监管。
其中,监管策略包括大数据平台的数据整改策略、阻断大数据平台的处理任务和关停与异常等级对应的业务中的至少一种。
在一些具体实现中,大数据平台监管装置300,还包括:更新模块,被配置为基于多个预设时段,分别对待分析数据进行监管,获得多个与预设时段对应的监管结果;依据多个预设时段对应的监管结果,确定对大数据平台的数据的处理效能;依据对大数据平台的数据的处理效能,更新监管策略。
在一些具体实现中,待分析数据包括:用户的特征信息、用户的所处位置信息、用户的数量和用户使用大数据平台提供的数据服务信息中的至少一种。
在本实施例中,通过获取模块获取大数据平台中存储的待分析数据,无需再采用数据的现场监管方式,即可获得可靠的待分析数据,提升数据的准确性,并降低人工成本;分析模块依据预设风险信息对待分析数据进行分析,获得分析结果,能够对待分析数据进行量化处理,以使获得的分析结果更准确;确定模块依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常,以明确大数据平台是否能够抵抗受到的网络攻击,从而及时发现大数据平台存在的数据泄露风险;监管模块在确定待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管,实现持续不间断的对大数据平台进行监管,从而支撑针对大数据平台的日常海量业务和数据处理。
图4示出本申请实施例提供的大数据监管服务器的组成方框图。
如图4所示,该大数据监管服务器400包括:至少一个大数据平台监管装置401;大数据平台监管装置401,被配置为执行本申请任意一个实施例提供的基于多重复合函数的大数据平台监管方法。
在本实施例中,通过大数据平台监管装置能够获取大数据平台中存储的待分析数据,无需再采用数据的现场监管方式,即可获得可靠的待分析数据,提升数据的准确性,并降低人工成本;依据预设风险信息对待分析数据进行分析,获得分析结果,能够对待分析数据进行量化处理,以使获得的分析结果更准确;依据分析结果和大数据平台的抗风险攻击效能评估信息,确定待分析数据是否存在异常,以明确大数据平台是否能够抵抗受到的网络攻击,从而及时发现大数据平台存在的数据泄露或数据滥用等风险;在确定待分析数据存在异常的情况下,依据监管策略持续不间断的对大数据平台进行监管,从而支撑针对大数据平台的日常海量业务和数据处理。
图5示出本申请实施例提供的数据监管系统的组成方框图。如图5所示,该数据监控系统包括如下设备:
面板监控设备510和持续监管设备520。
其中,面板监控设备510包括:依次连接的数据抓取模块511、数据风险监管沙箱512和数据监控决策引擎513。持续监管设备520包括:依次连接的启动多设备监管模块521、风险管控与治理效能评估模块522和更新模块523。
面板监控设备510用于在某个预设时段,针对某个大数据平台进行针对性的一对一的数据监管,如对大数据平台中的数据是否存在数据泄露和/或数据滥用等风险的评估和治理。
而持续监管设备520可以与多个面板监控设备510相连接,以方便对多个大数据平台同时进行数据的持续监管,提升数据的管控效率。
图6示出本申请实施例提供的数据监管系统的工作方法的流程示意图。如图6所示,该数据监控与治理系统的工作方法包括但不限于如下步骤。
步骤S601,启动数据抓取模块511对大数据平台的数据进行抓取,获得待分析数据。
例如,采用公式(1)表示数据抓取函数Fd,并使用该数据抓取函数对大数据平台的数据进行抓取。
D=Fd(data,c,s,num) (1)
其中,data表示大数据平台中的数据,D表示数据抓取结果(即待分析数据)。
c表示要抓取的数据的维度,例如,数据的维度可以为1000种不同类型的数据。
s表示要抓取的用户的类型,如,浏览网页的用户,或进行网络购物的用户等。
num表示要抓取的用户的数量,如,500个用户等。
待分析数据D可以包括:用户的特征信息、用户的所处位置信息、用户的数量和用户使用数据平台提供的数据服务信息中的至少一种。
例如,大数据平台中的每个用户的特征信息(如,用户姓名、用户性别、用户年龄、用户身份证号码等信息)、用户使用大数据平台提供的数据服务信息(如,用户进行网站浏览的数据、购物数据和商品偏好数据等)。
在一些具体实现中,数据抓取函数Fd可以通过调用大数据平台提供的其内部封装的函数实现,通过调用大数据平台内部封装的函数来抓取需要的数据,能够与该大数据平台的生产环境联通,从而获取更准确的待分析数据。
步骤S602,将获得的待分析数据输入到数据风险监管沙箱512中,以使数据风险监管沙箱512依据预设风险信息对所述待分析数据进行分析,获得分析结果。
在一些具体实现中,可通过获取待分析数据中的被攻击的数据;确定被攻击的数据占待分析数据的比例;依据被攻击的数据占待分析数据的比例和预设比例阈值,确定分析结果。
例如,若大数据平台受到重标识攻击,则对应的被攻击的数据占待分析数据的比例,可以采用被重标识到的用户数据占所有数据的百分比来表示第一风险抵抗指数;类似的,若大数据平台受到差分攻击,则对应的被攻击的数据占待分析数据的比例,可以采用被差分攻击方法攻破的数据量占所有数据的总量的百分比来表示第二风险抵抗指数;若大数据平台受到统计推断攻击,则对应的被攻击的数据占待分析数据的比例,可以采用被统计推断攻击攻破的数据量占所有数据的总量的百分比来表示第三风险抵抗指数。
通过不同类型的风险抵抗指数,能够表征大数据平台遭受到的网络攻击的破坏情况,从而在风险抵抗指数超过预设比例阈值的情况下,确定分析结果为大数据平台存在异常,需要采用不同的监管措施对大数据平台进行监管。
步骤S603,数据风险监管沙箱512依据分析结果和大数据平台的抗风险攻击评估信息,确定待分析数据对应的异常等级。
其中,抗风险攻击评估信息可以采用部署到大数据平台中的风险识别与评估函数Fr实现。由于风险识别与评估函数Fr部署在大数据平台内部,因此,不会存在数据泄露风险。
例如,采用公式(2)表示风险识别与评估函数Fr。
R=Fr(D)=Fx(f1+f2+f3) (2)
其中,R表示数据风险状态信息,即分析结果;
Fx表示抗风险攻击效能评估函数,通过Fx能够体现大数据平台可抵抗网络中的风险攻击的能力;
f1表示大数据平台在受到重标识攻击时的第一风险抵抗指数,通过f1能够表征该大数据平台可抵抗重标识攻击的能力;
f2表示大数据平台在受到差分攻击时的第二风险抵抗指数,通过f2能够表征该大数据平台可抵抗差分攻击的能力;
f3表示大数据平台在受到统计推断攻击时的第三风险抵抗指数,通过f3能够表征该大数据平台可抵抗统计推断攻击的能力。
需要说明的是,通过f1+f2+f3能够表征大数据平台同时受到三种不同类型的攻击之后,被攻击的数据的占比情况;而将f1+f2+f3的值输入到表示抗风险攻击效能评估函数Fx中,能够确定最终的分析结果R,该R的值越大,表征上述网络攻击越成功,大数据平台对应的防护措施不够强壮。
步骤S604,数据监控决策引擎513在确定异常等级超过预设异常等级阈值的情况下,确定待分析数据存在异常;并在确定待分析数据存在异常的情况下,依据监管策略对大数据平台进行监管。
其中,预设异常等级阈值可以采用不同阶段的百分比表示。监管策略包括:大数据平台的数据整改策略、阻断大数据平台的处理任务和关停与异常等级对应的业务中的至少一种。
例如,可以预先设定不同的异常等级,例如,当R大于或等于50%时,可以确定异常等级为最高级(如,第一级);当R处于50%~30%之间时,可以确定异常等级为次高级(如,第二级);当R小于或等于30%时,可以确定异常等级为低级(如,第三级)。
进一步地,在确定异常等级为第一级的情况下,选择大数据平台的数据整改策略(如,将大数据平台进行停业整顿的方式)对大数据平台进行整改;在确定异常等级为第二级的情况下,选择关停与第二级对应的业务的方式(如,“一键关停”大数据平台与风险关联紧密的业务等),对大数据平台进行整改;在确定异常等级为第三级的情况下,选择阻断大数据平台的处理任务的方式,对大数据平台进行整改。
通过不同的监管方式,对出现异常的大数据平台进行处理,能够降低大数据平台对其获得的数据的滥用比例,减少数据泄露的风险,从而提升数据的安全性。
例如,还可以采用公式(3)来表示数据风险决策函数Fj
C=Fj(R) (3)
其中,C表示数据风险决策引擎的结果,例如,监管策略中的某个待实施策略。
步骤S605,数据监控决策引擎513将对大数据平台的监管策略发送至多设备监管模块521,以使多设备监管模块521能够并行的对多个大数据平台进行监管。
例如,基于多个预设时段,分别对待分析数据进行监管,获得多个与预设时段对应的监管结果;或,在某个预设时段内,同时对多个大数据平台中的待分析数据进行监管,获得多个监管结果。
在一些具体实现中,可以设定一个时间段t,多设备监管模块521会逐个启动多个面板监控设备510,并按序收集此时间段内所有的面板监控设备510所获得的数据监管结果。
例如,可采用集合Ct={C1、C2、......、Cn}表示多个数据监管结果。
其中,n为大于或等于1的整数,Cn表示第n个数据监管结果。
在获得多个监管结果后,将多设备监管模块521会将多个监管结果发送至风险管控与治理效能评估模块522。
步骤S606,风险管控与治理效能评估模块522依据多个预设时段对应的监管结果,确定对大数据平台的数据的处理效能,并发送该处理效能至更新模块523。
例如,可采用公式(4)表示风险管控与治理效能评估函数Fe,
U=Fe(Ct) (4)
其中,U表示处理效能,例如,可以采用R的降低幅度或者稳定性来衡量处理效能U。
例如,一个监管周期(一年,或一个月等)内,如果R值稳定在30%且R值的上下波动不超过5%,则确定该处理效能符合监管需求;如果R值的上下波动超过10%,则确定该处理效能不符合监管需求,需要执行步骤S607。
步骤S606,更新模块523依据对大数据平台的数据的处理效能,更新监管策略。
需要说明的是,更新后的监管策略能够更符合对大数据平台中的数据监管需求,以提升大数据平台中的数据安全性。
在本实施例中,通过采用数据风险监管沙箱512能够对大数据平台中的数据进行量化的风险监管,以快速确定大数据平台是否存在数据泄露或数据滥用等风险;进而通过数据监控决策引擎513对存在数据泄露和/或数据滥用等风险的数据进行治理,依据监管策略持续不间断的对大数据平台进行监管,从而支撑针对大数据平台的日常海量业务和数据处理,提升数据的安全性。并且,采用多设备监管模块521能够持续不断的对多个大数据平台进行风险评估和监管,提升数据监管的效率,并在风险管控与治理效能评估模块522确定处理效能不符合监管需求的情况下,使用更新模块523对监管策略进行更新,以使更新后的监管策略更符合数据的监管需求,提升数据的安全性。
需要明确的是,本发明并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁,这里省略了对已知方法的详细描述,并且上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图7示出能够实现根据本发明实施例的数据监控方法和装置的计算设备的示例性硬件架构的结构图。
如图7所示,计算设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中,输入接口702、中央处理器703、存储器704、以及输出接口705通过总线707相互连接,输入设备701和输出设备706分别通过输入接口702和输出接口705与总线707连接,进而与计算设备700的其他组件连接。
具体地,输入设备701接收来自外部的输入信息,并通过输入接口702将输入信息传送到中央处理器703;中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器704中,然后通过输出接口705将输出信息传送到输出设备706;输出设备706将输出信息输出到计算设备700的外部供用户使用。
在一个实施例中,图7所示的计算设备可以被实现为一种电子设备,该电子设备可以包括:存储器,被配置为存储程序;处理器,被配置为运行存储器中存储的程序,以执行上述实施例描述的数据监控方法。
在一个实施例中,图7所示的计算设备可以被实现为一种数据监控系统,该数据监控系统可以包括:存储器,被配置为存储程序;处理器,被配置为运行存储器中存储的程序,以执行上述实施例描述的数据监控方法。
以上所述,仅为本申请的示例性实施例而已,并非用于限定本申请的保护范围。一般来说,本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如,一些方面可以被实现在硬件中,而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中,尽管本申请不限于此。
本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现,例如在处理器实体中,或者通过硬件,或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤,或者可以表示相互连接的逻辑电路、模块和功能,或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现,例如但不限于只读存储器(ROM)、随机访问存储器(RAM)、光存储器装置和系统(数码多功能光碟DVD或CD光盘)等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型,例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(FGPA)以及基于多核处理器架构的处理器。
可以理解的是,以上实施方式仅仅是为了说明本申请的原理而采用的示例性实施方式,然而本申请并不局限于此。对于本领域内的普通技术人员而言,在不脱离本申请的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本申请的保护范围。
Claims (11)
1.一种基于多重复合函数的大数据平台监管方法,其特征在于,所述方法包括:
获取大数据平台中存储的待分析数据;
依据预设风险信息对所述待分析数据进行分析,获得分析结果,其中,所述预设风险信息是基于多重复合函数确定的信息;
依据所述分析结果和所述大数据平台的抗风险攻击效能评估信息,确定所述待分析数据是否存在异常;
在确定所述待分析数据存在异常的情况下,依据监管策略对所述大数据平台进行监管。
2.根据权利要求1所述的方法,其特征在于,所述依据预设风险信息对所述待分析数据进行分析,获得分析结果,包括:
获取所述待分析数据中的被攻击的数据;
确定所述被攻击的数据占所述待分析数据的比例;
依据所述被攻击的数据占所述待分析数据的比例和预设比例阈值,确定所述分析结果;
其中,所述分析结果用于表征所述待分析数据受到网络攻击的程度信息。
3.根据权利要求2所述的方法,其特征在于,所述预设风险信息包括:重标识攻击风险信息、差分攻击风险信息和统计推断攻击风险信息中的至少一种。
4.根据权利要求1所述的方法,其特征在于,所述依据所述分析结果和所述大数据平台的抗风险攻击效能评估信息,确定所述待分析数据是否存在异常,包括:
依据所述分析结果和所述大数据平台的抗风险攻击评估信息,确定所述待分析数据对应的异常等级,其中,所述异常等级表示所述待分析数据存在数据泄露风险的等级或所述待分析数据存在数据滥用风险的等级;
在确定所述异常等级超过预设异常等级阈值的情况下,确定所述待分析数据存在异常;
其中,所述预设异常等级阈值表征所述大数据平台能够抵抗网络攻击的程度值。
5.根据权利要求4所述的方法,其特征在于,所述在确定所述待分析数据存在异常的情况下,依据监管策略对所述大数据平台进行监管,包括:
在确定所述待分析数据存在异常的情况下,依据所述待分析数据对应的异常等级,从多个所述监管策略中选取待实施策略,其中,所述监管策略包括大数据平台的数据整改策略、阻断所述大数据平台的处理任务和关停与所述异常等级对应的业务中的至少一种;
使用所述待实施策略对所述大数据平台进行监管。
6.根据权利要求1所述的方法,其特征在于,所述依据监管策略对所述大数据平台进行监管之后,还包括:
基于多个预设时段,分别对所述待分析数据进行监管,获得多个与所述预设时段对应的监管结果;
依据多个所述预设时段对应的监管结果,确定对所述大数据平台的数据的处理效能;
依据所述对所述大数据平台的数据的处理效能,更新所述监管策略。
7.根据权利要求1所述的方法,其特征在于,所述待分析数据包括:用户的特征信息、所述用户的所处位置信息、所述用户的数量和所述用户使用所述大数据平台提供的数据服务信息中的至少一种。
8.一种大数据平台监管装置,其特征在于,其包括:
获取模块,被配置为获取大数据平台中存储的待分析数据;
分析模块,被配置为依据预设风险信息对所述待分析数据进行分析,获得分析结果,其中,所述预设风险信息是基于多重复合函数确定的信息;
确定模块,被配置为依据所述分析结果和所述大数据平台的抗风险攻击效能评估信息,确定所述待分析数据是否存在异常;
监管模块,被配置为在确定所述待分析数据存在异常的情况下,依据监管策略对所述大数据平台进行监管。
9.一种服务器,其特征在于,其包括:至少一个大数据平台监管装置;
所述大数据平台监管装置,被配置为执行如权利要求1-7中任一项所述的基于多重复合函数的大数据平台监管方法。
10.一种电子设备,其包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的基于多重复合函数的大数据平台监管方法。
11.一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-7中任一项所述的基于多重复合函数的大数据平台监管方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210575842.4A CN114817964A (zh) | 2022-05-25 | 2022-05-25 | 基于多重复合函数的大数据平台监管方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210575842.4A CN114817964A (zh) | 2022-05-25 | 2022-05-25 | 基于多重复合函数的大数据平台监管方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114817964A true CN114817964A (zh) | 2022-07-29 |
Family
ID=82516693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210575842.4A Pending CN114817964A (zh) | 2022-05-25 | 2022-05-25 | 基于多重复合函数的大数据平台监管方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114817964A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116595554A (zh) * | 2023-05-18 | 2023-08-15 | 北京长河数智科技有限责任公司 | 基于多维度实现政务数据安全性分析方法及装置 |
-
2022
- 2022-05-25 CN CN202210575842.4A patent/CN114817964A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116595554A (zh) * | 2023-05-18 | 2023-08-15 | 北京长河数智科技有限责任公司 | 基于多维度实现政务数据安全性分析方法及装置 |
CN116595554B (zh) * | 2023-05-18 | 2024-01-19 | 北京长河数智科技有限责任公司 | 基于多维度实现政务数据安全性分析方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | An effective security measures for nuclear power plant using big data analysis approach | |
US10078317B2 (en) | Method, device and computer program for monitoring an industrial control system | |
CN109246153A (zh) | 网络安全态势分析模型和网络安全评估方法 | |
US11734431B2 (en) | Method and system for assessing effectiveness of cybersecurity controls in an OT environment | |
CN113542279A (zh) | 一种网络安全风险评估方法、系统及装置 | |
CN107483414A (zh) | 一种基于云计算虚拟化环境的安全防护系统及其防护方法 | |
CA3204098C (en) | Systems, devices, and methods for observing and/or securing data access to a computer network | |
Yamin et al. | Implementation of insider threat detection system using honeypot based sensors and threat analytics | |
WO2022150513A1 (en) | Systems, devices, and methods for observing and/or securing data access to a computer network | |
CN105825130B (zh) | 一种信息安全预警方法及装置 | |
Shin et al. | Cyber security risk analysis model composed with activity-quality and architecture model | |
CN114817964A (zh) | 基于多重复合函数的大数据平台监管方法和装置 | |
Boranbayev et al. | Measures to ensure the reliability of the functioning of information systems in respect to state and critically important information systems | |
CN116992503B (zh) | 一种数据安全存储方法及存储装置 | |
Macak et al. | Scenarios for process-aware insider attack detection in manufacturing | |
CN106790211A (zh) | 一种预测恶意软件感染的统计预测系统和方法 | |
Kuypers et al. | Designing organizations for cyber security resilience | |
Albanese et al. | Formation of awareness | |
Hakkoymaz | Classifying database users for intrusion prediction and detection in data security | |
KR20050093196A (ko) | 정보자산에 대한 실시간 위험지수 산정 방법 및 시스템 | |
CN114490261A (zh) | 一种终端安全事件联动处理方法、装置和设备 | |
Bamhdi | FLORA: Fuzzy Logic-Objective Risk Analysis for Intrusion Detectionand Prevention | |
Chernov et al. | Application of the method of determining the degree of danger of destructive actions to solve the problem of information security of APCs | |
CN117972686B (zh) | 一种数据治理方法以及相关装置 | |
Poltavtseva et al. | Automatic control approach to the cyber-physical systems security monitoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |