CN107302546A - 大数据平台安全访问系统、方法及电子设备 - Google Patents

大数据平台安全访问系统、方法及电子设备 Download PDF

Info

Publication number
CN107302546A
CN107302546A CN201710703773.XA CN201710703773A CN107302546A CN 107302546 A CN107302546 A CN 107302546A CN 201710703773 A CN201710703773 A CN 201710703773A CN 107302546 A CN107302546 A CN 107302546A
Authority
CN
China
Prior art keywords
data
key
daily record
module
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710703773.XA
Other languages
English (en)
Other versions
CN107302546B (zh
Inventor
肖康
李远策
王�锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710703773.XA priority Critical patent/CN107302546B/zh
Publication of CN107302546A publication Critical patent/CN107302546A/zh
Application granted granted Critical
Publication of CN107302546B publication Critical patent/CN107302546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种大数据平台安全访问系统、方法、电子设备及计算机存储介质。其中系统，包括：权限认证模块，适于管理用户角色对数据资源的权限信息；数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行解密；审计模块，适于实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警；网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断，从而提升了数据的安全性，以及提高了访问大数据平台的安全性。

Description

大数据平台安全访问系统、方法及电子设备
技术领域
本发明涉及大数据处理技术领域，具体涉及一种大数据平台安全访问系统、方法、电子设备及计算机存储介质。
背景技术
目前，随着电子商务、社交网络、物联网、云计算以及移动互联网的全面普及，各种各样的数据资源正呈现爆发性、多样性的增长态势，大数据时代悄然来临。
随着数据系统的应用越来越广泛，其安全性非常重要：大数据市场年增迅速，近5年平均增速50％以上，数据爆发式增长，使得信息成为战略资产；大数据技术影响到国家治理、企业决策和人民生活等等；然而对大数据应用给信息安全提出了新的挑战；安全威胁大大提高，攻击者背景更加复杂
综上所述可以看出，如何提高大数据平台中数据的安全性是目前亟待解决的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的大数据平台安全访问系统、方法、电子设备及计算机存储介质。
根据本发明的一个方面，提供了一种大数据平台安全访问系统，包括：
权限认证模块，适于管理用户角色对数据资源的权限信息；
数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行解密；
审计模块，适于实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警；
网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
根据本发明的另一方面，提供了一种大数据平台安全访问方法，包括：
管理用户角色对数据资源的权限信息；
对写入的数据进行加密；以及对读取的数据进行解密；
实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警；
利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
根据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述大数据平台安全访问方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述大数据平台安全访问方法对应的操作。
根据本发明提供的方案，管理用户角色对数据资源的权限信息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数据访问，提升了数据的安全性；对写入的数据进行加密，加密后，数据以密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问控制，大大降低了数据被泄漏和恶意破坏的风险；以及对读取的数据进行解密，实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警，以及通过对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的大数据平台安全访问系统的结构示意图；
图2示出了根据本发明另一个实施例的大数据平台安全访问系统的结构示意图；
图3示出了根据本发明一个实施例的大数据平台安全访问方法的流程示意图；
图4示出了根据本发明另一个实施例的大数据平台安全访问方法的流程示意图；
图5示出了根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的大数据平台安全访问系统的结构示意图。如图1所示，该系统100包括：权限认证模块110、数据加解密模块120、审计模块130和网关模块140。
权限认证模块110，适于管理用户角色对数据资源的权限信息。
其中，用户角色指用户所扮演的角色，该角色赋予了用户对数据资源的权限，该用户可以访问而且只能访问自己被授权的数据资源，例如，一个论坛网站中，“超级管理员”、“版主”就是赋予用户的角色，版主可以管理版内的帖子，即数据资源，例如删除帖子、增加新的帖子。
权限的本质是规则，其规定哪些用户可以做哪些事情，哪些用户不可以做哪些事情的规则。通过给角色授权，然后将附有权限的角色施加到某个用户身上，这样用户就可以实施相应的权限了。角色的权限可以灵活改变，用户的角色也可以随着场所的不同而发生改变等。
另外，权限认证模块还可以管理用户角色对对象资源的权限信息，例如，允许或拒绝用户使用大数据平台提供的某个功能。
数据加解密模块120，适于对写入的数据进行加密；以及对读取的数据进行解密。
具体地，当接收到数据写请求后，数据加解密模块对于需要写入至大数据平台的数据要进行加密处理；当接收到数据读请求后，数据加解密模块对于从大数据平台读取的数据要进行解密处理。
本实施例中对数据所进行的加解密过程，用户是无感知的，即，对数据所进行的加/解密处理对用户而言是不可见的，对数据进行加密或者解密时无需用户手动进行任何操作，是数据加解密模块自动对写入的数据进行加密；以及对读取的数据自动解密，由此可以提高数据的安全性。
审计模块130，适于实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警。
数据操作日志用于记录对数据资源所进行的操作，也就是说，对数据资源所进行的任何操作都将被记录到数据操作日志中，当然，也可能包含一些高危操作，若不对高危操作做任何处理，则可能对大数据平台的访问安全性造成影响，因此，审计模块可以实时地收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警，以供客户端根据报警信息进行后续的处理，例如拦截等，提高了访问大数据平台的安全性。
网关模块140，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
写入数据时，数据需要经过网关才能写入到大数据平台的数据库，即流入网关的数据；类似的，读取数据时，从大数据平台的数据库读取的数据需经过网关才可被用户获取到，即流出网关的数据，然而，不论是流入网关的数据还是流出网关的数据都可能包含危险数据，因此，需要利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
根据本发明上述实施例提供的系统，管理用户角色对数据资源的权限信息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数据访问，提升了数据的安全性；对写入的数据进行加密，加密后，数据以密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问控制，大大降低了数据被泄漏和恶意破坏的风险；以及对读取的数据进行解密，实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警，以及通过对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全性。
图2示出了根据本发明另一个实施例的大数据平台安全访问系统的结构示意图。如图2所示，该系统200包括：权限认证模块210、数据加解密模块220、审计模块230和网关模块240。
权限认证模块210包括：用户角色管理单元211，适于管理用户信息以及用户信息对应的用户角色。
用户角色管理单元可以对用户信息进行管理，例如新增用户信息、修改用户信息或删除用户信息，其中，用户信息包括但不限于：用户编码、用户名、用户姓名、职务头衔、移动电话、邮件地址等，当然，这里仅仅是举例说明，不具有任何限定作用；另外，用户角色管理单元还可以对用户信息对应的用户角色进行管理，例如，修改/删除/新增用户信息对应的用户角色，举例说明，设定用户信息1对应的用户角色为设计师助理，用户角色管理单元对用户信息1对应的用户角色进行修改，修改为设计师。
为了更好地管理用户信息，对用户信息进行分组归类，简称为用户分组，而每个用户分组也可以具有自己的角色信息、权限信息，另外，每个用户分组内的用户信息可以对应相同的角色，以方便管理用户信息对应的用户角色。
其中，每个用户分组的权限信息可用公式表示：组权限＝所属角色的权限+组自身的权限。
资源管理单元212，适于对不同数据存储格式的数据存储系统的数据资源进行格式统一化处理，并将处理后的数据资源存储至平台数据库。
大数据平台安全访问系统有其自身的平台数据库，例如MySQL数据库，用于存储数据资源，在本实施例中，资源管理单元可以对不同数据存储格式的数据存储系统的数据资源进行格式统一化处理，使得数据资源具有统一的格式，例如，目录结构格式，该目录结构格式具体可以为表/列/目录/文件格式，这里仅是举例说明，不具有任何限定作用。
其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统和/或Yarn数据存储系统。具体地，Hbase数据存储系统中数据存储格式为表/列；HDFS数据存储系统中数据存储格式为目录/文件；Hive数据存储系统中数据存储格式为库/表/列。
权限管理单元213，适于管理用户角色对数据资源的权限信息。
权限的本质是规则，其规定哪些用户可以做哪些事情，哪些用户不可以做哪些事情的规则。通过给角色授权，然后将附有权限的角色施加到某个用户身上，这样用户就可以实施相应的权限了。角色的权限可以灵活改变，用户的角色也可以随着场所的不同而发生改变等。其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权限，这里仅是举例说明，不具有任何限定作用。
该权限认证模块210还包括：IP地址白名单214，适于存储具有访问权限的客户端的IP地址。
IP地址白名单存储了具有访问权限的客户端的IP地址，只有IP地址属于IP地址白名单内的客户端才有权限访问数据资源，通过IP地址白名单和角色限定数据资源的访问权限，进一步提升了数据资源的安全性。
该系统还包括：密钥数据库221，适于存储具有数据键值对形式的密钥，其中，密钥标识作为数据键，密钥串作为数据值。
密钥数据库221存储了大量的密钥，其中，密钥具有数据键值对(Key-Value)形式，密钥标识作为数据键Key，密钥串作为数据值Value，根据密钥标识查询密钥数据库可以得到密钥标识对应的密钥串。
数据加解密模块220进一步适于：写入数据时，从密钥数据库中随机获取一未被使用的密钥标识，将密钥标识写入文件头以实现对写入的数据进行加密；
具体地，密钥数据库221还可以存储密钥的使用状态，例如，已使用或未使用，在将数据写入到大数据平台的数据库时，数据加解密模块可以根据密钥的使用状态从密钥数据库中随机获取一未被使用过的密钥标识，将密钥标识写入文件头以实现对写入的数据进行加密，在对数据进行加密后，还需要对密钥数据库中密钥的使用状态进行更新，更新为已使用，从而当再次写入数据时，方便获取密钥标识来对写入的数据进行加密，其中，密钥标识可以是密钥ID。加密后，数据以密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问控制，大大降低了数据被泄漏和恶意破坏的风险。
举例说明，密钥数据库中存储了：密钥ID1-密钥串1，使用状态：未使用；密钥ID2-密钥串2，使用状态：已使用；密钥ID3-密钥串3，使用状态：未使用；
当根据写请求写入数据1时，数据加解密模块根据密钥的使用状态从密钥数据库中随机获取一未被使用过的密钥标识：密钥ID1，并将密钥ID1写入文件头以实现对数据1进行加密，在对数据进行加密后，还需要对密钥数据库中密钥ID1对应的使用状态更新为已使用。
数据加解密模块220进一步适于：读取数据时，获取文件头中的密钥标识，根据密钥标识查询密钥数据库，得到密钥标识对应的密钥串，利用密钥串对读取的数据进行解密。
具体地，当根据读请求读取数据1时，需要先从文件的文件头中获取到密钥标识：密钥ID1，然后根据：密钥ID1查询密钥数据库，得到该密钥标识对应的密钥串1，并利用密钥串1对读取的数据进行解密。
本实施例中对数据所进行的加解密过程，用户是无感知的，即，对数据所进行的加/解密处理对用户而言是不可见的，对数据进行加密或者解密时无需用户手动进行任何操作，是数据加解密模块自动对写入的数据进行加密；以及对读取的数据自动解密，由此可以提高数据的安全性。
审计模块230，适于实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警。
数据操作日志用于记录对数据资源所进行的操作，也就是说，对数据资源所进行的任何操作都将被记录到数据操作日志中，当然，也可能包含一些高危操作，若不对高危操作做任何处理，则可能对大数据平台的访问安全性造成影响，因此，审计模块可以实时地收集数据操作日志，将数据操作日志发送至消息队列，并将消息队列中数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则可以认定数据操作为高危操作，对数据操作日志对应的数据操作进行实时报警，以供客户端根据报警信息进行后续的处理，例如拦截等，通过实时过滤数据操作，实时告警，提高了访问大数据平台的安全性。
此外，审计模块包括：模型训练单元231，适于对历史报警的数据操作对应的数据操作日志进行训练，得到相应的告警规则，通过模型训练单元可以逐步优化告警规则，从而提升了利用告警规则对数据操作日志进行检测时检测结果的准确性。
系统还包括：日志存储系统250，适于存储实时收集的数据操作日志，以供客户端查询并追踪数据操作。
审计模块实时收集的数据操作日志被存储至日志存储系统中，该日志存储系统提供有查询功能，用户通过输入关键字等可以查询与该关键字相匹配的数据操作日志，实现对数据操作的追踪。
网关模块240，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
写入数据时，数据需要经过网关才能写入到大数据平台的数据库，即流入网关的数据，例如流式数据；类似的，读取数据时，从大数据平台的数据库读取的数据需经过网关才可被用户获取到，即流出网关的数据，例如流式数据或文件拷贝，然而，不论是流入网关的数据还是流出网关的数据都可能包含危险数据，因此，需要利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断，其中，预设规则可以正则表达式的形式表示。
根据本发明上述实施例提供的系统，管理用户角色对数据资源的权限信息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数据访问，提升了数据的安全性；将具有访问权限的客户端对应的IP地址存储至IP地址白名单，使得只有IP地址在IP地址白名单内的客户端才能访问数据，进一步提升了数据的安全性，对写入的数据进行加密，加密后，数据以密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问控制，大大降低了数据被泄漏和恶意破坏的风险；以及对读取的数据进行解密，实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警，将数据操作日志存储至日志存储系统，使得客户端通过查询日志存储系统就可以追踪到对应的数据操作，便于后续对数据操作的分析，以及通过对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全性。
图3示出了根据本发明一个实施例的大数据平台安全访问方法的流程示意图。如图3所示，该方法包括以下步骤：
步骤S300，管理用户角色对数据资源的权限信息。
步骤S301，对写入的数据进行加密；以及对读取的数据进行解密。
步骤S302，实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警。
步骤S303，利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
根据本发明上述实施例提供的方法，管理用户角色对数据资源的权限信息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数据访问，提升了数据的安全性；对写入的数据进行加密，加密后，数据以密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问控制，大大降低了数据被泄漏和恶意破坏的风险；以及对读取的数据进行解密，实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警，以及通过对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全性。
图4示出了根据本发明另一个实施例的大数据平台安全访问方法的流程示意图。如图4所示，该方法包括以下步骤：
步骤S400，管理用户信息以及用户信息对应的用户角色。
步骤S401，对不同数据存储格式的数据存储方法的数据资源进行格式统一化处理，并将处理后的数据资源存储至平台数据库。
其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、HD FS数据存储系统、Hive数据存储系统、和/或Yarn数据存储系统。
步骤S402，管理用户角色对数据资源的权限信息。
其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权限。
步骤S403，将具有访问权限的客户端对应的IP地址存储至IP地址白名单。
步骤S404，将具有数据键值对形式的密钥存储至密钥数据库，其中，密钥标识作为数据键，密钥串作为数据值。
步骤S405，写入数据时，从密钥数据库中随机获取一未被使用的密钥标识，将密钥标识写入文件头以实现对写入的数据进行加密。
步骤S406，读取数据时，获取文件头中的密钥标识，根据密钥标识查询密钥数据库，得到密钥标识对应的密钥串，利用密钥串对读取的数据进行解密。
步骤S407，实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警。
步骤S408，将实时收集的数据操作日志存储至日志存储系统，以供客户端查询并追踪数据操作。
步骤S409，利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
其中，告警规则是通过对历史报警的数据操作对应的数据操作日志进行训练得到的。
根据本发明上述实施例提供的方法，管理用户角色对数据资源的权限信息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数据访问，提升了数据的安全性；将具有访问权限的客户端对应的IP地址存储至IP地址白名单，使得只有IP地址在IP地址白名单内的客户端才能访问数据，进一步提升了数据的安全性，对写入的数据进行加密，加密后，数据以密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问控制，大大降低了数据被泄漏和恶意破坏的风险；以及对读取的数据进行解密，实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警，将数据操作日志存储至日志存储系统，使得客户端通过查询日志存储系统就可以追踪到对应的数据操作，便于后续对数据操作的分析，以及通过对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全性。
本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的大数据平台安全访问方法。
图5示出了根据本发明一个实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图5所示，该电子设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述大数据平台安全访问方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行实施例三至实施例四中的方法。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的大数据平台安全访问设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了：
A1.一种大数据平台安全访问系统，包括：
权限认证模块，适于管理用户角色对数据资源的权限信息；
数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行解密；
审计模块，适于实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警；
网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
A2.根据A1所述的系统，其中，所述权限认证模块包括：
用户角色管理单元，适于管理用户信息以及用户信息对应的用户角色；
资源管理单元，适于对不同数据存储格式的数据存储系统的数据资源进行格式统一化处理，并将处理后的数据资源存储至平台数据库；
权限管理单元，适于管理用户角色对数据资源的权限信息。
A3.根据A1或A2所述的系统，其中，所述权限认证模块还包括：IP地址白名单，适于存储具有访问权限的客户端的IP地址。
A4.根据A2所述的系统，其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统、和/或Yarn数据存储系统。
A5.根据A1-A4任一项所述的系统，其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权限。
A6.根据A1-A5任一项所述的系统，所述系统还包括：密钥数据库，适于存储具有数据键值对形式的密钥，其中，密钥标识作为数据键，密钥串作为数据值。
A7.根据A6所述的系统，其中，所述数据加解密模块进一步适于：
写入数据时，从所述密钥数据库中随机获取一未被使用的密钥标识，将所述密钥标识写入文件头以实现对写入的数据进行加密；
读取数据时，获取文件头中的密钥标识，根据所述密钥标识查询密钥数据库，得到所述密钥标识对应的密钥串，利用所述密钥串对读取的数据进行解密。
A8.根据A1-A7任一项所述的系统，其中，所述系统还包括：日志存储系统，适于存储实时收集的数据操作日志，以供客户端查询并追踪数据操作。
A9.根据A1-A8任一项所述的系统，其中，所述审计模块包括：模型训练单元，适于对历史报警的数据操作对应的数据操作日志进行训练，得到相应的告警规则。
B10.一种大数据平台安全访问方法，包括：
管理用户角色对数据资源的权限信息；
对写入的数据进行加密；以及对读取的数据进行解密；
实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警；
利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
B11.根据B10所述的方法，其中，所述管理用户角色对数据资源的权限信息进一步包括：
管理用户信息以及用户信息对应的用户角色；
对不同数据存储格式的数据存储方法的数据资源进行格式统一化处理，并将处理后的数据资源存储至平台数据库；
管理用户角色对数据资源的权限信息。
B12.根据B10或B11所述的方法，其中，所述方法还包括：将具有访问权限的客户端对应的IP地址存储至IP地址白名单。
B13.根据B11所述的方法，其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统、和/或Yarn数据存储系统。
B14.根据B10-B13任一项所述的方法，其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权限。
B15.根据B10-B14任一项所述的方法，所述方法还包括：将具有数据键值对形式的密钥存储至密钥数据库，其中，密钥标识作为数据键，密钥串作为数据值。
B16.根据B15所述的方法，其中，所述对写入的数据进行加密进一步包括：写入数据时，从所述密钥数据库中随机获取一未被使用的密钥标识，将所述密钥标识写入文件头以实现对写入的数据进行加密；
所述对读取的数据进行解密进一步包括：读取数据时，获取文件头中的密钥标识，根据所述密钥标识查询密钥数据库，得到所述密钥标识对应的密钥串，利用所述密钥串对读取的数据进行解密。
B17.根据B10-B16任一项所述的方法，其中，所述方法还包括：将实时收集的数据操作日志存储至日志存储系统，以供客户端查询并追踪数据操作。
B18.根据B10-B17任一项所述的方法，其中，所述告警规则是通过对历史报警的数据操作对应的数据操作日志进行训练得到的。
C19.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如B10-B18中任一项所述的大数据平台安全访问方法对应的操作。
D20.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如B10-B18中任一项所述的大数据平台安全访问方法对应的操作。

Claims (10)

1.一种大数据平台安全访问系统，包括：
权限认证模块，适于管理用户角色对数据资源的权限信息；
数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行解密；
审计模块，适于实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警；
网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
2.根据权利要求1所述的系统，其中，所述权限认证模块包括：
用户角色管理单元，适于管理用户信息以及用户信息对应的用户角色；
资源管理单元，适于对不同数据存储格式的数据存储系统的数据资源进行格式统一化处理，并将处理后的数据资源存储至平台数据库；
权限管理单元，适于管理用户角色对数据资源的权限信息。
3.根据权利要求1或2所述的系统，其中，所述权限认证模块还包括：IP地址白名单，适于存储具有访问权限的客户端的IP地址。
4.根据权利要求2所述的系统，其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统、和/或Yarn数据存储系统。
5.根据权利要求1-4任一项所述的系统，其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权限。
6.根据权利要求1-5任一项所述的系统，所述系统还包括：密钥数据库，适于存储具有数据键值对形式的密钥，其中，密钥标识作为数据键，密钥串作为数据值。
7.根据权利要求6所述的系统，其中，所述数据加解密模块进一步适于：
写入数据时，从所述密钥数据库中随机获取一未被使用的密钥标识，将所述密钥标识写入文件头以实现对写入的数据进行加密；
读取数据时，获取文件头中的密钥标识，根据所述密钥标识查询密钥数据库，得到所述密钥标识对应的密钥串，利用所述密钥串对读取的数据进行解密。
8.一种大数据平台安全访问方法，包括：
管理用户角色对数据资源的权限信息；
对写入的数据进行加密；以及对读取的数据进行解密；
实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警；
利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断。
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求8所述的大数据平台安全访问方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求8所述的大数据平台安全访问方法对应的操作。
CN201710703773.XA 2017-08-16 2017-08-16 大数据平台安全访问系统、方法及电子设备 Active CN107302546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710703773.XA CN107302546B (zh) 2017-08-16 2017-08-16 大数据平台安全访问系统、方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710703773.XA CN107302546B (zh) 2017-08-16 2017-08-16 大数据平台安全访问系统、方法及电子设备

Publications (2)

Publication Number Publication Date
CN107302546A true CN107302546A (zh) 2017-10-27
CN107302546B CN107302546B (zh) 2021-05-21

Family

ID=60131835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710703773.XA Active CN107302546B (zh) 2017-08-16 2017-08-16 大数据平台安全访问系统、方法及电子设备

Country Status (1)

Country Link
CN (1) CN107302546B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133150A (zh) * 2018-02-05 2018-06-08 北京公共交通控股（集团）有限公司 基于合同数据的安全管理系统、存储介质及电子终端
CN108304486A (zh) * 2017-12-29 2018-07-20 北京欧链科技有限公司 一种基于区块链的数据处理方法及装置
CN108959867A (zh) * 2018-06-05 2018-12-07 浙江大学 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法
CN109165521A (zh) * 2018-07-23 2019-01-08 武汉智领云科技有限公司 一种集成大数据访问管控系统和方法
CN111274461A (zh) * 2020-01-14 2020-06-12 深信服科技股份有限公司 数据审计方法、数据审计装置及存储介质
CN111339050A (zh) * 2018-12-03 2020-06-26 国网宁夏电力有限公司信息通信公司 一种基于大数据平台集中安全审计的方法及系统
CN111353163A (zh) * 2018-12-24 2020-06-30 华为技术有限公司 确定访问权限的方法、装置及存储介质
CN112287310A (zh) * 2020-11-06 2021-01-29 深圳安捷丽新技术有限公司 一种安全管控存储系统
CN113364745A (zh) * 2021-05-21 2021-09-07 北京国联天成信息技术有限公司 一种日志收集与分析处理方法
CN113542253A (zh) * 2021-07-12 2021-10-22 杭州安恒信息技术股份有限公司 一种网络流量检测方法、装置、设备及介质
CN113806778A (zh) * 2021-09-23 2021-12-17 深圳市电子商务安全证书管理有限公司 基于大数据平台的数据管理方法、系统及存储介质
CN117216813A (zh) * 2023-11-02 2023-12-12 紫光同芯微电子有限公司 用于读写数据的方法、装置和安全芯片

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102421096A (zh) * 2011-12-22 2012-04-18 厦门雅迅网络股份有限公司 一种基于无线网络的数据安全传输方法
CN104504014A (zh) * 2014-12-10 2015-04-08 无锡城市云计算中心有限公司 基于大数据平台的数据处理方法和装置
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
US20160086464A1 (en) * 2013-02-20 2016-03-24 Honeywell International Inc. System and method of monitoring the video surveillance activities
CN105553940A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于大数据处理平台的安全防护方法
CN105656903A (zh) * 2016-01-15 2016-06-08 国家计算机网络与信息安全管理中心 一种Hive平台的用户安全管理系统及应用
CN106209850A (zh) * 2016-07-13 2016-12-07 何钟柱 基于可信计算的大数据信息网络自适应安全防护系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119200A (zh) * 2007-08-03 2008-02-06 上海贝尔阿尔卡特股份有限公司 用于提供广播/多播业务的方法、网络单元、终端和系统
CN104636494A (zh) * 2015-03-04 2015-05-20 浪潮电子信息产业股份有限公司 一种基于Spark大数据平台的日志审计倒查系统
CN106650482A (zh) * 2015-11-04 2017-05-10 阿里巴巴集团控股有限公司 电子文件加密解密方法、装置和系统
CN105429752B (zh) * 2015-11-10 2019-10-22 中国电子科技集团公司第三十研究所 一种云环境下用户密钥的处理方法及系统
CN106095575B (zh) * 2016-06-14 2019-02-15 上海浪潮云计算服务有限公司 一种日志审计的装置、系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102421096A (zh) * 2011-12-22 2012-04-18 厦门雅迅网络股份有限公司 一种基于无线网络的数据安全传输方法
US20160086464A1 (en) * 2013-02-20 2016-03-24 Honeywell International Inc. System and method of monitoring the video surveillance activities
CN104504014A (zh) * 2014-12-10 2015-04-08 无锡城市云计算中心有限公司 基于大数据平台的数据处理方法和装置
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
CN105553940A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于大数据处理平台的安全防护方法
CN105656903A (zh) * 2016-01-15 2016-06-08 国家计算机网络与信息安全管理中心 一种Hive平台的用户安全管理系统及应用
CN106209850A (zh) * 2016-07-13 2016-12-07 何钟柱 基于可信计算的大数据信息网络自适应安全防护系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304486A (zh) * 2017-12-29 2018-07-20 北京欧链科技有限公司 一种基于区块链的数据处理方法及装置
CN108133150A (zh) * 2018-02-05 2018-06-08 北京公共交通控股（集团）有限公司 基于合同数据的安全管理系统、存储介质及电子终端
CN108959867A (zh) * 2018-06-05 2018-12-07 浙江大学 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法
CN109165521A (zh) * 2018-07-23 2019-01-08 武汉智领云科技有限公司 一种集成大数据访问管控系统和方法
CN111339050B (zh) * 2018-12-03 2023-07-18 国网宁夏电力有限公司信息通信公司 一种基于大数据平台集中安全审计的方法及系统
CN111339050A (zh) * 2018-12-03 2020-06-26 国网宁夏电力有限公司信息通信公司 一种基于大数据平台集中安全审计的方法及系统
CN111353163A (zh) * 2018-12-24 2020-06-30 华为技术有限公司 确定访问权限的方法、装置及存储介质
CN111274461A (zh) * 2020-01-14 2020-06-12 深信服科技股份有限公司 数据审计方法、数据审计装置及存储介质
CN112287310A (zh) * 2020-11-06 2021-01-29 深圳安捷丽新技术有限公司 一种安全管控存储系统
CN113364745A (zh) * 2021-05-21 2021-09-07 北京国联天成信息技术有限公司 一种日志收集与分析处理方法
CN113542253A (zh) * 2021-07-12 2021-10-22 杭州安恒信息技术股份有限公司 一种网络流量检测方法、装置、设备及介质
CN113806778A (zh) * 2021-09-23 2021-12-17 深圳市电子商务安全证书管理有限公司 基于大数据平台的数据管理方法、系统及存储介质
CN113806778B (zh) * 2021-09-23 2022-08-02 深圳市电子商务安全证书管理有限公司 基于大数据平台的数据管理方法、系统及存储介质
CN117216813A (zh) * 2023-11-02 2023-12-12 紫光同芯微电子有限公司 用于读写数据的方法、装置和安全芯片
CN117216813B (zh) * 2023-11-02 2024-03-26 紫光同芯微电子有限公司 用于读写数据的方法、装置和安全芯片

Also Published As

Publication number Publication date
CN107302546B (zh) 2021-05-21

Similar Documents

Publication Publication Date Title
CN107302546A (zh) 大数据平台安全访问系统、方法及电子设备
US20220210200A1 (en) Ai-driven defensive cybersecurity strategy analysis and recommendation system
US11972006B2 (en) System of decentralized zero-trust services for creating, using and analyzing securely commingled self-governing data sets
US9948682B2 (en) Data resource control through a control policy defining an authorized context for utilization of a protected data resource
Kantarcioglu et al. Securing big data in the age of AI
WO2019241359A1 (en) Blockchain distributed access, storage and transport
US11907199B2 (en) Blockchain based distributed file systems
CN107409126A (zh) 用于保护企业计算环境安全的系统和方法
WO2017058876A1 (en) Architecture to facilitate organizational data sharing and consumption while maintaining data governance
US20150026462A1 (en) Method and system for access-controlled decryption in big data stores
KR20190029509A (ko) 사용자 프로필에 사용자 정보를 안전하게 저장하기 위한 시스템 및 방법
Devi et al. Securing medical big data through blockchain technology
CN107426173A (zh) 文件防护方法及装置
US11868339B2 (en) Blockchain based distributed file systems
US20120054489A1 (en) Method and system for database encryption
Huang et al. GenAI Data Security
US11238178B2 (en) Blockchain network to protect identity data attributes using data owner-defined policies
Liu et al. A research and analysis method of open source threat intelligence data
Khan et al. An Intelligent Blockchain and Software‐Defined Networking‐Based Evidence Collection Architecture for Cloud Environment
Ceresnak et al. Increasing security of database during car monitoring
Lu et al. Research on the security of data cross-border circulation in cyberspace
Swarnkar et al. Security issues and challenges in big data analytics in distributed environment
EP2667564A1 (en) Method and system for enabling multi-level policies enforcement
Reddy Access control mechanisms in Big Data processing
Khan et al. An Evolutionary Algorithmic Framework-Cloud Based Evidence Collection Architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant