CN111277538A - 一种保护大数据平台数据交换过程数据安全的系统和方法 - Google Patents

一种保护大数据平台数据交换过程数据安全的系统和方法 Download PDF

Info

Publication number
CN111277538A
CN111277538A CN201811365401.1A CN201811365401A CN111277538A CN 111277538 A CN111277538 A CN 111277538A CN 201811365401 A CN201811365401 A CN 201811365401A CN 111277538 A CN111277538 A CN 111277538A
Authority
CN
China
Prior art keywords
data
security
platform
shared
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811365401.1A
Other languages
English (en)
Inventor
张冉冉
王晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hui Shield Information Security Technology Suzhou Ltd By Share Ltd
Original Assignee
Hui Shield Information Security Technology Suzhou Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hui Shield Information Security Technology Suzhou Ltd By Share Ltd filed Critical Hui Shield Information Security Technology Suzhou Ltd By Share Ltd
Priority to CN201811365401.1A priority Critical patent/CN111277538A/zh
Publication of CN111277538A publication Critical patent/CN111277538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/126—Applying verification of the received information the source of the received data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display

Abstract

本发明提供一种保护大数据平台数据交换过程数据安全的系统和方法。该系统包括数据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块、数据安全风险管理模块、数据安全可视化模块。基于当前大数据平台的数据交换过程，通过多因子认证技术、动态数据脱敏技术、数据建模技术、机器学习技术、数据可视化技术解决整个交换过程的数据安全问题，防止非法数据混入平台影响计算结果、防止数据共享过程造成数据泄露。

Description

一种保护大数据平台数据交换过程数据安全的系统和方法
技术领域
本发明涉及一种保护大数据平台数据交换过程数据安全的系统和方法，基于当前大数据平台的数据交换过程，通过多因子认证技术、动态数据脱敏技术、数据建模技术、机器学习技术、数据可视化技术解决整个交换过程的数据安全问题，防止非法数据混入平台影响计算结果、防止数据共享过程造成数据泄露。
缩略语及名词解释：
Agent：硬件产品部署在其他业务系统上的软件客户端。
背景技术
当今是一个数据爆发增长的时代。移动互联网、移动终端和数据传感器的出现，使数据以超出人们想象的速度快速增长。据调查机构估测，数据数量一直在快速增加，这个速度不仅是指数据流的增长，而且还包括全新的数据种类的增多。目前数据容量增长的速度，已经大大超过了硬件技术的发展速度，并正在引发数据存储和处理的危机。据统计，2013年全球产生的数据达到3.5泽字节，到2020年产生的数量将增至44泽字节。
各行各业大数据系统的建设都在如火如荼的进行中，那么与此同时，大数据系统的安全问题也日益成为人们关注的焦点，大数据系统中记录了大量的敏感甚至涉密信息，例如：旅业系统中存储了大量个人住宿信息；车驾信息系统中记载着大量的车辆、车辆所有人和驾驶员信息；交通事故信息系统中记录了大量交通事故相关的事故人员、现场照片信息；交通违法信息系统中记录了大量的个人交通违法信息；城市监控系统中存储了大量涉及公众隐私的敏感录像数据。
这些信息所涉及社会各个阶层人员，且这些信息中包含大量敏感个人隐私信息，涉及隐私的敏感信息一旦泄漏出去，不但会造成信息主体个人信息曝光，甚至威胁到个人生命财产安全，且相关信息一旦被媒体过分解读，经别有用心者恶意传播，造成社会恐慌甚至国家安全。
2017年6月1日，《中华人民共和国网络安全法》正式施行。明确规定“第二十一条国家实行网络安全等级保护制度。网络运营者应当按照网络安全等级保护制度的要求，履行下列安全保护义务”。
大数据平台将整合各类数据信息，在此实现数据的分析、处理、开发等全过程，大数据平台需要建设成为活水才能起到应有的作用，所有就必然会存在数据的流动。
典型的内外网之间数据交换方式大体可分为：接口型(触发器方式、时间戳方式、查询窗口等)、FTP型、人员拷贝类型等，且各种方式交叉存在于各个模块之间，不同类型的数据交互方式对于数据安全防护手段提出新的要求，因此在数据交互环节，可通过交互方式分类制定数据安全方案。大数据平台数据源可能出现非法数据源混入脏数据，共享出平台的数据不能通过合法途径非法携带敏感数据，造成数据泄密。
当前大数据平台数据交换过程存在以下严重数据安全隐患：
1、对输入大数据平台的数据源只进行用户名密码等简单认证，未进行严格鉴权控制，从而容易出现非法数据源输入数据到大数据平台；
2、对输入大数据平台的数据源数未进行动态脱敏操作，数据源侧敏感信息容易泄露；
3、对共享出大数据平台的数据未进行动态脱敏操作，平台侧数据敏感信息容易泄露；
4、对共享出大数据平台的接口机未做准出控制，确保出口唯一，平台侧数据可能会通过非法服务器泄露；
5、对共享出大数据平台的所有会话只做简单的用户名密码验证，未做严格管控，对内部合法人员(第三方开发维护人员、平台运营者)几乎无法起到防护效果，容易造成数据泄露。
发明内容：
本发明提出一种保护大数据平台数据交换过程数据安全的系统和方法，基于当前大数据平台的全生命周期处理过程，重点解决数据进入平台和数据共享出平台的数据安全问题。通过多因子认证、动态数据脱敏、网络数据画像等技术确保没有非法数据源流入平台、确保数据共享出平台的数据合理合法。
本发明主要从两个层面来解决大数据平台数据交换的安全问题：数据源输入平台的数据安全、数据共享出平台的数据安全。
1、对输入大数据平台的数据源进行严格鉴权，防止出现非法数据源输入数据到大数据平台；
2、对输入大数据平台的数据源数据根据客户要求进行动态脱敏操作，确保数据源侧敏感信息不泄露；
3、对共享出大数据平台的数据根据客户要求进行动态脱敏操作，确保平台侧数据敏感信息不泄露；
4、对共享出大数据平台的接口机做严格准出控制，确保出口唯一，平台侧数据不会通过非法服务器泄露；
5、对共享出大数据平台的所有会话进行建模和机器学习分析，确保每时每刻共享出去的每路会话的数据协议、应用、流量、内容都正常，不会通过合法通道携带非法数据，导致数据泄露。
图1为本发明所述的一种保护大数据平台数据交换过程数据安全系统示意图，该系统包括数据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块、数据安全风险管理模块、数据安全可视化模块。本发明实施例提供了一台大数据核心安全网关，通过上述核心功能模块实现大数据平台的数据交换过程的数据安全。
数据源安全控制模块：内置于大数据核心安全网关中的一个软件模块，首先与各个数据源上部署的agent进行私有协议认证和用户名密码认证，认证通过之后，对该数据源的数据放行，否则对该数据源的数据全部进行阻断，同时将风险信息发送到数据安全风险管理模块进行风险分析，再发送到数据安全可视化模块进行风险通知和风险展示。
数据源脱敏模块：内置于大数据核心安全网关中的一个软件模块，数据源传输进来的数据通过认证之后，到达该模块，根据配置好的脱敏策略进行动态脱敏。
共享数据安全控制模块：内置于大数据核心安全网关中的一个软件模块，首先与各个待共享数据的共享服务器上部署的agent进行私有协议认证和用户名密码认证，认证通过之后，对该共享服务器的数据放行，否则对该共享服务器的数据全部进行阻断，同时将风险信息发送到数据安全风险管理模块进行风险分析，再发送到数据安全可视化模块进行风险通知和风险展示。同时依照“宽进严出”的原则，共享数据安全控制模块需要对待共享出去的数据进行严格审计和管控，共享数据安全控制模块需要对共享出去的每一路会话进行建模(以应用、协议、流量、关键字、词频作为特征)，持续在线学习其会话中传输的数据模式，并同时实时对每一路会话共享出平台的内容进行判别，发现偏离模型 60％以下通知数据安全可视化模块进行告警，偏离模型80％以上直接进行阻断，将风险信息发送到数据安全风险管理模块进行风险分析，再发送到数据安全可视化模块进行风险通知和风险展示，以及通过短信、微信、邮件及时通知指定人员。
数据安全风险管理模块：内置于大数据核心安全网关中的一个软件模块，接收据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块发现的数据安全风险，并进行归类和格式化，同时支持在管理平台进行报告式导出，然后按照规定协议将告警上报给数据安全可视化模块。
数据安全可视化模块：内置于大数据核心安全网关中的一个软件模块，接收数据安全风险管理模块上报的风险，并进行可视化展示(支持PC、大屏查看)，同时还可以根据用户配置将高风险事件实时通过短信、微信、邮件发送给指定人员。
本发明还提供一种保护大数据平台数据交换过程数据安全防护方法，它采用本发明的大数据平台数据交换过程数据安全系统，数据源安全控制模块在收到数据源传输到大数据平台数据前对该数据源通过多因子认证技术做严格认证；接着，数据进入数据源脱敏模块进行既定规则的动态脱敏处理；以上数据汇聚到大数据平台，经过一系列的碰撞和运算后，将通过共享服务器对共享用户进行共享；共享数据安全控制模块收到待共享数据后，首先对共享服务器通过多因子认证技术进行严格认证；同时，对待共享出去的数据进行严格审计和管控；然后，数据进入共享数据脱敏模块进行既定规则的动态脱敏处理；以上所有模块发现的安全风险都需要上报到数据安全风险管理模块进行风险整理和分析，然后再由数据安全风险管理模块将风险上报到数据安全可视化模块进行可视化展示。
附图说明
图1为本发明所述的一种保护大数据平台数据交换过程数据安全系统示意图。
图2为本发明所述的一种保护大数据平台数据交换过程数据安全部署示意图。
具体实施方式：
如图2以通用的大数据平台交换网络模式为例，部署实施的内容包含以下三个部分：
1、在数据源服务器/终端上安装数据安全agent，确保与大数据核心安全网关进行多因子认证，完成对数据源的严格认证；
2、在大数据平台防火墙内，核心交换机侧策略路由旁路部署大数据核心安全网关，该设备为本发明核心设备，发明内涉及的模块均包含在该设备内；
3、在大数据平台合法对外共享的服务器上安装数据安全agent，确保与大数据核心安全网关进行多因子认证，完成共享服务器的严格认证。

Claims (9)

1.本发明提供一种保护大数据平台数据交换过程数据安全的系统和方法，其特征在于该系统部署与大数据平台数据交换网络位置，解决大数据平台数据交换安全问题，包含数据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块、数据安全风险管理模块、数据安全可视化模块，其中：
A.数据源安全控制模块，对大数据平台的各个数据源进行安全控制，并将控制的结果转化为风险上报数据安全风险管理模块；
B.数据源脱敏模块，对大数据平台的各个数据源敏感数据进行脱敏处理；
C.共享数据安全控制模块，对大数据平台对外共享的通道和内容进行安全控制，并将控制的结果转化为风险上报数据安全风险管理模块；
D.共享数据脱敏模块，对大数据平台待共享出去的敏感数据进行脱敏处理；
E.数据安全风险管理模块负责收集A-D的各类安全风险，进行分析、归类、汇总，并上报给数据安全可视化模块；
F.数据安全可视化模块根据收到的风险信息进行可视化展示以及及时通知指定责任人。
2.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，该系统在网络核心交换机策略路由部署大数据核心安全网关，在数据源服务器部署数据安全agent，在数据共享服务器部署数据安全agent。
3.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，数据源安全控制模块：通过多因子认证确保数据源合法，认证不通过的数据源直接进行阻断。
4.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，共享数据安全控制模块：通过多因子认证确保共享服务器合法，认证不通过的共享数据直接进行阻断。
5.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，共享数据安全控制模块，通过数据建模技术建立特征工程，特征包括应用、协议、流量、关键字、词频，通过机器学习技术持续构建和夯实该特征工程形成每一个对外共享数据会话的数据共享模型，并实时对共享出去的数据进行风险判断，发现偏离模型60％以下通知数据安全可视化模块进行告警，偏离模型80％以上直接进行阻断。
6.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，共享数据安全控制模块，通过反向代理技术将加密的链路数据进行解密，再通过数据建模技术建立特征工程，特征包括应用、协议、流量、关键字、词频，通过机器学习技术持续构建和夯实该特征工程形成每一个对外共享数据会话的数据共享模型，并实时对共享出去的数据进行风险判断，发现偏离模型60％以下通知数据安全可视化模块进行告警，偏离模型80％以上直接进行阻断。
7.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，数据安全风险管理模块收集权利要求1-6特征的安全风险，进行分析、归类和汇总后上报到数据安全可视化模块。
8.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，数据安全可视化模块采用数据可视化技术，将数据安全风险通过PC终端或者大屏进行展示，同时及时通过短信、微信、邮件方式通知相关责任人。
9.一种保护大数据平台数据交换过程数据安全的方法，其特征在于采用权利要求1-8任一所述之大数据平台数据交换过程数据安全防护系统，当数据从各个数据源流入大数据平台的时候，通过多因子认证技术对数据源进行鉴权，防止脏数据流入大数据平台；同时根据客户配置的脱敏规则对数据进行动态脱敏；当数据从大数据平台共享出平台时，通过多因子认证技术对共享的服务器进行鉴权，防止非法共享服务器外发数据；接着根据客户配置的脱敏规则对数据进行动态脱敏；最后对共享数据的每一路会话进行数据分析和特征建模，并实时对共享的数据进行风险识别，发现风险立即进行预警和阻断，同时该方法还支持通过发反向代理技术实现支持加密链路数据共享的风险风险识别和阻断；并收集所有数据安全风险进行分析、归类、汇总，再进行可视化展示以及及时通知相关责任人。
CN201811365401.1A 2018-11-16 2018-11-16 一种保护大数据平台数据交换过程数据安全的系统和方法 Pending CN111277538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811365401.1A CN111277538A (zh) 2018-11-16 2018-11-16 一种保护大数据平台数据交换过程数据安全的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811365401.1A CN111277538A (zh) 2018-11-16 2018-11-16 一种保护大数据平台数据交换过程数据安全的系统和方法

Publications (1)

Publication Number Publication Date
CN111277538A true CN111277538A (zh) 2020-06-12

Family

ID=70999898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811365401.1A Pending CN111277538A (zh) 2018-11-16 2018-11-16 一种保护大数据平台数据交换过程数据安全的系统和方法

Country Status (1)

Country Link
CN (1) CN111277538A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051543A (zh) * 2021-04-01 2021-06-29 郭洪铜 在大数据环境下的云服务安全校验方法及云服务系统
CN113098913A (zh) * 2021-06-10 2021-07-09 睿至科技集团有限公司 基于数据共享服务平台的数据安全分析评估方法及系统
CN114640655A (zh) * 2020-12-16 2022-06-17 慧盾信息安全科技(北京)有限公司 一种基于hls视频播放的安全视频调阅系统和方法
CN114640655B (zh) * 2020-12-16 2024-05-14 慧盾信息安全科技(北京)有限公司 一种基于hls视频播放的安全视频调阅系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140150060A1 (en) * 2012-11-28 2014-05-29 Wal-Mart Stores, Inc. System and method for protecting data in an enterprise environment
CN105553940A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于大数据处理平台的安全防护方法
CN106973051A (zh) * 2017-03-27 2017-07-21 山石网科通信技术有限公司 建立检测网络威胁模型的方法、装置、存储介质和处理器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140150060A1 (en) * 2012-11-28 2014-05-29 Wal-Mart Stores, Inc. System and method for protecting data in an enterprise environment
CN105553940A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于大数据处理平台的安全防护方法
CN106973051A (zh) * 2017-03-27 2017-07-21 山石网科通信技术有限公司 建立检测网络威胁模型的方法、装置、存储介质和处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
企鹅号 - 西山科技: "大数据平台安全防护", pages 1 - 3, Retrieved from the Internet <URL:https://cloud.tencent.com/developer/news/300146> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640655A (zh) * 2020-12-16 2022-06-17 慧盾信息安全科技(北京)有限公司 一种基于hls视频播放的安全视频调阅系统和方法
CN114640655B (zh) * 2020-12-16 2024-05-14 慧盾信息安全科技(北京)有限公司 一种基于hls视频播放的安全视频调阅系统和方法
CN113051543A (zh) * 2021-04-01 2021-06-29 郭洪铜 在大数据环境下的云服务安全校验方法及云服务系统
CN113098913A (zh) * 2021-06-10 2021-07-09 睿至科技集团有限公司 基于数据共享服务平台的数据安全分析评估方法及系统

Similar Documents

Publication Publication Date Title
Elmaghraby et al. Cyber security challenges in Smart Cities: Safety, security and privacy
CN110958262A (zh) 电力行业泛在物联网安全防护网关系统、方法及部署架构
US9008617B2 (en) Layered graphical event mapping
CN109729180A (zh) 全体系智慧社区平台
US20150372977A1 (en) Firewall policy management
CN114372286A (zh) 数据安全管理方法、装置、计算机设备及存储介质
KR20040035572A (ko) 정보 인프라에서의 종합 침해사고 대응시스템 및 그운영방법
CN104378228A (zh) 网络数据安全管理系统及方法
CN111343128A (zh) 应用于机动车辆的网络安全监控设备及网络安全监控系统
CN111277538A (zh) 一种保护大数据平台数据交换过程数据安全的系统和方法
CN209086928U (zh) 一种数据库审计的部署结构
Lee et al. A study on efficient log visualization using d3 component against apt: How to visualize security logs efficiently?
US9648039B1 (en) System and method for securing a network
CN112565202A (zh) 一种用于视频网系统的物联网准入网关
CN110378120A (zh) 应用程序接口攻击检测方法、装置以及可读存储介质
Bella et al. A fraud management system architecture for next-generation networks
Connell et al. Cerebro: a platform for collaborative incident response and investigation
CN113157588A (zh) 一种适用于物联网的安全测试架构
CN113779566A (zh) 一种计算机网络安全态势感知系统及方法
Skias et al. Demonstration of alignment of the Pan-European Cybersecurity Incidents Information Sharing Platform to Cybersecurity policy, regulatory and legislative advancements
Petersen et al. An ideal internet early warning system
Zhou et al. Data Security Risk Assessment Method for Connected and Automated Vehicles
Kaur et al. Study of network security along with network security tools and network simulators
Miloslavskaya et al. Information visualisation in information security management for enterprises’s information infrastructure
Hennin Control system cyber incident reporting protocol

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination