CN112948826B - 面向大数据的安全数据运算方法和系统 - Google Patents

面向大数据的安全数据运算方法和系统 Download PDF

Info

Publication number
CN112948826B
CN112948826B CN202110452042.9A CN202110452042A CN112948826B CN 112948826 B CN112948826 B CN 112948826B CN 202110452042 A CN202110452042 A CN 202110452042A CN 112948826 B CN112948826 B CN 112948826B
Authority
CN
China
Prior art keywords
data
request
isolation
service data
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110452042.9A
Other languages
English (en)
Other versions
CN112948826A (zh
Inventor
汤文巍
章智云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vhs Shanghai Health Technology Co ltd
Original Assignee
Vhs Shanghai Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vhs Shanghai Health Technology Co ltd filed Critical Vhs Shanghai Health Technology Co ltd
Priority to CN202110452042.9A priority Critical patent/CN112948826B/zh
Publication of CN112948826A publication Critical patent/CN112948826A/zh
Application granted granted Critical
Publication of CN112948826B publication Critical patent/CN112948826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Virology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种面向大数据的安全数据运算方法和系统，方法包括以下步骤：数据提取步骤：根据收到的请求提取请求数据并进行隔离寄存，将多方数据终端搜集到业务数据进行隔离缓存；数据运算步骤：对所述请求数据和所述业务数据进行隔离计算，得到计算结果；运算结果校验步骤：对所述计算结果进行数据格式和数据范围的安全校验。本发明能够防止注入攻击，保证运算时的安全。

Description

面向大数据的安全数据运算方法和系统
技术领域
本发明涉及大数据处理技术领域，特别是涉及一种面向大数据的安全数据运算方法和系统。
背景技术
现有的大数据的安全运算应用通常都依赖于服务器防火墙的保护，建立专线与外界连接，区分了“墙内和墙外”限制数据访问，从而保证运算的安全性。
现有技术主要是隔离数据的外部访问权限，当请求进入到防火墙之后，“墙内”会存在如下风险：
a)没有数据访问边界限制，可以访问到权限限定范围之外的数据；
b)运算时没有安全限制，存在注入风险；
c)运算任务相互之间没有做安全隔离，比如运算时间超时或者大量占用服务器资源风险会影响其它运算任务；
d)运算结果没有安全校验。
发明内容
本发明所要解决的技术问题是提供一种面向大数据的安全数据运算方法和系统，能够防止注入攻击，保证运算时的安全。
本发明解决其技术问题所采用的技术方案是：提供一种面向大数据的安全数据运算方法，包括以下步骤：
数据提取步骤：根据收到的请求提取请求数据并进行隔离寄存，将多方数据终端搜集到业务数据进行隔离缓存；
数据运算步骤：对所述请求数据和所述业务数据进行隔离计算，得到计算结果；
运算结果校验步骤：对所述计算结果进行数据格式和数据范围的安全校验。
所述根据收到的请求提取请求数据并进行隔离寄存具体包括：对收到的请求进行解密和验证，在解密和验证通过后，为每个请求分发请求令牌，依据请求入参和所述请求令牌提取请求数据，并将所述请求数据进行隔离脱敏寄存。
所述将多方数据终端搜集到业务数据进行隔离缓存具体包括：将多方数据终端搜集到的业务数据进行脱敏缓存，并将脱敏后的业务数据与本地数据进行知识映射；将知识映射后的业务数据采用不同的数据终端存放在不同的数据库表进行隔离缓存。
所述数据运算步骤采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算。
所述对所述请求数据和所述业务数据进行隔离计算具体包括：将所述业务数据和所述请求数据载入到JS引擎的运算内存中，对所述JS脚本进行安全校验；在所述JS引擎的运算内存中对所述业务数据进行解密和合并，得到多方业务数据；在所述JS引擎的运算内存中进行业务数据的计算，将每次运算需要的需求进行内存隔离计算，限定所述JS脚本运算使用的资源，限定所述JS引擎访问服务器资源的权限；对隔离计算的结果进行数据脱敏加密，得到计算结果。
本发明解决其技术问题所采用的技术方案是：提供一种面向大数据的安全数据运算系统，包括：数据提取模块，用于根据收到的请求提取请求数据并进行隔离寄存，将多方数据终端搜集到业务数据进行隔离缓存；数据运算模块，用于对所述请求数据和所述业务数据进行隔离计算，得到计算结果；运算结果校验模块，用于对所述计算结果进行数据格式和数据范围的安全校验。
所述数据提取模块包括请求数据隔离寄存子模块，所述请求数据隔离寄存子模块用于对收到的请求进行解密和验证，在解密和验证通过后，为每个请求分发请求令牌，依据请求入参和所述请求令牌提取请求数据，并将所述请求数据进行隔离脱敏寄存。
所述数据提取模块包括业务数据隔离缓存子模块，所述业务数据隔离缓存子模块用于将多方数据终端搜集到的业务数据进行脱敏缓存，并将脱敏后的业务数据与本地数据进行知识映射；将知识映射后的业务数据采用不同的数据终端存放在不同的数据库表进行隔离缓存。
所述数据运算模块采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算。
所述数据运算模块将所述业务数据和所述请求数据载入到JS引擎的运算内存中，对所述JS脚本进行安全校验；在所述JS引擎的运算内存中对所述业务数据进行解密和合并，得到多方业务数据；在所述JS引擎的运算内存中进行业务数据的计算，将每次运算需要的需求进行内存隔离计算，限定所述JS脚本运算使用的资源，限定所述JS引擎访问服务器资源的权限；对隔离计算的结果进行数据脱敏加密，得到计算结果。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明将运算过程拆分为数据提取、数据运算、运算结果校验三大部分。在服务接收到请求时，为每个请求分发请求令牌，依据请求入参和令牌提取数据，进行运算时只能访问提取到的数据，达到限定数据访问边界的目的。在进行运算时，采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算。首先对JS脚本进行安全校验，防止注入攻击；其次将各个运算任务基于寄存器和指令集进行隔离，同时限定JS脚本运算使用的CPU、内存等资源，限定JS引擎访问服务器资源的权限，从而保证运算时的安全。在JS引擎执行结束返回运算结果之后，对运算结果进行数据格式和数据范围进行安全校验，保证输出的数据都在安全限定范围之内。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种面向大数据的安全数据运算方法，该方法将运算过程拆分为数据提取、数据运算、运算结果校验三大部分。在服务接收到请求时，为每个请求分发请求令牌，依据请求入参和令牌提取数据，使得进行数据运算时只能访问提取到的数据，达到限定数据访问边界的目的。在进行数据运算时，采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算。首先对JS脚本进行安全校验，防止注入攻击；其次将各个运算任务基于寄存器和指令集进行隔离，同时限定JS脚本运算使用的CPU、内存等资源，限定JS引擎访问服务器资源的权限，从而保证运算时的安全。在JS引擎执行结束返回运算结果之后，对运算结果进行数据格式和数据范围进行安全校验，保证输出的数据都在安全限定范围之内。
如图1所示，该方法包括以下步骤：
步骤(1)：请求数据隔离寄存，其是指将数据访问方提交的请求数据进行隔离分开寄存。具体包括：步骤(1a)，验证数据访问方签名及是否可以解密成功，当接收到数据访问方发出的请求时，首先对请求进行解密和验签，保证其可信性和安全性，然后传入到步骤(1b)。步骤(1b)，为步骤(1a)传入进来的每个分发请求令牌，并依据请求入参和请求令牌提取请求数据，并将请求数据隔离脱敏寄存。如此在进行运算时只能访问提取到的请求数据，请求数据按照数据访问方进行隔离寄存，保证数据访问方之间数据不可互通访问，提高数据寄存的安全性。
步骤(2)：业务数据隔离缓存，将业务数据进行隔离缓存保证业务数据的安全性。具体包括：步骤(2a)，将多方数据终端的数据进行数据MD5脱敏、知识映射，即将多方数据终端搜集到业务数据，进行业务数据脱敏缓存，保证数据的安全，同时将脱敏后的业务数据与本地数据进行知识映射，保证数据的可读性、可用性。步骤(2b)，将知识映射之后的业务数据采用不同的数据终端存放在不同的数据库表进行隔离缓存，保证数据终端之间数据不可互通访问，提高业务数据的安全性。
步骤(3)：数据隔离计算，将步骤(1)中隔离寄存的请求数据和步骤(2)中隔离缓存的业务数据按照数据使用方等规则隔离计算。在进行运算时，采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算。具体包括：步骤(3a)，将多方数据终端的脱敏业务数据和数据访问方的请求数据载入到JS引擎的运算内存中，对JS脚本进行安全校验，防止注入攻击。步骤(3b)，对脱敏业务数据进行解密、合并得到合并后的多方业务数据，保证只在JS引擎的运算内存中访问数据明文信息。步骤(3c)，在JS引擎的运算内存中进行数据计算，将每次运算需要的需求进行内存隔离计算，限定JS脚本运算使用的CPU、内存等资源，限定JS引擎访问服务器资源的权限，保证每次计算任务之间数据不可互通访问，保证数据的安全性和计算的准确性。步骤(3d)，对计算结果进行数据脱敏加密，将数据脱敏加密之后才能作为计算结果输出，保证数据的安全。
步骤(4)运算结果校验，将步骤(3)的计算结果进行数据格式和数据范围的安全校验。按照数据访问方进行不同数据库表的隔离寄存，保证数据访问方之间数据不可互通访问，提高数据寄存的安全性。同时寄存的结果可供审计。
不难发现，本发明通过有效地解耦大数据库系统的原生用户账号鉴权机制与业务需求的数据访问权限鉴权机制，能够在基于现有的多种大数据库系统的基础上，统一地为多种业务需求的数据访问权限提供服务体系支持。
本发明的实施方式涉及一种面向大数据的安全数据运算系统，包括：数据提取模块，用于根据收到的请求提取请求数据并进行隔离寄存，将多方数据终端搜集到业务数据进行隔离缓存；数据运算模块，用于对所述请求数据和所述业务数据进行隔离计算，得到计算结果；运算结果校验模块，用于对所述计算结果进行数据格式和数据范围的安全校验。
所述数据提取模块包括请求数据隔离寄存子模块，所述请求数据隔离寄存子模块用于对收到的请求进行解密和验证，在解密和验证通过后，为每个请求分发请求令牌，依据请求入参和所述请求令牌提取请求数据，并将所述请求数据进行隔离脱敏寄存。
所述数据提取模块包括业务数据隔离缓存子模块，所述业务数据隔离缓存子模块用于将多方数据终端搜集到的业务数据进行脱敏缓存，并将脱敏后的业务数据与本地数据进行知识映射；将知识映射后的业务数据采用不同的数据终端存放在不同的数据库表进行隔离缓存。
所述数据运算模块采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算。
所述数据运算模块将所述业务数据和所述请求数据载入到JS引擎的运算内存中，对所述JS脚本进行安全校验；在所述JS引擎的运算内存中对所述业务数据进行解密和合并，得到多方业务数据；在所述JS引擎的运算内存中进行业务数据的计算，将每次运算需要的需求进行内存隔离计算，限定所述JS脚本运算使用的资源，限定所述JS引擎访问服务器资源的权限；对隔离计算的结果进行数据脱敏加密，得到计算结果。

Claims (2)

1.一种面向大数据的安全数据运算方法，其特征在于，包括以下步骤：
数据提取步骤：根据收到的请求提取请求数据并进行隔离寄存，将多方数据终端搜集到业务数据进行隔离缓存；所述根据收到的请求提取请求数据并进行隔离寄存具体包括：对收到的请求进行解密和验证，在解密和验证通过后，为每个请求分发请求令牌，依据请求入参和所述请求令牌提取请求数据，并将所述请求数据进行隔离脱敏寄存；所述将多方数据终端搜集到业务数据进行隔离缓存具体包括：将多方数据终端搜集到的业务数据进行脱敏缓存，并将脱敏后的业务数据与本地数据进行知识映射；将知识映射后的业务数据采用不同的数据终端存放在不同的数据库表进行隔离缓存；
数据运算步骤：对所述请求数据和所述业务数据进行隔离计算，得到计算结果；所述数据运算步骤采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算；所述对所述请求数据和所述业务数据进行隔离计算具体包括：将所述业务数据和所述请求数据载入到JS引擎的运算内存中，对所述JS脚本进行安全校验；在所述JS引擎的运算内存中对所述业务数据进行解密和合并，得到多方业务数据；在所述JS引擎的运算内存中进行业务数据的计算，将每次运算需要的需求进行内存隔离计算，限定所述JS脚本运算使用的资源，限定所述JS引擎访问服务器资源的权限；对隔离计算的结果进行数据脱敏加密，得到计算结果；
运算结果校验步骤：对所述计算结果进行数据格式和数据范围的安全校验。
2.一种面向大数据的安全数据运算系统，其特征在于，包括：数据提取模块，用于根据收到的请求提取请求数据并进行隔离寄存，将多方数据终端搜集到业务数据进行隔离缓存；所述数据提取模块包括请求数据隔离寄存子模块和业务数据隔离缓存子模块，所述请求数据隔离寄存子模块用于对收到的请求进行解密和验证，在解密和验证通过后，为每个请求分发请求令牌，依据请求入参和所述请求令牌提取请求数据，并将所述请求数据进行隔离脱敏寄存；所述业务数据隔离缓存子模块用于将多方数据终端搜集到的业务数据进行脱敏缓存，并将脱敏后的业务数据与本地数据进行知识映射；将知识映射后的业务数据采用不同的数据终端存放在不同的数据库表进行隔离缓存；数据运算模块，用于对所述请求数据和所述业务数据进行隔离计算，得到计算结果；所述数据运算模块采用Java的JavaScript引擎技术，将各个运算任务编写成相应的JS脚本，提交给JS引擎进行运算；所述数据运算模块将所述业务数据和所述请求数据载入到JS引擎的运算内存中，对所述JS脚本进行安全校验；在所述JS引擎的运算内存中对所述业务数据进行解密和合并，得到多方业务数据；在所述JS引擎的运算内存中进行业务数据的计算，将每次运算需要的需求进行内存隔离计算，限定所述JS脚本运算使用的资源，限定所述JS引擎访问服务器资源的权限；对隔离计算的结果进行数据脱敏加密，得到计算结果；运算结果校验模块，用于对所述计算结果进行数据格式和数据范围的安全校验。
CN202110452042.9A 2021-04-26 2021-04-26 面向大数据的安全数据运算方法和系统 Active CN112948826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110452042.9A CN112948826B (zh) 2021-04-26 2021-04-26 面向大数据的安全数据运算方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110452042.9A CN112948826B (zh) 2021-04-26 2021-04-26 面向大数据的安全数据运算方法和系统

Publications (2)

Publication Number Publication Date
CN112948826A CN112948826A (zh) 2021-06-11
CN112948826B true CN112948826B (zh) 2022-12-23

Family

ID=76233464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110452042.9A Active CN112948826B (zh) 2021-04-26 2021-04-26 面向大数据的安全数据运算方法和系统

Country Status (1)

Country Link
CN (1) CN112948826B (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743260B2 (en) * 2006-05-17 2010-06-22 Richard Fetik Firewall+storage apparatus, method and system
CN102843352B (zh) * 2012-05-15 2015-04-22 广东电网公司茂名供电局 在内网和外网之间跨物理隔离透明传输数据的系统和方法
CN106302328B (zh) * 2015-05-20 2019-12-20 腾讯科技（深圳）有限公司 敏感用户数据处理系统和方法
CN105245501B (zh) * 2015-09-01 2020-09-22 Tcl科技集团股份有限公司 一种集中权限数据的分布式权限验证方法及系统
US20200412767A1 (en) * 2015-10-28 2020-12-31 Qomplx, Inc. Hybrid system for the protection and secure data transportation of convergent operational technology and informational technology networks
CN106971007B (zh) * 2017-04-28 2021-05-28 成都优易数据有限公司 一种利用数据结构控制的数据处理与数据分析框架
CN108804710A (zh) * 2018-06-25 2018-11-13 浪潮软件集团有限公司 基于业务规则通过模型工具提炼标签的方法及装置
CN109561091B (zh) * 2018-11-30 2020-10-30 冶金自动化研究设计院 一种用于人防工程的网络安全防护系统
CN111062057B (zh) * 2019-12-16 2022-06-14 英联（厦门）金融技术服务股份有限公司 一种中立的数据应用方法、装置以及系统
CN112202706A (zh) * 2020-08-21 2021-01-08 国网浙江省电力有限公司杭州供电公司 一种电力系统内网的安全访问方法及装置
CN112187931A (zh) * 2020-09-29 2021-01-05 中国平安财产保险股份有限公司 会话管理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112948826A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN108810006B (zh) 资源访问方法、装置、设备及存储介质
CN108923908B (zh) 授权处理方法、装置、设备及存储介质
CN111478910B (zh) 用户身份验证方法和装置、电子设备以及存储介质
CN105978855B (zh) 一种实名制下个人信息安全保护系统及方法
WO2018048051A1 (ko) 양자난수발생기를 이용한 결제 인증 방법 및 시스템
CN111523147B (zh) 一种基于区块链的核身方法及相关硬件
CN106165339A (zh) 用于在通信过程中改进数据安全性的方法和系统
CN109245902A (zh) 即时通信信息验证码的保护方法及装置
CN113239853B (zh) 一种基于隐私保护的生物识别方法、装置及设备
CN111932261A (zh) 一种基于可验证声明的资产数据管理方法和装置
CN115795538A (zh) 脱敏文档的反脱敏方法、装置、计算机设备和存储介质
CN108900595B (zh) 访问云存储服务器数据的方法、装置、设备及计算介质
CN112948826B (zh) 面向大数据的安全数据运算方法和系统
CN111600701B (zh) 一种基于区块链的私钥存储方法、装置及存储介质
CN113282959A (zh) 业务数据处理方法、装置及电子设备
CN109902500B (zh) 一种通过链接库实现业务调用数据安全的方法及系统
CN109871703B (zh) 大数据交易管理方法、装置、存储介质及服务器
CN109889342B (zh) 接口测试鉴权方法、装置、电子设备及存储介质
CN117807567A (zh) 一种软件功能授权方法及装置
CN115422578A (zh) 信息处理方法、装置、设备及存储介质
CN114861144A (zh) 基于区块链的数据权限处理方法
CN107517177B (zh) 接口授权的方法和装置
CN106603237B (zh) 一种安全支付方法及装置
US20240211609A1 (en) Method and system of protecting model, device, and storage medium
CN111555873B (zh) 一种远程鉴权方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant