CN111931214A - 数据处理方法、装置、服务器及存储介质 - Google Patents

数据处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111931214A
CN111931214A CN202010899024.0A CN202010899024A CN111931214A CN 111931214 A CN111931214 A CN 111931214A CN 202010899024 A CN202010899024 A CN 202010899024A CN 111931214 A CN111931214 A CN 111931214A
Authority
CN
China
Prior art keywords
data
service
access key
sensitive information
distributed database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010899024.0A
Other languages
English (en)
Inventor
邹定斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010899024.0A priority Critical patent/CN111931214A/zh
Publication of CN111931214A publication Critical patent/CN111931214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据领域，提供一种数据处理方法，包括：获取业务数据；将业务数据写入关系型数据库和分布式数据库；使用分布式数据库对业务数据进行统计，获得统计数据，以及使用关系型数据库对业务数据进行查询，获得明细数据；对统计数据中的敏感信息进行处理，获得隐藏数据；生成第一访问密钥；将隐藏数据、明细数据以及第一访问密钥进行组合，获得查询数据，将查询数据发送至前端设备；当接收到第二访问秘钥时，校验第二访问秘钥的有效性；当校验有效时，控制输出敏感信息。本发明可应用于智慧政务、智慧安防、智慧交通、智慧物流、智慧社区、智慧财政、智慧生活等需要进行大数据处理的领域，从而推动智慧城市的发展。

Description

数据处理方法、装置、服务器及存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种数据处理方法、装置、服务器及存储介质。
背景技术
随着业务的发展，产生了越来越多的业务数据，经常需要对业务数据进行查询以及统计分析。然而，由于业务数据不仅数量巨大，而且还会随着业务的变更而实时发生变化，使得业务数据在查询时速度较慢，同时，在查询时无法进行实时的统计分析。
因此，如何实现对海量的数据进行高效地实时统计分析是一个亟待解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种数据处理方法、装置、服务器及存储介质，能够实现对海量的数据进行高效地实时统计分析。
本发明的第一方面提供一种数据处理方法，所述数据处理方法包括：
获取业务数据；
将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；
使用所述分布式数据库对所述业务数据进行统计，获得统计数据，以及使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；
对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；
生成包括所述敏感信息的第一访问密钥；
将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据，并将所述查询数据发送至前端设备；
当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；
当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。
在一种可能的实现方式中，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为离线数据，将所述业务数据写入分布式文件系统HDFS；
向所述分布式数据库发送数据写入请求；
从所述HDFS中下载所述业务数据至所述分布式数据库中。
在一种可能的实现方式中，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为实时流数据，将所述业务数据写入分布式发布订阅消息系统；
向所述分布式数据库发送数据写入请求；
从所述分布式发布订阅消息系统中消费所述业务数据并将所述业务数据写入在所述分布式数据库中。
在一种可能的实现方式中，所述生成包括所述敏感信息的第一访问密钥包括：
获取前端设备的登录用户的用户标识，以及获取所述敏感信息的信息类型标识；
根据所述用户标识和所述信息类型标识，生成第一签名；
对所述第一签名进行加密，生成包含所述敏感信息的第一访问密钥。
在一种可能的实现方式中，所述将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据包括：
获取所述业务数据的业务类型；
根据所述业务类型，从预先设置的多个预设模板中确定与所述业务类型匹配的业务模板；
按照所述业务模板，对所述隐藏数据以及所述明细数据进行组合；
将组合后的数据以及所述第一访问密钥确定为查询数据。
在一种可能的实现方式中，所述根据所述第一访问秘钥，校验所述第二访问秘钥的有效性包括：
对所述第二访问密钥进行解密，获得第二签名；
判断所述第二签名与所述第一访问秘钥中的第一签名是否一致；
若所述第二签名与所述第一访问秘钥中的第一签名一致，确定所述第二访问秘钥有效。
在一种可能的实现方式中，所述的数据处理方法还包括：
将所述敏感信息上传至区块链上。
本发明的第二方面提供一种数据处理装置，所述数据处理装置包括：
获取模块，用于获取业务数据；
写入模块，用于将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；
统计模块，用于使用所述分布式数据库对所述业务数据进行统计，获得统计数据；
查询模块，用于使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；
隐藏模块，用于对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；
生成模块，用于生成包括所述敏感信息的第一访问密钥；
组合模块，用于将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据；
传输模块，用于将所述查询数据发送至前端设备；
校验模块，用于当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；
控制模块，用于当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。
本发明的第三方面提供一种服务器，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据处理方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据处理方法。
由以上技术方案可知，本发明可应用在智慧建筑、智慧政务、智慧医疗、智慧安防、智慧交通、智慧物流、智慧家居、智慧社区、智慧财政、智慧法律、智慧生活等需要进行大数据处理的领域，从而推动智慧城市的发展。本发明中，利用关系型数据库以及分布式数据库进行数据查询，充分结合了关系型数据库查询数据明细的优势以及分布式数据库高效统计数据的优势，能够对海量数据高效地进行实时统计和分析，同时，对数据进行隐藏处理以及在数据传输过程中添加访问密钥，以避免数据在传输过程中被篡改，同时，确保数据的安全性。
附图说明
图1是本发明公开的一种数据处理方法的较佳实施例的流程图。
图2是本发明公开的一种基于区块链的数据处理装置的较佳实施例的功能模块图。
图3是本发明实现数据处理方法的较佳实施例的服务器的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
其中，服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(Fi le Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1，图1是本发明公开的一种数据处理方法的较佳实施例的流程图。其中，该数据处理方法应用于服务器中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S11、获取业务数据。
S12、将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库。
其中，关系型数据库可以用来实时查询明细数据，分布式数据库可以用来对海量的数据进行实时统计分析，比如Apache Druid分布式数据库。
其中，关系型数据库可以直接使用java数据库连接(jdbc)等方式写入数据，分布式数据库需要根据数据类型来写入。
具体的，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为离线数据，将所述业务数据写入分布式文件系统HDFS；
向所述分布式数据库发送数据写入请求；
从所述HDFS中下载所述业务数据至所述分布式数据库中。
在该可选的实施方式中，数据类型为静态的离线数据，可以先将业务数据写入hadoop分布式文件系统HDFS，然后向分布式数据库的index service(索引服务)的统治节点发起一个数据写入请求，即可从hadoop HDFS中将业务数据下载到所述分布式数据库中数据节点中。
具体的，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为实时流数据，将所述业务数据写入分布式发布订阅消息系统；
向所述分布式数据库发送数据写入请求；
从所述分布式发布订阅消息系统中消费所述业务数据并将所述业务数据写入在所述分布式数据库中。
在该可选的实施方式中，数据类型为静态的实时流数据，可以先将业务数据写入写入分布式发布订阅消息系统Kafka，然后向分布式数据库的index service(索引服务)的统治节点发起一个数据写入请求，即可从Kafka消费所述业务数据并将所述业务数据写入在所述分布式数据库中。
S13、使用所述分布式数据库对所述业务数据进行统计，获得统计数据，以及使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据。
其中，分布式数据库提供了Restful风格的api，使用和编程语言无关的http协议就可以查询出数据，请求和响应数据都是JSON格式的。其中，Restful基于REST构建的API就是Restful风格，Restful是目前最流行的API设计规范，用于Web数据接口的设计。
其中，可以使用jdbc等方式从关系型数据库查询出一页的明细数据。
具体的，还可以根据统计数据，计算明细数据可以分多少页展示，并计算页数，之后，在确定每页需要展示的明细数据。
S14、对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据。
其中，敏感信息可以包括但不限于姓名，身份证号码，车牌号码以及统计数据中的结果数据、分析数据等。对敏感信息进行隐藏，可以避免非法用户肆意利用该敏感信息执行违法操作，同时，避免数据泄露。
S15、生成包括所述敏感信息的第一访问密钥。
具体的，所述生成包括所述敏感信息的第一访问密钥包括：
获取前端设备的登录用户的用户标识，以及获取所述敏感信息的信息类型标识；
根据所述用户标识和所述信息类型标识，生成第一签名；
对所述第一签名进行加密，生成包含所述敏感信息的第一访问密钥。
在该可选的实施方式中，用户标识比如登录用户的姓名、用户的登录账户等。第一访问密钥用于限制可以访问该敏感信息的权限，保证了数据的安全性。
S16、将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据，并将所述查询数据发送至前端设备。
具体的，所述将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据包括：
获取所述业务数据的业务类型；
根据所述业务类型，从预先设置的多个预设模板中确定与所述业务类型匹配的业务模板；
按照所述业务模板，对所述隐藏数据以及所述明细数据进行组合；
将组合后的数据以及所述第一访问密钥确定为查询数据。
在该可选的实施方式中，可以根据业务类型的业务模板来对隐藏数据和明细数据进行组合，可以使得组合后呈现的数据展示方式更加符合业务的需求，后续在前端设备展示时，能提高数据的展示效果，同时，提高用户的查询体验。
S17、当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性。
具体的，所述根据所述第一访问秘钥，校验所述第二访问秘钥的有效性包括：
对所述第二访问密钥进行解密，获得第二签名；
判断所述第二签名与所述第一访问秘钥中的第一签名是否一致；
若所述第二签名与所述第一访问秘钥中的第一签名一致，确定所述第二访问秘钥有效。
在该可选的实施方式中，第一访问密钥发送至前端设备之后，用户就会输入接收到的第一访问密钥，并返回给服务器。如果所述第二签名与所述第一访问秘钥中的第一签名一致，表明服务器发送给前端设备的密钥与用户输入的密钥是相同的，也即第一访问密钥在传输过程中没有被篡改，数据安全得到了保障。
S18、当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。
可选的，所述方法还包括：
将所述敏感信息上传至区块链上。
其中，为了数据的安全性和私密性，可以将所述敏感信息上传至区块链上，以进行保存。
在图1所描述的方法流程中，利用关系型数据库以及分布式数据库进行数据查询，充分结合了关系型数据库查询数据明细的优势以及分布式数据库高效统计数据的优势，能够对海量数据高效地进行实时统计和分析，同时，对数据进行隐藏处理以及在数据传输过程中添加访问密钥，以避免数据在传输过程中被篡改，同时，确保数据的安全性。
由以上实施例可知，本申请可应用在智慧建筑、智慧政务、智慧医疗、智慧安防、智慧交通、智慧物流、智慧家居、智慧社区、智慧财政、智慧法律、智慧生活等需要进行大数据处理的领域，从而推动智慧城市的发展。
以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
请参见图2，图2是本发明公开的一种数据处理装置的较佳实施例的功能模块图。
在一些实施例中，所述数据处理装置运行于服务器中。所述数据处理装置可以包括多个由程序代码段所组成的功能模块。所述数据处理装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的数据处理方法中的部分或全部步骤。
本实施例中，所述数据处理装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、写入模块202、统计模块203、查询模块204、隐藏模块205、生成模块206、组合模块207、传输模块208、校验模块209及控制模块210。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
获取模块201，用于获取业务数据。
写入模块202，用于将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库。
其中，关系型数据库可以用来实时查询明细数据，分布式数据库可以用来对海量的数据进行实时统计分析，比如Apache Druid分布式数据库。
其中，关系型数据库可以直接使用java数据库连接(jdbc)等方式写入数据，分布式数据库需要根据数据类型来写入。
具体的，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为离线数据，将所述业务数据写入分布式文件系统HDFS；
向所述分布式数据库发送数据写入请求；
从所述HDFS中下载所述业务数据至所述分布式数据库中。
在该可选的实施方式中，数据类型为静态的离线数据，可以先将业务数据写入hadoop分布式文件系统HDFS，然后向分布式数据库的index service(索引服务)的统治节点发起一个数据写入请求，即可从hadoop HDFS中将业务数据下载到所述分布式数据库中数据节点中。
具体的，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为实时流数据，将所述业务数据写入分布式发布订阅消息系统；
向所述分布式数据库发送数据写入请求；
从所述分布式发布订阅消息系统中消费所述业务数据并将所述业务数据写入在所述分布式数据库中。
在该可选的实施方式中，数据类型为静态的实时流数据，可以先将业务数据写入写入分布式发布订阅消息系统Kafka，然后向分布式数据库的index service(索引服务)的统治节点发起一个数据写入请求，即可从Kafka消费所述业务数据并将所述业务数据写入在所述分布式数据库中。
统计模块203，用于使用所述分布式数据库对所述业务数据进行统计，获得统计数据。
查询模块204，用于使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据。
其中，分布式数据库提供了Restful风格的api，使用和编程语言无关的http协议就可以查询出数据，请求和响应数据都是JSON格式的。其中，Restful基于REST构建的API就是Restful风格，Restful是目前最流行的API设计规范，用于Web数据接口的设计。
其中，可以使用jdbc等方式从关系型数据库查询出一页的明细数据。
具体的，还可以根据统计数据，计算明细数据可以分多少页展示，并计算页数，之后，在确定每页需要展示的明细数据。
隐藏模块205，用于对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据。
其中，敏感信息可以包括但不限于姓名，身份证号码，车牌号码以及统计数据中的结果数据、分析数据等。对敏感信息进行隐藏，可以避免非法用户肆意利用该敏感信息执行违法操作，同时，避免数据泄露。
生成模块206，用于生成包括所述敏感信息的第一访问密钥。
具体的，所述生成包括所述敏感信息的第一访问密钥包括：
获取前端设备的登录用户的用户标识，以及获取所述敏感信息的信息类型标识；
根据所述用户标识和所述信息类型标识，生成第一签名；
对所述第一签名进行加密，生成包含所述敏感信息的第一访问密钥。
在该可选的实施方式中，用户标识比如登录用户的姓名、用户的登录账户等。第一访问密钥用于限制可以访问该敏感信息的权限，保证了数据的安全性。
组合模块207，用于将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据。
具体的，所述将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据包括：
获取所述业务数据的业务类型；
根据所述业务类型，从预先设置的多个预设模板中确定与所述业务类型匹配的业务模板；
按照所述业务模板，对所述隐藏数据以及所述明细数据进行组合；
将组合后的数据以及所述第一访问密钥确定为查询数据。
在该可选的实施方式中，可以根据业务类型的业务模板来对隐藏数据和明细数据进行组合，可以使得组合后呈现的数据展示方式更加符合业务的需求，后续在前端设备展示时，能提高数据的展示效果，同时，提高用户的查询体验。
传输模块208，用于将所述查询数据发送至前端设备。
校验模块209，用于当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性。
具体的，所述根据所述第一访问秘钥，校验所述第二访问秘钥的有效性包括：
对所述第二访问密钥进行解密，获得第二签名；
判断所述第二签名与所述第一访问秘钥中的第一签名是否一致；
若所述第二签名与所述第一访问秘钥中的第一签名一致，确定所述第二访问秘钥有效。
在该可选的实施方式中，第一访问密钥发送至前端设备之后，用户就会输入接收到的第一访问密钥，并返回给服务器。如果所述第二签名与所述第一访问秘钥中的第一签名一致，表明服务器发送给前端设备的密钥与用户输入的密钥是相同的，也即第一访问密钥在传输过程中没有被篡改，数据安全得到了保障。
控制模块210，用于当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。
可选的，所述传输模块208，还用于将所述敏感信息上传至区块链上。
其中，为了数据的安全性和私密性，可以将所述敏感信息上传至区块链上，以进行保存。
在图2所描述的数据处理装置中，利用关系型数据库以及分布式数据库进行数据查询，充分结合了关系型数据库查询数据明细的优势以及分布式数据库高效统计数据的优势，能够对海量数据高效地进行实时统计和分析，同时，对数据进行隐藏处理以及在数据传输过程中添加访问密钥，以避免数据在传输过程中被篡改，同时，确保数据的安全性。
如图3所示，图3是本发明实现数据处理方法的较佳实施例的服务器的结构示意图。所述服务器3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解，图3所示的示意图仅仅是所述服务器3的示例，并不构成对所述服务器3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器3还可以包括输入输出设备、网络接入设备等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述服务器3的控制中心，利用各种接口和线路连接整个服务器3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述服务器3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器3的使用所创建的数据(比如音频数据)等。此外，存储器31可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
结合图1，所述服务器3中的所述存储器31存储多个指令以实现一种数据处理方法，所述处理器32可执行所述多个指令从而实现：
获取业务数据；
将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；
使用所述分布式数据库对所述业务数据进行统计，获得统计数据，以及使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；
对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；
生成包括所述敏感信息的第一访问密钥；
将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据，并将所述查询数据发送至前端设备；
当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；
当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图3所描述的服务器3中，利用关系型数据库以及分布式数据库进行数据查询，充分结合了关系型数据库查询数据明细的优势以及分布式数据库高效统计数据的优势，能够对海量数据高效地进行实时统计和分析，同时，对数据进行隐藏处理以及在数据传输过程中添加访问密钥，以避免数据在传输过程中被篡改，同时，确保数据的安全性。
所述服务器3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器以及只读存储器(ROM，Read-Only Memory)。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。系统权利要求中陈述的多个单元或装置也可以通过软件或者硬件来实现。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：
获取业务数据；
将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；
使用所述分布式数据库对所述业务数据进行统计，获得统计数据，以及使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；
对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；
生成包括所述敏感信息的第一访问密钥；
将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据，并将所述查询数据发送至前端设备；
当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；
当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为离线数据，将所述业务数据写入分布式文件系统HDFS；
向所述分布式数据库发送数据写入请求；
从所述HDFS中下载所述业务数据至所述分布式数据库中。
3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为实时流数据，将所述业务数据写入分布式发布订阅消息系统；
向所述分布式数据库发送数据写入请求；
从所述分布式发布订阅消息系统中消费所述业务数据并将所述业务数据写入在所述分布式数据库中。
4.根据权利要求1所述的数据处理方法，其特征在于，所述生成包括所述敏感信息的第一访问密钥包括：
获取前端设备的登录用户的用户标识，以及获取所述敏感信息的信息类型标识；
根据所述用户标识和所述信息类型标识，生成第一签名；
对所述第一签名进行加密，生成包含所述敏感信息的第一访问密钥。
5.根据权利要求1所述的数据处理方法，其特征在于，所述将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据包括：
获取所述业务数据的业务类型；
根据所述业务类型，从预先设置的多个预设模板中确定与所述业务类型匹配的业务模板；
按照所述业务模板，对所述隐藏数据以及所述明细数据进行组合；
将组合后的数据以及所述第一访问密钥确定为查询数据。
6.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述第一访问秘钥，校验所述第二访问秘钥的有效性包括：
对所述第二访问密钥进行解密，获得第二签名；
判断所述第二签名与所述第一访问秘钥中的第一签名是否一致；
若所述第二签名与所述第一访问秘钥中的第一签名一致，确定所述第二访问秘钥有效。
7.根据权利要求1所述的数据处理方法，其特征在于，所述的数据处理方法还包括：
将所述敏感信息上传至区块链上。
8.一种数据处理装置，其特征在于，所述数据处理装置包括：
获取模块，用于获取业务数据；
写入模块，用于将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；
统计模块，用于使用所述分布式数据库对所述业务数据进行统计，获得统计数据；
查询模块，用于使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；
隐藏模块，用于对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；
生成模块，用于生成包括所述敏感信息的第一访问密钥；
组合模块，用于将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据；
传输模块，用于将所述查询数据发送至前端设备；
校验模块，用于当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；
控制模块，用于当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。
9.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7任意一项所述的数据处理方法。
CN202010899024.0A 2020-08-31 2020-08-31 数据处理方法、装置、服务器及存储介质 Pending CN111931214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899024.0A CN111931214A (zh) 2020-08-31 2020-08-31 数据处理方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899024.0A CN111931214A (zh) 2020-08-31 2020-08-31 数据处理方法、装置、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN111931214A true CN111931214A (zh) 2020-11-13

Family

ID=73309003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899024.0A Pending CN111931214A (zh) 2020-08-31 2020-08-31 数据处理方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111931214A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883121A (zh) * 2021-02-01 2021-06-01 南京苏宁软件技术有限公司 数据处理方法、装置、计算机设备和存储介质
CN113656376A (zh) * 2021-08-19 2021-11-16 平安科技（深圳）有限公司 一种数据处理方法、装置及计算机设备
CN114118866A (zh) * 2021-12-07 2022-03-01 中国建设银行股份有限公司 数据处理方法、装置、设备及计算机存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201206800D0 (en) * 2012-04-18 2012-05-30 Ibm Data masking
CN102855277A (zh) * 2012-07-23 2013-01-02 中国联合网络通信集团有限公司 数据中心系统及数据处理方法
CN106657059A (zh) * 2016-12-21 2017-05-10 哈尔滨工业大学深圳研究生院 一种具有访问控制功能的数据库查询方法和系统
CN106934299A (zh) * 2015-12-29 2017-07-07 北京明朝万达科技股份有限公司 一种数据库加密系统和方法
CN107766741A (zh) * 2017-10-23 2018-03-06 中恒华瑞（北京）信息技术有限公司 数据脱敏系统和方法
CN108769024A (zh) * 2018-05-30 2018-11-06 中国电子信息产业集团有限公司第六研究所 一种数据获取方法及多数据运营商协商服务系统
CN109886037A (zh) * 2019-01-21 2019-06-14 江汉大学 一种基于区块链的电子证据审计方法
CN110413643A (zh) * 2019-06-17 2019-11-05 中国平安财产保险股份有限公司 数据查询方法和装置
CN111163096A (zh) * 2019-12-31 2020-05-15 江苏满运软件科技有限公司 提供数据接口服务的方法、装置、电子设备、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201206800D0 (en) * 2012-04-18 2012-05-30 Ibm Data masking
CN102855277A (zh) * 2012-07-23 2013-01-02 中国联合网络通信集团有限公司 数据中心系统及数据处理方法
CN106934299A (zh) * 2015-12-29 2017-07-07 北京明朝万达科技股份有限公司 一种数据库加密系统和方法
CN106657059A (zh) * 2016-12-21 2017-05-10 哈尔滨工业大学深圳研究生院 一种具有访问控制功能的数据库查询方法和系统
CN107766741A (zh) * 2017-10-23 2018-03-06 中恒华瑞（北京）信息技术有限公司 数据脱敏系统和方法
CN108769024A (zh) * 2018-05-30 2018-11-06 中国电子信息产业集团有限公司第六研究所 一种数据获取方法及多数据运营商协商服务系统
CN109886037A (zh) * 2019-01-21 2019-06-14 江汉大学 一种基于区块链的电子证据审计方法
CN110413643A (zh) * 2019-06-17 2019-11-05 中国平安财产保险股份有限公司 数据查询方法和装置
CN111163096A (zh) * 2019-12-31 2020-05-15 江苏满运软件科技有限公司 提供数据接口服务的方法、装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王志鹏 等: "工业生产信息安全管理系统设计与实现", 《电子设计工程》, vol. 28, no. 04, 20 February 2020 (2020-02-20), pages 37 - 41 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883121A (zh) * 2021-02-01 2021-06-01 南京苏宁软件技术有限公司 数据处理方法、装置、计算机设备和存储介质
CN113656376A (zh) * 2021-08-19 2021-11-16 平安科技（深圳）有限公司 一种数据处理方法、装置及计算机设备
CN113656376B (zh) * 2021-08-19 2023-12-01 平安科技(上海)有限公司 一种数据处理方法、装置及计算机设备
CN114118866A (zh) * 2021-12-07 2022-03-01 中国建设银行股份有限公司 数据处理方法、装置、设备及计算机存储介质

Similar Documents

Publication Publication Date Title
US10977687B2 (en) Data collection and pattern analysis in a decentralized network
US10841628B1 (en) System and techniques for digital data lineage verification
US9544400B2 (en) Manipulating binary large objects
CN111931214A (zh) 数据处理方法、装置、服务器及存储介质
CN1829227B (zh) 在单个用户范例中集成多个身份、身份机制和身份提供者的方法和系统
CN111797430B (zh) 数据校验方法、装置、服务器及存储介质
CN109690549B (zh) 跨不同方来跟踪对象
JP2020514904A (ja) ブロックチェーン・データからの分析結果の自動生成のための方法、装置および非一過性コンピュータ可読ストレージ媒体
US9686305B2 (en) Cyber-semantic account management system
CN102047281A (zh) Captcha广告
CN112163412B (zh) 数据校验方法、装置、电子设备及存储介质
EP2583224A2 (en) Techniques to verify location for location based services
CN108292350B (zh) 支持联合搜索的对受保护字段的自动操作检测
CN112527414B (zh) 一种基于前端的数据处理方法、装置、设备及存储介质
CN111797351A (zh) 页面数据管理方法、装置、电子设备及介质
WO2018227848A1 (zh) 财务数据处理方法、装置、计算机设备和存储介质
CN110622184A (zh) 合规性文档的创建、修改和供应
CN111291843B (zh) 信息采集方法及系统
CN112001159A (zh) 文书生成方法、装置、电子设备及存储介质
CN110175316B (zh) 一种基于区块链的媒体号交互方法、系统及存储介质
CN116583833A (zh) 自审计区块链
KR102401485B1 (ko) 동형 암호화된 데이터 처리 방법 및 시스템
CN113489714B (zh) 一种基于多模块的消息智能交叉处理方法及系统
WO2022073517A1 (zh) 产品推荐方法、装置、电子设备及存储介质
CN112950154B (zh) 流程信息匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination