CN117575721A - 一种大数据交易方法 - Google Patents

一种大数据交易方法 Download PDF

Info

Publication number
CN117575721A
CN117575721A CN202311380151.XA CN202311380151A CN117575721A CN 117575721 A CN117575721 A CN 117575721A CN 202311380151 A CN202311380151 A CN 202311380151A CN 117575721 A CN117575721 A CN 117575721A
Authority
CN
China
Prior art keywords
big data
transaction
data
client
contract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311380151.XA
Other languages
English (en)
Inventor
卞羽
李喆
徐晓清
卢梅珍
王栋弘
林伟
黄登煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Big Data Trading Co ltd
Original Assignee
Fujian Big Data Trading Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Big Data Trading Co ltd filed Critical Fujian Big Data Trading Co ltd
Priority to CN202311380151.XA priority Critical patent/CN117575721A/zh
Publication of CN117575721A publication Critical patent/CN117575721A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0605Supply or demand aggregation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/12Payment architectures specially adapted for electronic shopping systems
    • G06Q20/123Shopping for digital content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/14Payment architectures specially adapted for billing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/14Payment architectures specially adapted for billing systems
    • G06Q20/145Payments according to the detected use or quantity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/389Keeping log of transactions for guaranteeing non-repudiation of a transaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278Product appraisal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283Price estimation or determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283Price estimation or determination
    • G06Q30/0284Time or distance, e.g. usage of parking meters or taximeters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/04Billing or invoicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0609Buyer or seller confidence or verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/045Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply hybrid encryption, i.e. combination of symmetric and asymmetric encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/06Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/062Network architectures or network communication protocols for network security for supporting key management in a packet data network for key distribution, e.g. centrally by trusted party
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102Entity profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/123Applying verification of the received information received data contents, e.g. message integrity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/505Clust
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/062Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying encryption of the keys
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/102Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying security measure for e-commerce

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了大数据交易技术领域的一种大数据交易方法,包括:步骤S10、各客户端访问交易服务器进行实名认证操作;步骤S20、卖方客户端对大数据确权认证后,将大数据对应的样本数据上传至交易服务器;步骤S30、交易服务器对样本数据进行估价,将估价信息发送给卖方客户端;步骤S40、卖方客户端基于估价信息设定大数据的交易信息,对交易信息进行上架;步骤S50、基于样本数据进行需求撮合;步骤S60、买方客户端基于交易信息向卖方客户端发送大数据购买请求;步骤S70、卖方客户端基于大数据购买请求,拟定大数据交易合同并进行签署和备份后,选取大数据交付。本发明的优点在于:极大的提升了大数据交易的安全性、可靠性、便捷性、灵活性以及交易效率。

Description

一种大数据交易方法
技术领域
本发明涉及大数据交易技术领域,特别指一种大数据交易方法。
背景技术
随着大数据、云计算和人工智能等新一代信息技术的快速发展,数据已成为数字时代的基础性战略资源和革命性关键要素,因此产生了大数据交易的需求。然而传统上进行大数据交易时,存在如下问题:
1、为了保障大数据交易的安全性,在大数据交易过程中需要拟定并签署交易合同,交易合同签署完之后需要对其进行管理,然而传统的电子合同也仅仅是将纸质合同扫描成电子档而以,然后简单的将电子合同的文件存储在一个文件夹内,只能本地一一点击查看,管理起来也不分不便,且存在合同造假、合同篡改、信息泄露等问题,电子合同也存在数据丢失的风险,已无法满足大数据交易合同管理的需求。
2、大数据交付时,由于买卖双方存在交易信任难以构建的问题,传统上需要买卖双方进行线下的POC测试(验证性测试),以实现需求匹配和信任建立,而这无疑导致交易周期长、人力和时间成本较高的问题;且卖方是直接将大数据打包发送给买方,在打包发送过程中可能存在数据泄露问题,买方在使用完大数据之后,也可能降低对大数据的保护措施,甚至直接公开大数据,而这些数据对卖方来说还存在利用价值,这无疑将给卖方带来相应的损失。
3、大数据交易过程中难免产生异议,而解决异议的有效途径是申请仲裁。为了申请仲裁,需要异议方提供相应的证据,而异议方在交易前可能未意识到会存在异议,或者自我保护意思淡薄,未进行相应的证据保全,且传统的大数据交易平台仅记录些基本的交易日志,可能无法形成闭环的证据链,甚至交易日志存在被篡改的风险,给大数据交易的异议处理带来不便。
4、大数据交易的安全管控所采取的安全措施较为单一,很容易就被攻破,且黑客、计算机病毒、信息间谍等对网络安全构成越来越严重的威胁。
5、由于数据作为表征现实世界人和客观事物的性质、状态等特征的抽象符号,承载着隐私信息,而企业数据负载着商业信息,属于商业秘密。数据的流通和交易会涉及个人隐私或商业秘密的安全问题。数据在计算机和互联网环境中以二进制的形式存在,这种数字化形态对数据流通过程的数据隐私保护形成了主要阻碍。数据提供方一旦将原始数据交予数据需求方,将无法有效管控后者对数据的使用、传播或买卖等行为,相当于丧失数据所有权和控制权,使得数据的价格、可出售次数大打折扣;另一方面,数据需求方很难找到匹配自身需求的数据,且对数据的质量和使用方式难以了解,大数据交易双方的需求匹配和信任建立多在线下,不仅周期长、成本高,在大数据交易和价值发挥过程中存在利益分配上的冲突和矛盾,使得协作关系变得脆弱。
6、针对大数据交易产生的交易数据的备份,传统上采取在本机额外开辟一个存储空间,周期性的将交易数据全量备份至存储空间内,并删除旧的备份数据的方法,存在如下问题:当本机的硬件产生故障时备份将形同虚设,且每次都采取全量备份的方法,当需要备份的交易数据增多时,将延长备份的时间,增加了在备份过程中出现故障而导致数据丢失的风险。
因此,如何提供一种大数据交易方法,实现提升大数据交易的安全性、可靠性、便捷性、灵活性以及交易效率,成为一个亟待解决的技术问题。
发明内容
本发明要解决的技术问题,在于提供一种大数据交易方法,实现提升大数据交易的安全性、可靠性、便捷性、灵活性以及交易效率。
本发明是这样实现的:一种大数据交易方法,包括如下步骤:
步骤S10、各买方客户端和卖方客户端通过防火墙访问交易服务器,通过交易服务器的大数据交易界面进行实名认证操作;
步骤S20、卖方客户端对待交易的大数据进行确权认证后,将所述大数据对应的样本数据通过防火墙上传至交易服务器;
步骤S30、交易服务器基于预设的估价模型对所述样本数据进行估价,将估价信息发送给卖方客户端;
步骤S40、卖方客户端基于所述估价信息,设定所述大数据的交易信息,通过所述大数据交易界面对交易信息进行上架操作;
步骤S50、买方客户端和卖方客户端基于所述样本数据进行需求撮合;
步骤S60、买方客户端基于所述交易信息向对应的卖方客户端发送大数据购买请求;
步骤S70、卖方客户端基于接收的所述大数据购买请求,拟定大数据交易合同并进行签署和备份;
步骤S80、卖方客户端基于所述大数据购买请求选取对应的大数据,通过区块链对选择的所述大数据进行公证,在所述大数据中加入校验字段并加密后,通过防火墙发送给交易服务器;
步骤S90、交易服务器通过联邦机器学习技术以及负载均衡技术,将选择的所述大数据交付给买方客户端;
步骤S100、交易服务器实时记录交易日志,并对所述交易日志执行容灾备份;
步骤S110、买方客户端对购买的所述大数据产生异议时,基于异议仲裁接口向交易服务器发送异议信息;
步骤S120、交易服务器基于接收的所述异议信息匹配对应的交易日志,基于所述交易日志执行异议处置。
进一步的,所述步骤S10具体为:
各买方客户端和卖方客户端通过防火墙访问实名验证接口,进而通过所述实名验证接口访问交易服务器,通过交易服务器的大数据交易界面输入携带手机号、身份证号以及照片的实名认证请求,交易服务器对所述手机号、身份证号以及照片进行一致性校验,以进行实名认证操作;
所述大数据交易界面在各操作子界面下均通过Agent技术添加有一背景水印;所述背景水印至少包括当前操作子界面的界面名称、当前时间以及登录账号。
进一步的,所述步骤S20具体为:
卖方客户端通过数据确权和授权管理系统对待交易的大数据进行确权和授权操作后,通过数据登记管理系统对所述大数据进行数据登记,再通过数据合规认证系统对所述大数据进行数据合规认证后,将所述大数据对应的样本数据通过防火墙上传至交易服务器;
所述样本数据携带至少包括数据编号、数据目录信息、数据类型以及数据数量的样本信息。
进一步的,所述步骤S30中,所述估价信息至少包括数据编号、数据质量以及数据价值。
进一步的,所述步骤S40中,所述交易信息至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息。
进一步的,所述步骤S50具体包括:
步骤S51、买方客户端基于所述交易信息向交易服务器发送试验订单购买请求,以匹配对应的所述样本数据,交易服务器对所述样本数据执行数据脱敏操作;
步骤S52、买方客户端通过交易服务器对所述样本数据进行在线的融合试验,交易服务器在融合试验结束后自动销毁所述样本数据,以完成买方客户端和卖方客户端的需求撮合。
进一步的,所述步骤S60具体为:
买方客户端基于所述交易信息,通过所述大数据交易界面向对应的卖方客户端发送经过国密算法加密的大数据购买请求。
进一步的,所述步骤S70具体包括:
步骤S71、交易管理服务器预设若干个大数据交易的合同模板,卖方客户端基于接收的所述大数据购买请求,通过合同发起接口访问交易服务器获取对应的所述合同模板,基于所述合同模板拟定大数据交易合同;
步骤S72、卖方客户端对所述大数据交易合同进行第一电子签章之后,通过合同签署接口将所述大数据交易合同发送给买方客户端进行签署;
步骤S73、买方客户端对所述大数据交易合同依次进行签署和第二电子签章之后,将所述大数据交易合同反馈给交易服务器;
步骤S74、交易服务器对所述大数据交易合同进行加密存储后,通过存证保全接口备份至区块链;
步骤S75、买方客户端或者卖方客户端通过合同查看接口访问交易服务器,对所述大数据交易合同进行查询的管理。
进一步的,所述步骤S80具体包括:
步骤S81、卖方客户端通过国密算法解密接收的所述大数据购买请求,解析所述大数据购买请求以选取对应数量的大数据;
步骤S82、卖方客户端对选取的所述大数据进行哈希计算得到第一哈希值,将所述第一哈希值上传至区块链;
步骤S83、卖方客户端在取的所述大数据中加入预设的校验字段后,随机生成一对公钥和私钥,利用所述私钥对大数据进行加密,利用DES加密算法对所述公钥进行加密,将加密后的所述大数据以及公钥通过防火墙发送给交易服务器。
进一步的,所述步骤S90具体包括:
步骤S91、交易服务器通过防火墙接收加密后的所述大数据以及公钥,利用DES加密算法对所述公钥进行解密后,利用所述公钥对大数据进行解密;
步骤S92、交易服务器从区块链获取所述第一哈希值对大数据进行第一校验,解析所述大数据获取校验字段对大数据进行第二校验,并对所述大数据执行数据脱敏操作;
步骤S93、买方客户端通过所述大数据交易界面创建一至少携带任务名称、任务描述以及任务类型的联邦学习任务,设定所述联邦学习任务的执行流程的DAG结构;
步骤S94、交易服务器基于所述联邦学习任务读取对应的大数据,对来自不同卖方客户端的各所述大数据,通过隐私求交算子进行样本对齐;
步骤S95、通过数据预处理算子对样本对齐后的各所述大数据,依次进行极值处理、缺失值填充以及数据转换的数据预处理;
步骤S96、通过数据拆分算子将数据预处理后的各所述大数据拆分为训练集和测试集;
步骤S97、交易服务器通过负载均衡技术,利用所述训练集对买方客户端本地创建的模型进行训练,利用所述测试集对训练后的模型进行测试,以完成所述大数据的交付。
本发明的优点在于:
1、通过在大数据交易前先对交易主体(买方客户端和卖方客户端)进行实名认证以保证交易主体的可靠性,对待交易的大数据进行确权认证避免交易非法数据,在大数据交易界面上设置背景水印以对拍照或截图泄密人员予以警示,通过防火墙隔离交易服务器与买方客户端和卖方客户端,通过国密算法对交易主体发送给交易服务器的请求进行加密以免明文泄露,通过对样本数据以及大数据执行数据脱敏操作避免关键信息泄露,通过在融合试验结束后自动销毁样本数据避免样本数据泄露,通过设置第一哈希值以及校验字段用于对大数据进行完整性校验,通过将第一哈希值上传区块链避免第一哈希值被篡改,通过创建的私钥对传输的大数据进行加密避免传输过程中被明文窃取,通过DES加密算法对公钥进行加密避免公钥泄露,通过记录大数据交易中全生命周期的交易日志便于后期溯源,通过周期性的对交易日志进行容灾备份避免数据丢失,通过联邦机器学习技术对大数据进行交付,即大数据本身未交付到买家客户端,交付的仅是基于大数据的计算结果以克服交易信任问题,前后采取至少14重安全措施,对大数据交易的全生命周期进行全方位的安全防护,最终极大的提升了大数据交易的安全性。
2、通过将大数据交易合同存储至交易服务器,后续通过访问交易服务器即可在线查询大数据交易合同,且大数据交易合同可基于合同编号、合同名称、合同类型、合同内容等数据进行检索查询,检索结果通过列表形式展示,可快速查询和定位大数据交易合同,极大的提升了大数据交易合同管理的便捷性,进而极大的提升了大数据交易的便捷性。
3、由于买方客户端和卖方客户端均进行实名认证操作,且买方客户端在正式购买大数据前,先通过购买小部分的样本数据进行在线的融合试验,以对大数据的有效性进行校验,并进行需求的匹配验证,而卖方的大数据通过联邦机器学习技术进行交付,即大数据本身未交付到买家客户端,交付的仅是基于大数据的计算结果,以克服传统的交易信任问题;而通过联邦机器学习技术进行大数据的交付,大数据本身未进行传输,避免大数据传输过程中泄露,也避免被买方客户端所泄露,通过生成的私钥对大数据进行加密,将对大数据进行哈希计算得到的第一哈希值上传至区块链,避免第一哈希值被篡改,后期通过区块链上的第一哈希值可校验大数据的完整性;通过设定计价方式为一口价、时间计价或者次数计价,买方客户端可按需进行选择,最终极大的提升了大数据交付的可靠性以及灵活性。
4、通过在大数据交易的全生命周期内,将至少包括确权认证信息、样本信息、估价信息、上架信息、试验信息、购买信息、合同信息、支付信息的交易日志进行容灾备份,以用于信息存证,保证产生异议时能提取到全生命周期的交易日志用于仲裁;而通过随机生成的对称密钥对交易日志进行加密存储,避免交易日志被明文窃取,通过将对交易日志进行哈希计算得到的第二哈希值同步至区块链,避免第二哈希值被篡改,后续利用区块链存储的第二哈希值可快速校验交易日志是否完整、是否被篡改,最终极大的提升了交易日志管理的全面性以及可靠性,极大的提升了大数据交易异议处理的便捷性以及可靠性,进而极大的提升了大数据交易的可靠性以及便捷性。
5、通过在正式发送大数据购买请求前,先通过试验订单购买请求获取数据样本进行融合试验,以进行需求匹配验证,使得买方对待购买的大数据的数据质量以及需求匹配度有切实的感知;通过大数据交易前先对交易主体进行实名认证以保证交易主体的可靠性,对待交易的大数据进行确权认证避免交易非法数据,在大数据交易界面上设置背景水印以对拍照或截图泄密人员进行震慑,通过防火墙隔离交易服务器与买方客户端和卖方客户端,通过国密算法对交易主体发送给交易服务器的请求进行加密以免明文泄露,通过对数据样本以及大数据执行数据脱敏操作避免关键信息泄露,通过在融合试验结束后自动销毁数据样本避免数据样本泄露,极大的保证了大数据交易的安全性,使得买卖双方能更安心的进行交易,在保障安全且需求匹配的情况下快速促成交易,最终极大的提升了大数据交易效率。
6、通过防火墙隔离服务器与买方客户端和卖方客户端,利用防火墙对一些恶意攻击进行隔离以保护数据安全,通过国密算法对交易主体发送给服务器的请求进行加密以免明文泄露,通过对数据样本以及大数据执行数据脱敏操作避免关键信息泄露,通过在融合试验结束后自动销毁数据样本避免数据样本泄露,通过创建的私钥对传输的大数据进行加密避免传输过程中被明文窃取,通过DES加密算法对公钥进行加密避免公钥泄露,通过联邦机器学习技术对大数据进行交付以克服交易信任问题;结合数据样本的融合试验来进行需求匹配验证,使得买家客户端(数据需求方)能快速找到匹配自身需求的大数据,且对大数据的质量和使用方式具有一定的了解,降低在大数据交易和价值发挥过程中产生冲突和矛盾的概率,最终极大的提升了大数据交易的隐私保护能力以及信任构建效率。
7、通过多个交易服务器同时对交易日志进行备份,即采取多机备份策略,当作为主机的交易服务器出现故障时,可利用运行正常的从机对其进行数据恢复操作,避免因备份在本机而导致硬件产生故障时备份形同虚设;而主机的交易日志备份至从机时,按需采取全量备份、增量备份或者差异备份的备份方式,即在数据量少时采取全量备份,在数据量多时采取增量备份或者差异备份,以保障备份的及时性;通过将备份的交易日志进行哈希计算得到的第二哈希值上传至区块链,避免第二哈希值被篡改,后期数据恢复时,通过第二哈希值可快速校验备份的交易日志是否被篡改,结合备份周期的定时备份,极大的提升了交易日志备份的可靠性,进而极大的提升了大数据交易的可靠性。
8、通过负载均衡技术进行大数据交易,极大的保障了大数据交易的稳定性。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种大数据交易方法的流程图。
具体实施方式
请参照图1所示,本发明一种大数据交易方法的较佳实施例,包括如下步骤:
步骤S10、各买方客户端和卖方客户端通过防火墙访问交易服务器,通过交易服务器的大数据交易界面进行实名认证操作;
步骤S20、卖方客户端对待交易的大数据进行确权认证后,将所述大数据对应的样本数据通过防火墙上传至交易服务器;
步骤S30、交易服务器基于预设的估价模型对所述样本数据进行估价,将估价信息发送给卖方客户端;
步骤S40、卖方客户端基于所述估价信息,设定所述大数据的交易信息,通过所述大数据交易界面对交易信息进行上架操作;
步骤S50、买方客户端和卖方客户端基于所述样本数据进行需求撮合;
步骤S60、买方客户端基于所述交易信息向对应的卖方客户端发送大数据购买请求;
步骤S70、卖方客户端基于接收的所述大数据购买请求,拟定大数据交易合同并进行签署和备份;
步骤S80、卖方客户端基于所述大数据购买请求选取对应的大数据,通过区块链对选择的所述大数据进行公证,在所述大数据中加入校验字段并加密后,通过防火墙发送给交易服务器;区块链具有数据难以篡改和去中心化的特点,使得区块链所记录的信息更加真实可靠,可以帮助解决人们互不信任的问题;通过防火墙隔离交易服务器与买方客户端和卖方客户端,有效隔离一些恶意攻击;
步骤S90、交易服务器通过联邦机器学习技术以及负载均衡技术,将选择的所述大数据交付给买方客户端;即用隐私计算的方式,售卖大数据的使用权,大数据可用不可见,只是大数据计算结果的转移,需要大数据的产品上架、价格配置、数据样本上传、数据样本试验、计量计费、计算过程的安全管控;
步骤S100、交易服务器实时记录交易日志,并对所述交易日志执行容灾备份;
步骤S110、买方客户端对购买的所述大数据产生异议时,基于异议仲裁接口向交易服务器发送异议信息;
所述异议信息至少携带数据编号、订单编号、买方客户端名称、卖方客户端名称、异议描述、异议类型以及异议时间;
步骤S120、交易服务器基于接收的所述异议信息匹配对应的交易日志,基于所述交易日志执行异议处置。
所述步骤S10具体为:
各买方客户端和卖方客户端通过防火墙访问实名验证接口,进而通过所述实名验证接口访问交易服务器,通过交易服务器的大数据交易界面输入携带手机号、身份证号以及照片的实名认证请求,交易服务器对所述手机号、身份证号以及照片进行一致性校验,以进行实名认证操作;
只有当所述手机号、身份证号以及照片均一致时,实名认证才通过,有效提升实名认证的可靠性;通过对买方客户端和卖方客户端进行实名认证,保障所述大数据交易主体的可靠性;
所述大数据交易界面在各操作子界面下均通过Agent技术添加有一背景水印;所述背景水印至少包括当前操作子界面的界面名称、当前时间以及登录账号。
由于大数据交易存在大量的敏感信息和重要资产数据,而一旦被拍照或者截图泄露出去会很可能对大数据交易造成恶劣影响或产生重大的利益损失,通过设置所述背景水印进行溯源,对想通过上述渠道泄露的人员起到威慑作用,对大数据的泄露起到防护作用。
所述步骤S20具体为:
卖方客户端通过数据确权和授权管理系统对待交易的大数据进行确权和授权操作后,通过数据登记管理系统对所述大数据进行数据登记,再通过数据合规认证系统对所述大数据进行数据合规认证后,将所述大数据对应的样本数据通过防火墙上传至交易服务器;通过对待交易的所述大数据进行确权认证,避免交易非法数据。
所述样本数据携带至少包括数据编号、数据目录信息、数据类型以及数据数量的样本信息。
所述步骤S30中,所述估价信息至少包括数据编号、数据质量以及数据价值。
所述步骤S40中,所述交易信息至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息。
所述步骤S50具体包括:
步骤S51、买方客户端基于所述交易信息向交易服务器发送试验订单购买请求,以匹配对应的预设条数或者预设比例的所述样本数据,交易服务器对所述样本数据执行数据脱敏操作;所述试验订单购买请求用于获取数据样本进行融合试验以进行需求匹配验证;
所述数据脱敏操作具体为:预设一替代字符以及一替代位置选择函数,在需要明文显示所述数据样本时,基于所述替代位置选择函数从数据样本中选取对应的明文字符,利用所述替代字符代替明文字符进行显示;
步骤S52、买方客户端通过交易服务器对所述样本数据进行在线的融合试验,即用于判断待购买的大数据是否符合需求,交易服务器在融合试验结束后自动销毁所述样本数据,以完成买方客户端和卖方客户端的需求撮合。
所述步骤S52具体为:
买方客户端通过交易服务器的数据沙箱访问所述数据样本,基于本地数据对所述数据样本进行在线的融合试验,以进行需求匹配验证,并在融合试验结束后立即自动销毁所述数据样本,完成买方客户端和卖方客户端的需求撮合;数据沙箱即进行明文的数据计算,计算后沙箱销毁,只带走计算结果;通过在融合试验结束后自动销毁所述数据样本避免数据样本的泄露。
所述步骤S60具体为:
买方客户端基于所述交易信息,通过所述大数据交易界面向对应的卖方客户端发送经过国密算法加密的大数据购买请求;通过国密算法对交易主体发送给交易服务器的请求进行加密以免明文泄露。
所述步骤S70具体包括:
步骤S71、交易管理服务器预设若干个大数据交易的合同模板,卖方客户端基于接收的所述大数据购买请求,通过合同发起接口访问交易服务器获取对应的所述合同模板,基于所述合同模板拟定大数据交易合同;
步骤S72、卖方客户端对所述大数据交易合同进行第一电子签章之后,通过合同签署接口将所述大数据交易合同发送给买方客户端进行签署;
步骤S73、买方客户端对所述大数据交易合同依次进行签署和第二电子签章之后,将所述大数据交易合同反馈给交易服务器;
步骤S74、交易服务器对所述大数据交易合同进行加密存储后,通过存证保全接口备份至区块链;
步骤S75、买方客户端或者卖方客户端通过合同查看接口访问交易服务器,对所述大数据交易合同进行查询的管理。
所述步骤S71具体包括:
步骤S711、交易服务器创建若干个大数据交易的合同模板,设定各所述合同模板的模板名称、模板分类以及模板样式,以列表形式展示各所述合同模板,便于按需选取对应的所述合同模板;
步骤S22、卖方客户端基于接收的所述大数据购买请求,通过合同发起接口访问交易服务器,基于所述模板名称、模板分类或者模板样式获取对应的合同模板;
步骤S23、卖方客户端基于所述合同模板拟定携带合同编号、合同名称、合同类型以及合同状态的大数据交易合同;所述合同状态的取值为待签署或者已签署。拟定所述大数据交易合同时,所述合同状态为待签署,当买方客户端以及卖方客户端均签署之后,将所述合同状态更新为已签署。
所述步骤S72具体包括:
步骤S721、卖方客户端生成至少携带大数据交易合同、签章人以及签章坐标的第一签章请求,利用第一加密算法对所述第一签章请求进行加密后发送给交易服务器;
步骤S722、交易服务器利用第一加密算法解密接收的所述第一签章请求,利用第二加密算法对所述第一签章请求进行加密后发送给认证服务器;
步骤S723、认证服务器利用第二加密算法解密接收的所述第一签章请求,解析所述第一签章请求获取大数据交易合同、签章人以及签章坐标;
步骤S724、认证服务器对所述签章人进行身份核验鉴权后,基于所述签章人匹配对应的第一签章信息,基于所述签章坐标将第一签章信息添加到大数据交易合同上,以完成所述大数据交易合同的第一电子签章,并将第一电子签章后的所述大数据交易合同发送给交易服务器;
步骤S725、交易服务器通过合同签署接口将所述大数据交易合同发送给买方客户端进行签署。
所述步骤S73具体包括:
步骤S731、买方客户端对所述大数据交易合同进行签署后,生成至少携带大数据交易合同、签章人以及签章坐标的第二签章请求,利用第三加密算法对所述第二签章请求进行加密后发送给交易服务器;
步骤S732、交易服务器利用第三加密算法解密接收的所述第二签章请求,利用第四加密算法对所述第二签章请求进行加密后发送给认证服务器;
步骤S733、认证服务器利用第四加密算法解密接收的所述第二签章请求,解析所述第二签章请求获取大数据交易合同、签章人以及签章坐标;
步骤S734、认证服务器对所述签章人进行身份核验鉴权后,基于所述签章人匹配对应的第二签章信息,基于所述签章坐标将第二签章信息添加到大数据交易合同上,以完成所述大数据交易合同的第二电子签章,并将第二电子签章后的所述大数据交易合同发送给交易服务器。
通过所述第一加密算法、第二加密算法、第三加密算法以及第四加密算法对相应数据进行加解密,极大的保障了数据传输的安全性。
所述步骤S74具体为:
交易服务器读取所述大数据交易合同的明文数据,对所述明文数据进行哈希计算得到第三哈希值,对区块链是否存储有所述第三哈希值进行校验,若是,则结束流程;若否,则随机生成一对称密钥,利用所述对称密钥对大数据交易合同进行加密,并存储至IPFS系统,将所述第三哈希值以及IPFS系统返回的索引地址绑定后上传至区块链。
所述步骤S80具体包括:
步骤S81、卖方客户端通过国密算法解密接收的所述大数据购买请求,解析所述大数据购买请求以选取对应数量的大数据;
步骤S82、卖方客户端对选取的所述大数据进行哈希计算得到第一哈希值,将所述第一哈希值上传至区块链;
由于哈希计算不可逆,后续对所述大数据再次进行哈希计算,通过比对计算得到的第一哈希值与区块链存储的第一哈希值是否一致,即可快速判断所述大数据是否被篡改;通过区块链对所述第一哈希值进行公证,避免所述第一哈希值被篡改,通过可信的第一哈希值对所述大数据进行哈希校验,进一步保障安全性;
步骤S83、卖方客户端在取的所述大数据中加入预设的校验字段后,随机生成一对公钥和私钥,利用所述私钥对大数据进行加密,利用DES加密算法对所述公钥进行加密,将加密后的所述大数据以及公钥通过防火墙发送给交易服务器。通过设置所述第一哈希值以及校验字段,可对所述大数据进行双重的完整性校验;通过创建的所述私钥对传输的大数据进行加密避免传输过程中被明文窃取;通过DES加密算法对所述公钥进行加密避免公钥泄露。
所述步骤S90具体包括:
步骤S91、交易服务器通过防火墙接收加密后的所述大数据以及公钥,利用DES加密算法对所述公钥进行解密后,利用所述公钥对大数据进行解密;
步骤S92、交易服务器从区块链获取所述第一哈希值对大数据进行第一校验,解析所述大数据获取校验字段对大数据进行第二校验,并对所述大数据执行数据脱敏操作;通过对所述数据样本以及大数据执行数据脱敏操作避免关键信息泄露;
步骤S93、买方客户端通过所述大数据交易界面创建一至少携带任务名称、任务描述以及任务类型的联邦学习任务,设定所述联邦学习任务的执行流程的DAG结构;通过所述联邦机器学习技术对大数据进行交付,即所述大数据本身未交付到买家客户端,交付的仅是基于所述大数据的计算结果以克服交易信任问题;
步骤S94、交易服务器基于所述联邦学习任务读取对应的大数据,对来自不同卖方客户端的各所述大数据,通过隐私求交算子进行样本对齐;
步骤S95、通过数据预处理算子对样本对齐后的各所述大数据,依次进行极值处理、缺失值填充以及数据转换的数据预处理;
步骤S96、通过数据拆分算子将数据预处理后的各所述大数据拆分为训练集和测试集;
步骤S97、交易服务器通过负载均衡技术,利用所述训练集对买方客户端本地创建的模型进行训练,利用所述测试集对训练后的模型进行测试,以完成所述大数据的交付。
所述步骤S100具体为:
交易服务器在大数据交易的全生命周期实时记录交易日志,并基于预设的备份周期对所述交易日志自动执行容灾备份;通过记录大数据交易中全生命周期的所述交易日志便于后期溯源,通过周期性的对所述交易日志进行容灾备份避免数据丢失。
所述容灾备份具体包括如下步骤:
步骤S101、通过负载均衡技术从交易服务器集群中选取一负载最小的交易服务器作为主机,其余交易服务器作为从机,各交易服务器均运行一用于存储交易日志的mysq l数据库;
步骤S102、所述主机在大数据交易过程中,将产生的交易日志实时存储至本机的所述mysq l数据库;
步骤S103、所述主机将mysq l数据库内存储的交易日志,基于预设的备份周期,定时通过级联复制的方式,以全量备份、增量备份或者差异备份的备份方式备份至从机的mysq l数据库中;具体实施时,也可以对所述交易日志执行手动备份;具体实施时,可设定一数据量阈值,当所述交易日志的大小未超过数据量阈值时,采取全量备份的备份方式,否则采取增量备份或者差异备份的备份方式,以此来结合全量备份、增量备份以及差异备份的优点,在保障备份可靠性的同时,提升备份的及时性;
各所述从机对备份的交易日志进行哈希计算得到第二哈希值,将所述第二哈希值绑定备份时间上传至区块链,进而通过区块链对备份的所述交易日志进行公证;
步骤S104、各所述从机实时监控主机的运行状态,当所述主机的运行状态为故障时,将所述主机设为从机,通过负载均衡技术从运行状态为正常的各所述从机中选取一个交易服务器作为新的主机,通过新的所述主机进行大数据交易;
步骤S105、当故障的交易服务器故障恢复时,通过备份的所述交易日志执行数据恢复操作。
所述步骤S105具体为:
当故障的交易服务器故障恢复时,基于故障时点以及备份时间选取备份的所述交易日志,通过区块链存储的所述第二哈希值对交易日志进行完整性校验后,将所述交易日志镜像至故障恢复的交易服务器执行数据恢复操作。
所述步骤S120具体包括:
步骤S121、交易服务器维护一待响应异议列表、一已响应异议列表、一待仲裁异议列表以及一已仲裁异议列表;
所述待响应异议列表用于展示所有还未响应的异议,并且可以查看异议详情,支持对待响应异议进行响应操作,包含有异议状态、卖方客户端名称、买方客户端名称、订单编号等内容。所述已响应异议列表用于展示所有已经响应的异议,并且可以查看异议详情,包含有异议状态、卖方客户端名称、买方客户端名称、订单编号等内容。所述待仲裁异议列表用于展示所有待仲裁的仲裁请求,仲裁请求由服务器接收,对交易日志(证据)进行收集交给仲裁服务器,包含有异议状态、卖方客户端名称、买方客户端名称、订单编号等内容。所述已仲裁异议列表用于展示所有已经仲裁的仲裁请求,可以查看异议的详情和仲裁结果,包含有异议状态、卖方客户端名称、买方客户端名称、订单编号等内容。
卖方客户端可以对异议进行响应操作,响应之后,异议状态进入已响应,这时需要买方客户端对响应结果(异议反馈)进行判断,是否关闭异议,或者发起仲裁。
基于所述待响应异议列表、已响应异议列表、待仲裁异议列表以及已仲裁异议列表,可进行仲裁结果查看、异议搜索、异议查看等操作。
即卖方客户端可以在服务器上查看仲裁结果及惩罚结果,包含结果的文本描述信息;支持卖方客户端对关于自己的所有异议进行搜索操作,根据包括异议编号、买方客户端名称等的输入条件,点击搜索”钮来查询具体异议信息;针对异议进行详情查看,跳转至异议详情页面,可以查看异议的节点信息及处理信息,包含异议状态、卖方客户端名称、买方客户端名称、订单编号、处理结果等内容。
步骤S122、交易服务器基于接收的所述异议信息携带的数据编号或者订单编号匹配对应的交易日志;
步骤S123、交易服务器基于所述异议信息以及交易日志更新待响应异议列表,将所述异议信息以及交易日志发送给卖方客户端;
步骤S124、服务器接收卖方客户端发送的异议反馈,将所述异议反馈转发给买方客户端,同时更新所述待响应异议列表以及已响应异议列表;
步骤S125、买方客户端基于所述异议反馈向交易服务器发送仲裁请求,交易服务器在接收到所述仲裁请求后,基于所述异议信息以及交易日志更新待仲裁异议列表;
步骤S126、交易服务器基于所述待仲裁异议列表向仲裁服务器发送仲裁申请,接收仲裁服务器反馈的仲裁结果,基于所述仲裁结果更新待仲裁异议列表以及已仲裁异议列表,将所述仲裁结果同步发送给买方客户端以及卖方客户端。具体实施时,所述已仲裁异议列表可包含订单编号、申请时间、申请机构ID、受理状态、状态时间、订单费用、异议类型、异议描述、异议证明、处置方式等内容。
综上所述,本发明的优点在于:
1、通过在大数据交易前先对交易主体(买方客户端和卖方客户端)进行实名认证以保证交易主体的可靠性,对待交易的大数据进行确权认证避免交易非法数据,在大数据交易界面上设置背景水印以对拍照或截图泄密人员予以警示,通过防火墙隔离交易服务器与买方客户端和卖方客户端,通过国密算法对交易主体发送给交易服务器的请求进行加密以免明文泄露,通过对样本数据以及大数据执行数据脱敏操作避免关键信息泄露,通过在融合试验结束后自动销毁样本数据避免样本数据泄露,通过设置第一哈希值以及校验字段用于对大数据进行完整性校验,通过将第一哈希值上传区块链避免第一哈希值被篡改,通过创建的私钥对传输的大数据进行加密避免传输过程中被明文窃取,通过DES加密算法对公钥进行加密避免公钥泄露,通过记录大数据交易中全生命周期的交易日志便于后期溯源,通过周期性的对交易日志进行容灾备份避免数据丢失,通过联邦机器学习技术对大数据进行交付,即大数据本身未交付到买家客户端,交付的仅是基于大数据的计算结果以克服交易信任问题,前后采取至少14重安全措施,对大数据交易的全生命周期进行全方位的安全防护,最终极大的提升了大数据交易的安全性。
2、通过将大数据交易合同存储至交易服务器,后续通过访问交易服务器即可在线查询大数据交易合同,且大数据交易合同可基于合同编号、合同名称、合同类型、合同内容等数据进行检索查询,检索结果通过列表形式展示,可快速查询和定位大数据交易合同,极大的提升了大数据交易合同管理的便捷性,进而极大的提升了大数据交易的便捷性。
3、由于买方客户端和卖方客户端均进行实名认证操作,且买方客户端在正式购买大数据前,先通过购买小部分的样本数据进行在线的融合试验,以对大数据的有效性进行校验,并进行需求的匹配验证,而卖方的大数据通过联邦机器学习技术进行交付,即大数据本身未交付到买家客户端,交付的仅是基于大数据的计算结果,以克服传统的交易信任问题;而通过联邦机器学习技术进行大数据的交付,大数据本身未进行传输,避免大数据传输过程中泄露,也避免被买方客户端所泄露,通过生成的私钥对大数据进行加密,将对大数据进行哈希计算得到的第一哈希值上传至区块链,避免第一哈希值被篡改,后期通过区块链上的第一哈希值可校验大数据的完整性;通过设定计价方式为一口价、时间计价或者次数计价,买方客户端可按需进行选择,最终极大的提升了大数据交付的可靠性以及灵活性。
4、通过在大数据交易的全生命周期内,将至少包括确权认证信息、样本信息、估价信息、上架信息、试验信息、购买信息、合同信息、支付信息的交易日志进行容灾备份,以用于信息存证,保证产生异议时能提取到全生命周期的交易日志用于仲裁;而通过随机生成的对称密钥对交易日志进行加密存储,避免交易日志被明文窃取,通过将对交易日志进行哈希计算得到的第二哈希值同步至区块链,避免第二哈希值被篡改,后续利用区块链存储的第二哈希值可快速校验交易日志是否完整、是否被篡改,最终极大的提升了交易日志管理的全面性以及可靠性,极大的提升了大数据交易异议处理的便捷性以及可靠性,进而极大的提升了大数据交易的可靠性以及便捷性。
5、通过在正式发送大数据购买请求前,先通过试验订单购买请求获取数据样本进行融合试验,以进行需求匹配验证,使得买方对待购买的大数据的数据质量以及需求匹配度有切实的感知;通过大数据交易前先对交易主体进行实名认证以保证交易主体的可靠性,对待交易的大数据进行确权认证避免交易非法数据,在大数据交易界面上设置背景水印以对拍照或截图泄密人员进行震慑,通过防火墙隔离交易服务器与买方客户端和卖方客户端,通过国密算法对交易主体发送给交易服务器的请求进行加密以免明文泄露,通过对数据样本以及大数据执行数据脱敏操作避免关键信息泄露,通过在融合试验结束后自动销毁数据样本避免数据样本泄露,极大的保证了大数据交易的安全性,使得买卖双方能更安心的进行交易,在保障安全且需求匹配的情况下快速促成交易,最终极大的提升了大数据交易效率。
6、通过防火墙隔离服务器与买方客户端和卖方客户端,利用防火墙对一些恶意攻击进行隔离以保护数据安全,通过国密算法对交易主体发送给服务器的请求进行加密以免明文泄露,通过对数据样本以及大数据执行数据脱敏操作避免关键信息泄露,通过在融合试验结束后自动销毁数据样本避免数据样本泄露,通过创建的私钥对传输的大数据进行加密避免传输过程中被明文窃取,通过DES加密算法对公钥进行加密避免公钥泄露,通过联邦机器学习技术对大数据进行交付以克服交易信任问题;结合数据样本的融合试验来进行需求匹配验证,使得买家客户端(数据需求方)能快速找到匹配自身需求的大数据,且对大数据的质量和使用方式具有一定的了解,降低在大数据交易和价值发挥过程中产生冲突和矛盾的概率,最终极大的提升了大数据交易的隐私保护能力以及信任构建效率。
7、通过多个交易服务器同时对交易日志进行备份,即采取多机备份策略,当作为主机的交易服务器出现故障时,可利用运行正常的从机对其进行数据恢复操作,避免因备份在本机而导致硬件产生故障时备份形同虚设;而主机的交易日志备份至从机时,按需采取全量备份、增量备份或者差异备份的备份方式,即在数据量少时采取全量备份,在数据量多时采取增量备份或者差异备份,以保障备份的及时性;通过将备份的交易日志进行哈希计算得到的第二哈希值上传至区块链,避免第二哈希值被篡改,后期数据恢复时,通过第二哈希值可快速校验备份的交易日志是否被篡改,结合备份周期的定时备份,极大的提升了交易日志备份的可靠性,进而极大的提升了大数据交易的可靠性。
8、通过负载均衡技术进行大数据交易,极大的保障了大数据交易的稳定性。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种大数据交易方法,其特征在于:包括如下步骤:
步骤S10、各买方客户端和卖方客户端通过防火墙访问交易服务器,通过交易服务器的大数据交易界面进行实名认证操作;
步骤S20、卖方客户端对待交易的大数据进行确权认证后,将所述大数据对应的样本数据通过防火墙上传至交易服务器;
步骤S30、交易服务器基于预设的估价模型对所述样本数据进行估价,将估价信息发送给卖方客户端;
步骤S40、卖方客户端基于所述估价信息,设定所述大数据的交易信息,通过所述大数据交易界面对交易信息进行上架操作;
步骤S50、买方客户端和卖方客户端基于所述样本数据进行需求撮合;
步骤S60、买方客户端基于所述交易信息向对应的卖方客户端发送大数据购买请求;
步骤S70、卖方客户端基于接收的所述大数据购买请求,拟定大数据交易合同并进行签署和备份;
步骤S80、卖方客户端基于所述大数据购买请求选取对应的大数据,通过区块链对选择的所述大数据进行公证,在所述大数据中加入校验字段并加密后,通过防火墙发送给交易服务器;
步骤S90、交易服务器通过联邦机器学习技术以及负载均衡技术,将选择的所述大数据交付给买方客户端;
步骤S100、交易服务器实时记录交易日志,并对所述交易日志执行容灾备份;
步骤S110、买方客户端对购买的所述大数据产生异议时,基于异议仲裁接口向交易服务器发送异议信息;
步骤S120、交易服务器基于接收的所述异议信息匹配对应的交易日志,基于所述交易日志执行异议处置。
2.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S10具体为:
各买方客户端和卖方客户端通过防火墙访问实名验证接口,进而通过所述实名验证接口访问交易服务器,通过交易服务器的大数据交易界面输入携带手机号、身份证号以及照片的实名认证请求,交易服务器对所述手机号、身份证号以及照片进行一致性校验,以进行实名认证操作;
所述大数据交易界面在各操作子界面下均通过Agent技术添加有一背景水印;所述背景水印至少包括当前操作子界面的界面名称、当前时间以及登录账号。
3.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S20具体为:
卖方客户端通过数据确权和授权管理系统对待交易的大数据进行确权和授权操作后,通过数据登记管理系统对所述大数据进行数据登记,再通过数据合规认证系统对所述大数据进行数据合规认证后,将所述大数据对应的样本数据通过防火墙上传至交易服务器;
所述样本数据携带至少包括数据编号、数据目录信息、数据类型以及数据数量的样本信息。
4.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S30中,所述估价信息至少包括数据编号、数据质量以及数据价值。
5.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S40中,所述交易信息至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息。
6.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S50具体包括:
步骤S51、买方客户端基于所述交易信息向交易服务器发送试验订单购买请求,以匹配对应的所述样本数据,交易服务器对所述样本数据执行数据脱敏操作;
步骤S52、买方客户端通过交易服务器对所述样本数据进行在线的融合试验,交易服务器在融合试验结束后自动销毁所述样本数据,以完成买方客户端和卖方客户端的需求撮合。
7.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S60具体为:
买方客户端基于所述交易信息,通过所述大数据交易界面向对应的卖方客户端发送经过国密算法加密的大数据购买请求。
8.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S70具体包括:
步骤S71、交易管理服务器预设若干个大数据交易的合同模板,卖方客户端基于接收的所述大数据购买请求,通过合同发起接口访问交易服务器获取对应的所述合同模板,基于所述合同模板拟定大数据交易合同;
步骤S72、卖方客户端对所述大数据交易合同进行第一电子签章之后,通过合同签署接口将所述大数据交易合同发送给买方客户端进行签署;
步骤S73、买方客户端对所述大数据交易合同依次进行签署和第二电子签章之后,将所述大数据交易合同反馈给交易服务器;
步骤S74、交易服务器对所述大数据交易合同进行加密存储后,通过存证保全接口备份至区块链;
步骤S75、买方客户端或者卖方客户端通过合同查看接口访问交易服务器,对所述大数据交易合同进行查询的管理。
9.如权利要求1所述的一种大数据交易方法,其特征在于:所述步骤S80具体包括:
步骤S81、卖方客户端通过国密算法解密接收的所述大数据购买请求,解析所述大数据购买请求以选取对应数量的大数据;
步骤S82、卖方客户端对选取的所述大数据进行哈希计算得到第一哈希值,将所述第一哈希值上传至区块链;
步骤S83、卖方客户端在取的所述大数据中加入预设的校验字段后,随机生成一对公钥和私钥,利用所述私钥对大数据进行加密,利用DES加密算法对所述公钥进行加密,将加密后的所述大数据以及公钥通过防火墙发送给交易服务器。
10.如权利要求9所述的一种大数据交易方法,其特征在于:所述步骤S90具体包括:
步骤S91、交易服务器通过防火墙接收加密后的所述大数据以及公钥,利用DES加密算法对所述公钥进行解密后,利用所述公钥对大数据进行解密;
步骤S92、交易服务器从区块链获取所述第一哈希值对大数据进行第一校验,解析所述大数据获取校验字段对大数据进行第二校验,并对所述大数据执行数据脱敏操作;
步骤S93、买方客户端通过所述大数据交易界面创建一至少携带任务名称、任务描述以及任务类型的联邦学习任务,设定所述联邦学习任务的执行流程的DAG结构;
步骤S94、交易服务器基于所述联邦学习任务读取对应的大数据,对来自不同卖方客户端的各所述大数据,通过隐私求交算子进行样本对齐;
步骤S95、通过数据预处理算子对样本对齐后的各所述大数据,依次进行极值处理、缺失值填充以及数据转换的数据预处理;
步骤S96、通过数据拆分算子将数据预处理后的各所述大数据拆分为训练集和测试集;
步骤S97、交易服务器通过负载均衡技术,利用所述训练集对买方客户端本地创建的模型进行训练,利用所述测试集对训练后的模型进行测试,以完成所述大数据的交付。
CN202311380151.XA 2023-10-24 2023-10-24 一种大数据交易方法 Pending CN117575721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311380151.XA CN117575721A (zh) 2023-10-24 2023-10-24 一种大数据交易方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311380151.XA CN117575721A (zh) 2023-10-24 2023-10-24 一种大数据交易方法

Publications (1)

Publication Number Publication Date
CN117575721A true CN117575721A (zh) 2024-02-20

Family

ID=89887062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311380151.XA Pending CN117575721A (zh) 2023-10-24 2023-10-24 一种大数据交易方法

Country Status (1)

Country Link
CN (1) CN117575721A (zh)

Similar Documents

Publication Publication Date Title
Xie et al. Blockchain for cloud exchange: A survey
CN110349056B (zh) 基于区块链的业务处理系统以及方法
US11360963B2 (en) Tracking and verification of physical assets
US20210091960A1 (en) Tracking and verification of physical assets
CN108711051B (zh) 一种基于区块链的知识产权交易共享平台及方法
CN108737361B (zh) 一种基于区块链的数据验证方法
CA3087297A1 (en) Blockchain-based data verification method and apparatus, and electronic device
KR20190059491A (ko) 블록체인상에서 공유 분산장부와 외부 저장장치에 정보를 분리저장하여 구현한 안전한 전자상거래시스템
CN111936995A (zh) 海关清关数据的分布式存储
TW200907843A (en) Trusted third party clearing house for lead tracking
Patel et al. A review and future research directions of secure and trustworthy mobile agent‐based e‐marketplace systems
CN112565412B (zh) 基于区块链的数据交易方法、系统以及设备
Camilo et al. AutAvailChain: Automatic and secure data availability through blockchain
EP4092984A1 (en) Data processing method and apparatus, device and medium
CN112150113A (zh) 档案数据的借阅方法、装置和系统、资料数据的借阅方法
Menges et al. DEALER: decentralized incentives for threat intelligence reporting and exchange
US20230259919A1 (en) Review engine verification with non-fungible authentication tokens
CN110838067B (zh) 一种房产交易数据处理方法、装置、服务器及存储介质
CN110941840B (zh) 一种数据处理方法、系统及终端
CN110807209A (zh) 一种数据处理方法、设备及存储介质
US20220129586A1 (en) Methods and systems for processing agency-initiated privacy requests
CN113409144A (zh) 一种具有隐私保护的区块链数据交易方法
CN110599184A (zh) 用于网络服务账号交易的方法和装置、服务器和存储介质
CN111383109A (zh) 一种图片的版权交易方法及装置
CN117575721A (zh) 一种大数据交易方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination