CN113724080A - 一种电力系统交易平台结构化数据确权方法 - Google Patents

一种电力系统交易平台结构化数据确权方法 Download PDF

Info

Publication number
CN113724080A
CN113724080A CN202110912496.XA CN202110912496A CN113724080A CN 113724080 A CN113724080 A CN 113724080A CN 202110912496 A CN202110912496 A CN 202110912496A CN 113724080 A CN113724080 A CN 113724080A
Authority
CN
China
Prior art keywords
data
redis
hash
file
relational database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110912496.XA
Other languages
English (en)
Other versions
CN113724080B (zh
Inventor
王小海
蒿峰
黄哲
王晓光
程素霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Power(group) Co ltd Power Dispatch Control Branch
Original Assignee
Inner Mongolia Power(group) Co ltd Power Dispatch Control Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia Power(group) Co ltd Power Dispatch Control Branch filed Critical Inner Mongolia Power(group) Co ltd Power Dispatch Control Branch
Priority to CN202110912496.XA priority Critical patent/CN113724080B/zh
Publication of CN113724080A publication Critical patent/CN113724080A/zh
Application granted granted Critical
Publication of CN113724080B publication Critical patent/CN113724080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种电力系统交易平台结构化数据确权方法，属于数据交易平台中数据确权领域，本发明在电力系统数据交易系统中，对于录入系统中的数据文件中的数据进行确权。通过文件整体比较、文件中行数据HASH比较及文件数据详细内容的直接比较三个层级的比较快速判断出数据文件中的内容所有权，完成对数据内容的低延时确权。

Description

一种电力系统交易平台结构化数据确权方法
技术领域
本发明涉及数据交易平台中数据确权领域，尤其涉及一种电力系统交易平台结构化数据确权方法。
背景技术
伴随着近几年电力系统的数字化转型，电力系统数据迅猛增长，在电力系统数据交易系统中，对于录入系统中的数据文件中的数据需要进行确权。
伴随着近几年电力数据存储，数据挖掘等技术的发展，数据正变得越来越值钱。数据交易量也正逐年上升，如何在数据交易平台中确定数据的所有权，避免数据倒卖行为成为当下一个热门话题。
数据确权的交易通常不能支持数据的全局校对或着校对速度较慢。对数据内容的确权一般采用逐条比较的方法，费时费力且对硬件设备要求较高。如何完成数据内容的低延时确权是当下亟待解决的一个问题。
发明内容
为了解决以上技术问题，本发明提供了一种电力系统交易平台结构化数据确权方法，对电力交易系统中的结构化交易数据进行确权，保证数据交易中用户的数据资产安全。
本发明的技术方案是：
一种电力系统交易平台结构化数据确权方法，在数据交易系统中，对于录入系统中的数据文件中的数据进行确权，应用三层过滤即1)、对文件HASH校验；2)、对行数据HASH校验；3)、对行原始数据校验；通过文件整体比较、文件中行数据HASH比较及文件数据详细内容的直接比较三个层级的比较快速判断出数据文件中的内容所有权，完成对数据内容的低延时确权。
进一步的，
具体步骤如下：
步骤一：上传电力系统数据；
步骤二：对整个结构化数据计算HASH，前边拼接data_字符串作为key，判断Redis是否存在该key,若存在则确权失败，非本人数据；若不存在将该数据记入Redis中value为当前用户标识；并同时存入关系型数据库中；以备redis异常时恢复数据；
步骤三：遍历数据文件中数据，取一条数据D1计算HASH，设置求得一条数据的HASH值为H1；
步骤四：比较Redis中存储的是否包含key为H1的数据，如果不存在，则该条数据未存入系统中，标记该条数据属于该用户；继续开始步骤三，执行下一条数据；如果存在；则该条数据可能已经在系统中存在，需要进一步确认；此时获取Redis中的数据，设为R1；
步骤五：获取Redis中R1的全部数据内容，其数据内容为集合类型，集合中存储该条HASH对应的数据的用户标识；根据HASH和用户标识，从关系型数据库中取出全部的原始数据；
步骤六：将从关系型数据库中取出的数据集S1逐条与D1比较，S1中的内容若与D1有相同内容的，进行步骤七；如果全不同则进行步骤八；
步骤七：比较S1中内容与D1相同的数据的录入用户标识是否为同一人，若为同一人则视为该用户的数据；若不为同一人，则视为非本用户数据，给予标记；标记完成后执行步骤三；
步骤八：依据D1组装新数据，分别存入Redis中和关系型数据库中；
其中存入Redis中的逻辑：取key为H1的数据集合；若为空，则创建新集合；将当前用户标识添加到集合中；
存入关系型数据库的逻辑：存入${行数据的HASH}、${当前用户标识}、${当前时间戳}，及当前的行数据和用户标识；
数据存入之后，进行步骤三。
再进一步的，
系统启动时，启动监控程序，监控Redis的状态，保证Redis中数据与关系型数据库中数据信息一致；若不一致时，依据关系型数据库中的数据，恢复Redis中的数据，保证数据的可靠性。
本发明的有益效果是
数据确权的交易通常不能支持数据的全局校对或着校对速度较慢，该发明主要效果是数据确权时对数据全局校对的情况下，极大的提高了数据确权的效率。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
伴随着近几年电力系统的数字化转型，电力系统数据迅猛增长，在电力系统数据交易系统中，对于录入系统中的数据文件中的数据进行确权。通过文件整体比较、文件中行数据HASH比较及文件数据详细内容的直接比较三个层级的比较快速判断出数据文件中的内容所有权，完成对数据内容的低延时确权。
具体步骤如下：
步骤一：上传电力系统数据。
步骤二：对整个结构化数据计算HASH，前边拼接data_字符串，如data_${HASH}作为key，判断Redis是否存在该key,若存在则确权失败，非本人数据；若不存在将该数据记入Redis中value为当前用户标识。并同时存入关系型数据库中，其包括${行数据的HASH}、${当前用户标识}、${当前时间戳}、用户id。以备redis异常时恢复数据。
步骤三：遍历数据文件中数据，取一条数据D1计算HASH，假设求得一条数据的HASH值为H1。
步骤四：比较Redis中存储的是否包含key为H1的数据，如果不存在，则该条数据未存入系统中，标记该条数据属于该用户。继续开始步骤三，执行下一条数据。如果存在。则该条数据可能已经在系统中存在，需要进一步确认。此时获取Redis中的数据，假设为R1
步骤五：获取Redis中R1的全部数据内容，其数据内容为集合类型，集合中存储该条HASH对应的数据的用户标识。根据HASH和用户标识，从关系型数据库中取出全部的原始数据。
步骤六：将从关系型数据库中取出的数据集S1逐条与D1比较，S1中的内容若与D1有相同内容的，进行步骤七。如果全不同则进行步骤八；
步骤七：比较S1中内容与D1相同的数据的录入用户标识是否为同一人，若为同一人则视为该用户的数据；若不为同一人，则视为非本用户数据，给予标记。标记完成后执行步骤三。
步骤八：依据D1组装新数据，分别存入Redis中和关系型数据库中。其中存入Redis中的逻辑：取key为H1的数据集合。若为空，则创建新集合。将当前用户标识添加到集合中。存入关系型数据库的逻辑：存入${行数据的HASH}、${当前用户标识}、${当前时间戳}，及当前的行数据和用户标识。数据存入之后，进行步骤三。
另外，系统启动时，启动两个监控程序，监控Redis的状态，保证Redis中数据与关系型数据库中数据信息一致。若不一致时，依据关系型数据库中的数据，恢复Redis中的数据，保证数据的可靠性。
本发明应用三层过滤，每层过滤确权数据的方法。1、对文件HASH校验；2、对行数据HASH校验；3、对行原始数据校验
通过三层过滤，数据量逐层递减，提高确权效率和可靠性。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (4)

1.一种电力系统交易平台结构化数据确权方法，其特征在于，
在数据交易系统中，对于录入系统中的数据文件中的数据进行确权，应用三层过滤即1)、对文件HASH校验；2)、对行数据HASH校验；3)、对行原始数据校验；通过文件整体比较、文件中行数据HASH比较及文件数据详细内容的直接比较三个层级的比较快速判断出数据文件中的内容所有权，完成对数据内容的低延时确权。
2.根据权利要求1所述的方法，其特征在于，
具体步骤如下：
步骤一：上传电力系统数据；
步骤二：对整个结构化数据计算HASH，前边拼接data_字符串作为key，判断Redis是否存在该key,若存在则确权失败，非本人数据；若不存在将该数据记入Redis中value为当前用户标识；并同时存入关系型数据库中；以备redis异常时恢复数据；
步骤三：遍历数据文件中数据，取一条数据D1计算HASH，设置求得一条数据的HASH值为H1；
步骤四：比较Redis中存储的是否包含key为H1的数据，如果不存在，则该条数据未存入系统中，标记该条数据属于该用户；继续开始步骤三，执行下一条数据；如果存在；则该条数据可能已经在系统中存在，需要进一步确认；此时获取Redis中的数据，设为R1；
步骤五：获取Redis中R1的全部数据内容，其数据内容为集合类型，集合中存储该条HASH对应的数据的用户标识；根据HASH和用户标识，从关系型数据库中取出全部的原始数据；
步骤六：将从关系型数据库中取出的数据集S1逐条与D1比较，S1中的内容若与D1有相同内容的，进行步骤七；如果全不同则进行步骤八；
步骤七：比较S1中内容与D1相同的数据的录入用户标识是否为同一人，若为同一人则视为该用户的数据；若不为同一人，则视为非本用户数据，给予标记；标记完成后执行步骤三；
步骤八：依据D1组装新数据，分别存入Redis中和关系型数据库中；
其中存入Redis中的逻辑：取key为H1的数据集合；若为空，则创建新集合；将当前用户标识添加到集合中；
数据存入之后，进行步骤三。
3.根据权利要求2所述的方法，其特征在于，
所述存入关系型数据库的逻辑：存入${行数据的HASH}、${当前用户标识}、${当前时间戳}，及当前的行数据和用户标识。
4.根据权利要求2所述的方法，其特征在于，
系统启动时，启动监控程序，监控Redis的状态，保证Redis中数据与关系型数据库中数据信息一致；
若不一致时，依据关系型数据库中的数据，恢复Redis中的数据。
CN202110912496.XA 2021-08-10 2021-08-10 一种电力系统交易平台结构化数据确权方法 Active CN113724080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110912496.XA CN113724080B (zh) 2021-08-10 2021-08-10 一种电力系统交易平台结构化数据确权方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110912496.XA CN113724080B (zh) 2021-08-10 2021-08-10 一种电力系统交易平台结构化数据确权方法

Publications (2)

Publication Number Publication Date
CN113724080A true CN113724080A (zh) 2021-11-30
CN113724080B CN113724080B (zh) 2024-01-30

Family

ID=78675312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110912496.XA Active CN113724080B (zh) 2021-08-10 2021-08-10 一种电力系统交易平台结构化数据确权方法

Country Status (1)

Country Link
CN (1) CN113724080B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002057663A (ja) * 2000-08-11 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 承認情報の作成方法とその装置及び承認情報の作成プログラムを記録した記録媒体
US20170180567A1 (en) * 2014-11-01 2017-06-22 Somos, Inc. Toll-free telecommunications and data management platform
CN107086920A (zh) * 2017-06-20 2017-08-22 无锡井通网络科技有限公司 基于区块链的版权确权方法
CN110751481A (zh) * 2019-09-28 2020-02-04 北京瑞卓喜投科技发展有限公司 一种数字资产确权方法及装置
CN111159651A (zh) * 2019-11-22 2020-05-15 张鸿 区块链在线存证方法与系统
CN111489164A (zh) * 2020-04-09 2020-08-04 国网电子商务有限公司 基于物联网标识和区块链的电力交易方法装置及电子设备
CN112084164A (zh) * 2020-09-16 2020-12-15 厦门市美亚柏科信息安全研究所有限公司 一种基于区块链与星际文件系统的数据存证方法及系统
CN112651052A (zh) * 2020-12-24 2021-04-13 江苏通付盾科技有限公司 一种基于区块链技术的数据确权方法及系统
CN113378239A (zh) * 2021-06-16 2021-09-10 浪潮卓数大数据产业发展有限公司 一种数据内容确权方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002057663A (ja) * 2000-08-11 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 承認情報の作成方法とその装置及び承認情報の作成プログラムを記録した記録媒体
US20170180567A1 (en) * 2014-11-01 2017-06-22 Somos, Inc. Toll-free telecommunications and data management platform
CN107086920A (zh) * 2017-06-20 2017-08-22 无锡井通网络科技有限公司 基于区块链的版权确权方法
CN110751481A (zh) * 2019-09-28 2020-02-04 北京瑞卓喜投科技发展有限公司 一种数字资产确权方法及装置
CN111159651A (zh) * 2019-11-22 2020-05-15 张鸿 区块链在线存证方法与系统
CN111489164A (zh) * 2020-04-09 2020-08-04 国网电子商务有限公司 基于物联网标识和区块链的电力交易方法装置及电子设备
CN112084164A (zh) * 2020-09-16 2020-12-15 厦门市美亚柏科信息安全研究所有限公司 一种基于区块链与星际文件系统的数据存证方法及系统
CN112651052A (zh) * 2020-12-24 2021-04-13 江苏通付盾科技有限公司 一种基于区块链技术的数据确权方法及系统
CN113378239A (zh) * 2021-06-16 2021-09-10 浪潮卓数大数据产业发展有限公司 一种数据内容确权方法及系统

Also Published As

Publication number Publication date
CN113724080B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
TWI582616B (zh) 藉由實例格式化資料
US5197001A (en) Bill of material and project network processing
EP3779760B1 (en) Blockchain-based data processing method and apparatus, and electronic device
CN104765745B (zh) 对数据库中的加载数据进行逻辑验证的方法和系统
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
CN106961441B (zh) 一种用于Hadoop云平台的用户动态访问控制方法
CN113360548A (zh) 基于数据资产分析的数据处理方法、装置、设备及介质
CN109656929B (zh) 一种雕复关系型数据库文件的方法及装置
CN106528349A (zh) 一种数据存储方法及装置
EP3472779A1 (en) Digital asset platform
CN105892954A (zh) 基于多副本的数据存储方法和装置
CN113724080A (zh) 一种电力系统交易平台结构化数据确权方法
CN113378239B (zh) 一种数据内容确权方法及系统
CN113592529B (zh) 债券产品的潜在客户推荐方法和装置
CN114255134A (zh) 一种帐号拆解方法、装置和存储介质
CN114625697A (zh) 文件系统恢复方法、装置、电子设备及存储介质
CN115543918A (zh) 一种文件快照方法、系统、电子设备及存储介质
CN115034917A (zh) 一种社保资金发放数据风险信息的筛查方法及装置
CN114564737A (zh) 一种基于配置文件和变量定义升级维护权限的方法
CN103176918A (zh) 存取储存局域网络磁盘阵列设备的验证方法
CN111260477B (zh) 一种产品对象数据信息的写入、读取方法及处理系统
JP6049778B2 (ja) 行動パターンデータを用いた認証システムにおけるアラート出力処理システムおよび方法
CN115495447A (zh) 一种数据防重校验方法及装置
CN118071432A (zh) 一种全电发票管理监控平台
CN117743190A (zh) 接口数据流量回放的验证方法、装置、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant