CN114896201B - 一种数字电网财务数据迁移方法及系统 - Google Patents
一种数字电网财务数据迁移方法及系统 Download PDFInfo
- Publication number
- CN114896201B CN114896201B CN202210818012.XA CN202210818012A CN114896201B CN 114896201 B CN114896201 B CN 114896201B CN 202210818012 A CN202210818012 A CN 202210818012A CN 114896201 B CN114896201 B CN 114896201B
- Authority
- CN
- China
- Prior art keywords
- migrated
- financial data
- data
- financial
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 131
- 238000013508 migration Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000007726 management method Methods 0.000 claims description 101
- 238000012545 processing Methods 0.000 claims description 62
- 238000004422 calculation algorithm Methods 0.000 claims description 44
- 238000013507 mapping Methods 0.000 claims description 33
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004806 packaging method and process Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000007639 printing Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000000556 factor analysis Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/119—Details of migration of file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/116—Details of conversion of file system types or formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数字电网财务数据迁移方法及系统。所述方法包括:获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据;根据数据属性对若干待迁移财务子数据进行重要程度分析,得到第一等级待迁移财务数据和其余等级待迁移财务数据;对第一等级待迁移财务数据进行加密处理,并打上加密标签;对其余等级待迁移财务数据的格式进行标准化;将处理后的待迁移财务数据发送至迁移电网管理平台;计算数字电网财务数据迁移效率。本申请实施例提供的数字电网财务数据迁移方法及系统,可以保证快速、安全、且准确地向电网管理平台迁移待迁移财务数据。
Description
技术领域
本申请涉及财务数据迁移技术领域,具体涉及一种数字电网财务数据迁移方法及系统。
背景技术
为强化战略,引领推动高质量发展在建设世界一流企业征程上迈出新步伐,越来越多电网公司趋向于数字化转型。某一电网公司计划以公司发展战略纲要为引领,深度应用基于云平台的互联网、人工智能、大数据、物联网等新技术,建设四大业务平台,即建设电网管理平台、客户服务平台、调度运行平台、企业级运营管控平台。
为落实电网管理平台的上线应用要求,需提前开展新系统上线前的数据迁移工作,将电网公司原有“6+1”财务管理系统的基础数据准确且安全地迁移至电网管理平台,确保电网管理平台上线后,各项财务管理业务在新系统的正常开展。
发明内容
本申请实施例提供一种数字电网财务数据迁移方法及系统,用以解决如何将财务管理系统的基础数据准确且安全地迁移至电网管理平台的技术问题。
第一方面,本申请实施例提供一种数字电网财务数据迁移方法,包括:
通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系;
根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
对第一等级待迁移财务数据进行加密处理,并打上加密标签;
对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
在一个实施例中,所述根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,包括:
得到财务样本数据和财务数据重要程度分析标签;
基于财务样本数据和财务数据重要程度分析标签训练得到数据重要程度分析模型;
通过数据重要程度分析模型根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据。
在一个实施例中,所述对其余等级待迁移财务数据的格式进行标准化,包括:
制作财务数据格式模板;
将其余等级待迁移财务数据的非主成分财务子数据的数据属性映射成英文字母,数据数值映射成预设符号数字,按照数据属性和数据数值的映射关系组合英文字母和预设符号数字;
将组合后的英文字母和预设符号数字填充至财务数据格式模板,得到格式标准化后的其余等级待迁移财务数据。
在一个实施例中,所述对第一等级待迁移财务数据进行加密处理,并打上加密标签,具体为:
通过第一加密算法对第一等级待迁移财务数据进行第一加密处理,并打上第一加密处理标签;或者
通过第二加密算法对第一等级待迁移财务数据进行第二加密处理,并打上第二加密处理标签;或者
按数据生成时间先后排序第一等级待迁移财务数据中的主成分财务子数据,通过第一加密算法对第一等级待迁移财务数据中生成时间处于前百分之五十的主成分财务子数据进行第一加密处理,并打上第一加密处理标签,通过第二加密算法对第一等级待迁移财务数据中生成时间处于后百分之五十的主成分财务子数据进行第二加密处理,并打上第二加密处理标签,将进行第一加密处理后的第一等级待迁移财务数据和进行第二加密处理后的第一等级待迁移财务数据打包成第一等级待迁移财务数据包,并进行压缩加密处理。
在一个实施例中,所述计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率,包括:
根据待迁移财务数据的时间标签得到获取待迁移财务数据的初始时间点,根据电网管理平台成功接收加密处理后的第一等级待迁移财务数据和待迁移财务数据包的时间点得到最终时间点,根据初始时间点和最终时间点得到从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长;
通过数字电网财务数据迁移效率计算式得到数字电网财务数据迁移效率,其中数字电网财务数据迁移效率计算式为:
在一个实施例中,还包括:
获取电网管理平台基于接收的第一等级待迁移财务数据和待迁移财务数据包的导入财务数据;
计算导入财务数据和待迁移财务数据的相似度;
当导入财务数据和待迁移财务数据的相似度大于预设阈值时,判定数字电网财务数据迁移成功。
在一个实施例中,数据属性包括以下任一项或其任意组合:公共财务数据、预算财务数据、资金财务数据、合同财务数据、工程财务数据、资产价值财务数据、产权财务数据、物资财务数据、税务财务数据、内控财务数据、价格财务数据。
第二方面,本申请实施例提供一种数字电网财务数据迁移系统,包括:
待迁移财务数据获取模块,用于:通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
待迁移财务数据分割模块,用于:根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系;
待迁移财务子数据分析模块,用于:根据数据属性对若干待迁移财务子数据进行因子分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
第一等级待迁移财务数据加密处理模块,用于:对第一等级待迁移财务数据进行加密处理,并打上加密标签;
其余等级待迁移财务数据格式标准化模块,用于:对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
待迁移财务数据迁移模块,用于:将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
数字电网财务数据迁移效率得到模块,用于:计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
第三方面,本申请实施例提供一种电子设备,包括处理器和存储有计算机程序的存储器,所述处理器执行所述程序时实现第一方面所述的数字电网财务数据迁移方法。
第四方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面所述的数字电网财务数据迁移方法。
本申请实施例提供的数字电网财务数据迁移方法及系统,通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,能够快速且全面地获取待迁移财务数据;对待迁移财务数据打上源头标签和获取时间标签,能够标明待迁移财务数据的来源和获取时间,便于数据溯源和数据更新;根据数据属性对待迁移财务数据进行分割,能够根据数据属性预先整理待迁移财务数据,避免大量数据造成混乱;根据数据属性对若干待迁移财务子数据进行重要程度分析,能够得到较为重要的主成分财务子数据和一般重要的非主成分财务子数据,后续根据重要程度对应处理数据;对第一等级待迁移财务数据进行加密处理,能够保证较为重要的第一等级待迁移财务数据的安全性,避免被盗取或纂改;对其余等级待迁移财务数据的格式进行标准化,能够保证一般重要的其余等级待迁移财务数据的格式规范性;将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台,既能提高数字电网财务数据的迁移效率,又能保证数字电网财务数据在数据迁移过程中的数据安全性;计算数字电网财务数据迁移效率,能够依据数字电网财务数据迁移效率调整数字电网财务数据迁移过程的步骤,例如算法的使用等,保证快速、安全、且准确地向电网管理平台迁移待迁移财务数据。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数字电网财务数据迁移方法的流程示意图;
图2是本申请实施例提供的数字电网财务数据迁移系统的结构示意图;
图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为数字电网财务数据迁移方法的流程示意图。参照图1,本申请实施例提供的一种数字电网财务数据迁移方法,可以包括:
S110、通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
S120、根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系;
S130、根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
S140、对第一等级待迁移财务数据进行加密处理,并打上加密标签;
S150、对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
S160、将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
S170、计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
需要说明的是,本申请实施例提供的一种数字电网财务数据迁移方法的执行主体可以是任何网络侧设备,例如数字电网财务数据迁移设备等等。
在步骤S110中,网络侧设备会通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签。
需要说明的是,为了简化局部区域的财务管理,通常会在每个地区设置对应的财务管理系统,而这些财务管理系统会通过分布式管理散布在同一网络的不同节点,想统一获取若干财务管理系统的财务数据,可以通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并行线程之间设置互斥锁,避免线程之间相互影响,同时可以大大减小获取待迁移财务数据的时间,单独设置每一线程的任务地址和任务内容,即可通过线程到达对应的财务管理系统获取相应的待迁移财务数据,或者,对于数据量较大的情况,也可以同时设置两个或以上的线程到达同一财务管理系统获取不同的待迁移财务数据,例如通过线程A到达财务管理系统A获取生成时间在2020年前的待迁移财务数据、通过线程B到达财务管理系统A获取生成时间在2020年后的待迁移财务数据,以合理地减小获取待迁移财务数据的时间。
需要说明的是,对待迁移财务数据打上源头标签和获取时间标签,即标明每一待迁移财务数据的来源系统以及被获取的时间,有助于进行数据溯源、验证以及数据更新,当发现获取的待迁移财务数据是乱码或存在错误,可以反过来追踪数据源头,检查对应的财务管理系统是否存在病毒,及时利用病毒查杀软件进行查杀,以保证获取待迁移财务数据的准确性。
在步骤S120中,网络侧设备会根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系。
需要说明的是,不同财务管理系统所存储有的数据可能不同,其数据属性也可能不同,在本实施例中,关于电网的财务管理系统存储的财务数据的数据属性包括以下任一项或其任意组合:公共财务数据、预算财务数据、资金财务数据、合同财务数据、工程财务数据、资产价值财务数据、产权财务数据、物资财务数据、税务财务数据、内控财务数据、价格财务数据。
需要说明的是,网络侧设备可以通过垂直分割(Vertical Splitting)法根据数据属性对待迁移财务数据进行分割,在全局关系中根据待迁移财务数据的数据属性(纵向)分割成一些数据分片或段,即待迁移财务子数据。数据分片中的数据可能是由于使用上的方便或访问的共同性而需要聚集一起的。通常,一个关系中的垂直数据分片只在某些键值上重叠,其他属性是互不相交的。
或者,网络侧设置也可以通过数据聚类方法对待迁移财务数据进行分割,例如K-MEANS(K均值)数据聚类方法、均值漂移数据聚类方法、基于密度的数据聚类方法(DBSCAN)、用高斯混合模型(GMM)的最大期望(EM)数据聚类方法、凝聚层次数据聚类方法等等。以K-MEANS数据聚类方法为例,选择待迁移财务数据的一些或全部数据属性作为类,则类的数量K为所选择的数据属性的量,随机初始化每个类的中心点,中心点是与每个待迁移财务数据点向量长度相同的位置,计算每个待迁移财务数据点到中心点的距离,待迁移财务数据点距离哪个中心点最近就划分到哪一类中,然后重新计算每一类的中心点作为该类中新的中心点。重复前述步骤,直到每一类的中心点在每次迭代后变化不大(或变化值到达预设值)为止,再按照每个类对待迁移财务数据进行分割,得到若干待迁移财务子数据。
需要说明的是,对应同一数据属性的待迁移财务数据有可能是静态数据,即对应数据属性的待迁移财务数据的数据数值是固定不变的、只有一个的,则该条待迁移财务子数据的数据属性和对应待迁移财务数据的数据数值成一对一的映射关系,在另一方面,对应同一数据属性的待迁移财务数据有可能是动态变化的,即对应数据属性的待迁移财务数据的数据数值是有两个以上的,则数据属性和对应待迁移财务数据的数据数值成一对多的映射关系,当对应数据属性的待迁移财务数据的数据数值有两个以上时,进行数据分割后可以将该条待迁移财务子数据中的数据数值按生成时间排序,例如,某财务管理系统对应预算财务数据的数据属性的待迁移财务子数据,其2018年的数据数值是1000万,2019年的数据数值是1200万,2020年的数据数值是1500万,那么该条待迁移财务子数据的表现形式为“预算财务数据。
根据数据属性分割待迁移财务数据,能够预先整理待迁移财务数据,避免数据量大导致数据混乱或网络崩溃,保证待迁移财务数据的数据迁移过程的可行性和顺利。
在步骤S130中,网络侧设备会根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据。
需要说明的是,可以预先设置哪些数据属性的待迁移财务子数据属于重要程度高的主成分财务子数据,哪些数据属性的待迁移财务子数据属于重要程度一般的非主成分财务子数据,继而将对应的待迁移财务子数据进行二次分类,形成第一等级待迁移财务数据和其余等级待迁移财务数据,能够按照数据的重要程度筛出较为重要的主成分财务子数据和重要程度一般的非主成分财务子数据,从而对不同重要程度的待迁移财务子数据进行不同的加密处理,例如可以通过数据加密函数对第一等级待迁移财务数据进行数据加密,而对非主成分财务子数据仅进行密码加密等等,能够极大程度上保证迁移待迁移财务数据的安全性,避免数据被窃取或恶意篡改。
在一种实施例中,步骤S130可以包括:
S1301、得到财务样本数据和财务数据重要程度分析标签;
S1302、基于财务样本数据和财务数据重要程度分析标签训练得到数据重要程度分析模型;
S1303、通过数据重要程度分析模型根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据。
需要说明的是,可以通过网络侧设备根据实际生产情况构建财务样本数据和财务数据重要程度分析标签,再基于财务样本数据和财务数据重要程度分析标签训练得到数据重要程度分析模型,训练数据重要程度分析模型时模型框架可以采用卷积神经网络(CNN,Convolutional Neural Network)模型的模型框架,通过CNN模型的输入层、卷积层、池化层(汇聚层、下采样层)、输出层等进行模型训练,以通过数据重要程度分析模型快速且精准地实现根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据。
在步骤S140中,网络侧设备会对第一等级待迁移财务数据进行加密处理,并打上加密标签。
需要说明的是,第一等级待迁移财务数据属于重要程度高的待迁移财务数据,对其进行加密处理可以保证重要程度高的待迁移财务数据在数据迁移过程中的安全性。对进行加密处理后的第一等级待迁移财务数据打上加密标签能够标明对第一等级待迁移财务数据已经进行加密处理,并提醒将加密处理后的第一等级待迁移财务数据迁移至电网平台后及时对其进行解密,避免出现数据误判,误以为错误数据。另外,在打上加密标签时可以利用暗号的形式(例如采用了MD5加密的加密标签可以为“S5”)标明是进行了哪种数据加密,有助于提高解密效率。
在一种实施例中,步骤S140可以具体为:通过第一加密算法对第一等级待迁移财务数据进行第一加密处理,并打上第一加密处理标签。
需要说明的是,第一加密算法可以例如是MD5加密算法(Message-digestAlgorithm 5,信息-摘要加密算法),通过MD5加密算法获取第一等级待迁移财务数据的MD5值,如果第一等级待迁移财务数据的量太多,可以分块进行MD5加密,得到多个MD5值。在解除MD5加密时,可以通过暴力解密进行,解密后的明文与加密前的原始文本一致。
在又一种实施例中,步骤S140可以具体为:通过第二加密算法对第一等级待迁移财务数据进行第二加密处理,并打上第二加密处理标签。
需要说明的是,第二加密算法可以例如可以是结合SM2和SM4的国密算法,加密过程:设置基本参数,生成公私钥,创建SM4钥匙和SM4对象,通过SM4对象对第一等级待迁移财务数据进行加密,创建SM2对象(附公钥)并对SM4钥匙进行加密,通过SM2(附私钥)对SM4钥匙签名,返回加密结果;解密过程:通过SM2(附私钥)对SM4钥匙进行解密,通过公钥签名验证,通过SM4解密加密后的第一等级待迁移财务数据,解密后的明文与加密前的原始文本一致。如果第一等级待迁移财务数据的量太多,可以分块进行加密。或者,可以利用加密时长作为解密条件,即利用第二加密算法对第一等级待迁移财务数据进行加密后,当加密时间超过预设时长时,即可自行解密。
需要说明的是,本文对第一加密算法和第二加密算法不作特别限定,可以根据实际数据情况来选用合适的第一加密算法和第二加密算法,采用第一加密算法和/或第二加密算法对第一等级待迁移财务数据进行加密处理,旨在保证第一等级待迁移财务数据在数据迁移过程的安全性,避免第一等级待迁移财务数据被窃取或篡改。
在又一种实施例中,步骤S140可以具体为:按数据生成时间(数据生成时间可以在获取待迁移财务数据时根据待迁移财务数据的生成时间标签或时间索引得到)先后排序第一等级待迁移财务数据中的主成分财务子数据,通过第一加密算法对第一等级待迁移财务数据中生成时间处于前百分之五十的主成分财务子数据进行第一加密处理,并打上第一加密处理标签,通过第二加密算法对第一等级待迁移财务数据中生成时间处于后百分之五十的主成分财务子数据进行第二加密处理,并打上第二加密处理标签,将进行第一加密处理后的第一等级待迁移财务数据和进行第二加密处理后的第一等级待迁移财务数据打包成第一等级待迁移财务数据包,并进行压缩加密处理。
需要说明的是,压缩加密处理可以是通过文件压缩软件对第一等级待迁移财务数据包进行压缩,然后设置密码,解密时输入密码即可进行解密,通过解压软件即可进行第一等级待迁移财务数据包的解压。
需要说明的是,本实施例采用数据生成时间作为对第一等级待迁移财务数据分块的条件,在其它实施例中也可以根据实际需求选择适合的分块条件,本实施例结合第一加密算法和第二加密算法对第一等级待迁移财务数据进行加密处理,能够进一步确保第一等级待迁移财务数据在数据迁移过程的安全性,避免第一等级待迁移财务数据被窃取或篡改。
在步骤S150中,网络侧设备会对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包。
需要说明的是,可以对重要程度一般的其余等级待迁移财务数据进行格式上的标准化,例如将其余等级待迁移财务数据转换为结构化语言等等,提高其余等级待迁移财务数据的格式规范性,便于后续导入数据。
在一种实施例中,步骤S150可以包括:
S1501、制作财务数据格式模板;
S1502、将其余等级待迁移财务数据的非主成分财务子数据的数据属性映射成英文字母,数据数值映射成预设符号数字,按照数据属性和数据数值的映射关系组合英文字母和预设符号数字;
S1503、将组合后的英文字母和预设符号数字填充至财务数据格式模板,得到格式标准化后的其余等级待迁移财务数据。
需要说明的是,财务数据格式模板可以根据实际需要设置,例如如下表格:
数据属性1 | 数据属性2 | 数据属性3 |
若有:数据数值11(动态)、数据数值12(动态)、数据数值13(动态)…… | 若有:数据数值21(动态)、数据数值22(动态)、数据数值23(动态)…… | 若有:数据数值31(动态)、数据数值32(动态)、数据数值33(动态)…… |
若有:数据数值14(静态) | 若有:数据数值24(静态) | 若有:数据数值34(静态) |
网络侧设备可以将其余等级待迁移财务数据的非主成分财务子数据的数据属性映射成英文字母,例如将数据属性“公共财务数据”映射成英文字母“K”,将“预算财务数据”映射成“L”,将“资金财务数据”映射成“M”,再将与数据属性对应的数据数值映射成预设符号数字,例如将数据数值小于0的数据数值映射成“-0”,将数据数值打羽0的数据数值映射成“+0”等等,映射规则可以根据实际需要自行设置,然后再按照数据属性和数据数值的映射关系组合英文字母和预设符号数字,再将组合后的英文字母和预设符号数字填充至财务数据格式模板,得到格式标准化后的其余等级待迁移财务数据。提高其余等级待迁移财务数据的格式规范性以及数据可视性,便于后续导入数据。
在步骤S160中,网络侧设备会将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台。
需要说明的是,网络侧设备可以根据电网管理平台的目的IP地址,将加密处理后的第一等级待迁移财务数据和待迁移财务数据包通过无线网络或有线一并发送至迁移电网管理平台,供后续进行数据导入处理。
在步骤S170中,网络侧设备会计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
通过计算数字电网财务数据迁移效率,能够依据数字电网财务数据迁移效率调整数字电网财务数据迁移过程的步骤,例如算法和模型的选用、模型参数的调整等,保证快速、安全、且准确地向电网管理平台迁移待迁移财务数据。
在一种实施例中,步骤S170可以包括:
步骤S1701、根据待迁移财务数据的时间标签得到获取待迁移财务数据的初始时间点,根据电网管理平台成功接收加密处理后的第一等级待迁移财务数据和待迁移财务数据包的时间点得到最终时间点,根据初始时间点和最终时间点得到从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长;
步骤S1702、通过数字电网财务数据迁移效率计算式得到数字电网财务数据迁移效率,其中数字电网财务数据迁移效率计算式为:
其中,表示数字电网财务数据迁移效率,表示获取的待迁移财务数据的总量,表示获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,W表示权重参数,当小于预设值时,表示数据迁移效率低下,W=-1,使成为负数,突出此时的,网络侧设备可以通过文字形式或声响形式发出数据迁移调整提醒;当大于预设值时,W=0,表示数据迁移效率符合预期。
需要说明的是,获取的待迁移财务数据的总量可以的获取的待迁移财务数据的条数。进一步的,网络侧设备可以根据待迁移财务数据的时间标签得到获取待迁移财务数据的初始时间点,根据电网管理平台成功接收加密处理后的第一等级待迁移财务数据和待迁移财务数据包的时间点得到最终时间点,根据初始时间点和最终时间点得到从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长;或者网络侧设备也可以通过设置计时器来计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,或者,网络侧设备还可以通过设置多个计时器来计算完成每一步骤所花费的时间,再得到从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,如此能够更加明确数据迁移过程中每个步骤的花费时间,有利于后续调整,有针对性地提高数据迁移精度。
现有技术中的一些数据迁移是通过直接导出数据查询语言(SQL)实现的,但是现有技术中并没有关注被迁移数据的安全性,缺乏对被迁移数据的安全等级分类或重要程度分类,更没有对不同重要程度的数据进行不同的加密措施等等,导致被迁移数据容易被窃取、篡改等等。
本申请实施例提供的数字电网财务数据迁移方法,通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,能够快速且全面地获取待迁移财务数据;对待迁移财务数据打上源头标签和获取时间标签,能够标明待迁移财务数据的来源和获取时间,便于数据溯源和数据更新;根据数据属性对待迁移财务数据进行分割,能够根据数据属性预先整理待迁移财务数据,避免大量数据造成混乱;根据数据属性对若干待迁移财务子数据进行重要程度分析,能够得到较为重要的主成分财务子数据和一般重要的非主成分财务子数据,后续根据重要程度对应处理数据;对第一等级待迁移财务数据进行加密处理,能够保证较为重要的第一等级待迁移财务数据的安全性,避免被盗取或纂改;对其余等级待迁移财务数据的格式进行标准化,能够保证一般重要的其余等级待迁移财务数据的格式规范性;将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台,既能提高数字电网财务数据的迁移效率,又能保证数字电网财务数据在数据迁移过程中的数据安全性;计算数字电网财务数据迁移效率,能够依据数字电网财务数据迁移效率调整数字电网财务数据迁移过程的步骤,例如算法的使用等,保证快速、安全、且准确地向电网管理平台迁移待迁移财务数据。
在一种实施例中,本申请实施例提供的一种数字电网财务数据迁移方法,还可以包括:
S180、获取电网管理平台基于接收的第一等级待迁移财务数据和待迁移财务数据包的导入财务数据;
S190、计算导入财务数据和待迁移财务数据的相似度;
S200、当导入财务数据和待迁移财务数据的相似度大于预设阈值时,判定数字电网财务数据迁移成功。
需要说明的是,网络侧设备可以通过最小哈希(Min Hash)算法和局部敏感哈希(Locality Sensitive Hashing,LSH)算法计算导入财务数据和待迁移财务数据的相似度,以最小哈希算法分别对导入财务数据和待迁移财务数据进行降维,减小数据量,降低计算数据相似度的难度,再以局部敏感哈希算法计算导入财务数据和待迁移财务数据的相似度,相似性的度量可以采用雅卡尔系数(交集数量除以并集数量)。
或者,网络侧设备可以通过计算导入财务数据和待迁移财务数据的余弦相似度来得到导入财务数据和待迁移财务数据的相似度,再判断导入财务数据和待迁移财务数据的相似度是否大于预设阈值,当导入财务数据和待迁移财务数据的相似度大于预设阈值时,判定数字电网财务数据迁移成功,当导入财务数据和待迁移财务数据的相似度小于预设阈值时,判定数字电网财务数据迁移失败,网络侧设备可以通过通过文字形式或声响形式发出数据迁移失败提醒。
通过验证数字电网财务数据迁移的成功性,能够及时反馈数据迁移结果,对应数据迁移失败的反馈结果,有助于及时采取应对措施,保证数据的完整性和安全性。
下面对本申请实施例提供的数字电网财务数据迁移系统进行描述,下文描述的数字电网财务数据迁移系统与上文描述的数字电网财务数据迁移方法可相互对应参照。
图2为本申请实施例提供的一种数字电网财务数据迁移系统的结构示意图。参照图2,本申请实施例提供的一种数字电网财务数据迁移系统,可以包括:
待迁移财务数据获取模块210,用于:通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
待迁移财务数据分割模块220,用于:根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系;
待迁移财务子数据分析模块230,用于:根据数据属性对若干待迁移财务子数据进行因子分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
第一等级待迁移财务数据加密处理模块240,用于:对第一等级待迁移财务数据进行加密处理,并打上加密标签;
其余等级待迁移财务数据格式标准化模块250,用于:对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
待迁移财务数据迁移模块260,用于:将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
数字电网财务数据迁移效率得到模块270,用于:计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
在一个实施例中,所述待迁移财务子数据分析模块230包括:
样本数据得到子模块,用于:得到财务样本数据和财务数据重要程度分析标签;
数据重要程度分析模型得到子模块,用于:基于财务样本数据和财务数据重要程度分析标签训练得到数据重要程度分析模型;
待迁移财务子数据分析子模块,用于:通过数据重要程度分析模型根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据。
在一个实施例中,所述其余等级待迁移财务数据格式标准化模块250包括:
财务数据格式模板制作子模块,用于:制作财务数据格式模板;
其余等级待迁移财务数据处理子模块,用于:将其余等级待迁移财务数据的非主成分财务子数据的数据属性映射成英文字母,数据数值映射成预设符号数字,按照数据属性和数据数值的映射关系组合英文字母和预设符号数字;
其余等级待迁移财务数据格式标准化子模块,用于:将组合后的英文字母和预设符号数字填充至财务数据格式模板,得到格式标准化后的其余等级待迁移财务数据。
在一个实施例中,所述第一等级待迁移财务数据加密处理模块240具体用于:
通过第一加密算法对第一等级待迁移财务数据进行第一加密处理,并打上第一加密处理标签;或者
通过第二加密算法对第一等级待迁移财务数据进行第二加密处理,并打上第二加密处理标签;或者
按数据生成时间先后排序第一等级待迁移财务数据中的主成分财务子数据,通过第一加密算法对第一等级待迁移财务数据中生成时间处于前百分之五十的主成分财务子数据进行第一加密处理,并打上第一加密处理标签,通过第二加密算法对第一等级待迁移财务数据中生成时间处于后百分之五十的主成分财务子数据进行第二加密处理,并打上第二加密处理标签,将进行第一加密处理后的第一等级待迁移财务数据和进行第二加密处理后的第一等级待迁移财务数据打包成第一等级待迁移财务数据包,并进行压缩加密处理。
在一个实施例中,所述数字电网财务数据迁移效率得到模块270包括:
数据迁移时长得到子模块,用于:根据待迁移财务数据的时间标签得到获取待迁移财务数据的初始时间点,根据电网管理平台成功接收加密处理后的第一等级待迁移财务数据和待迁移财务数据包的时间点得到最终时间点,根据初始时间点和最终时间点得到从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长;
数字电网财务数据迁移效率得到子模块,用于:通过数字电网财务数据迁移效率计算式得到数字电网财务数据迁移效率,其中数字电网财务数据迁移效率计算式为:
在一个实施例中,还包括:
待迁移财务数据恢复模块,用于:获取电网管理平台基于接收的第一等级待迁移财务数据和待迁移财务数据包的导入财务数据;
相似度计算模块,用于:计算导入财务数据和待迁移财务数据的相似度;
数字电网财务数据迁移判定模块,用于:当导入财务数据和待迁移财务数据的相似度大于预设阈值时,判定数字电网财务数据迁移成功。
需要说明的是,数据属性包括以下任一项或其任意组合:公共财务数据、预算财务数据、资金财务数据、合同财务数据、工程财务数据、资产价值财务数据、产权财务数据、物资财务数据、税务财务数据、内控财务数据、价格财务数据。
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序,以执行数字电网财务数据迁移方法的步骤,例如包括:
通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系;
根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
对第一等级待迁移财务数据进行加密处理,并打上加密标签;
对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各实施例所提供的数字电网财务数据迁移方法的步骤,例如包括:
通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系;
根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
对第一等级待迁移财务数据进行加密处理,并打上加密标签;
对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
另一方面,本申请实施例还提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤,例如包括:
通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系;
根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
对第一等级待迁移财务数据进行加密处理,并打上加密标签;
对其余等级待迁移财务数据的格式进行标准化,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (5)
1.一种数字电网财务数据迁移方法,其特征在于,包括:
通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
通过垂直分割法或者数据聚类方法根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系,当待迁移财务子数据为静态数据时,待迁移财务子数据的数据属性和数据数值成一对一的映射关系,当待迁移财务子数据为动态数据时,待迁移财务子数据的数据属性和数据数值成一对多的映射关系,数据属性包括以下任一项或其任意组合:公共财务数据、预算财务数据、资金财务数据、合同财务数据、工程财务数据、资产价值财务数据、产权财务数据、物资财务数据、税务财务数据、内控财务数据、价格财务数据;
根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
对第一等级待迁移财务数据进行加密处理,并通过暗号的形式打上加密标签,以标明数据加密的种类;
对其余等级待迁移财务数据的格式进行标准化,以将其余等级待迁移财务数据转换为结构化语言,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率;
获取电网管理平台基于接收的第一等级待迁移财务数据和待迁移财务数据包的导入财务数据;
计算导入财务数据和待迁移财务数据的相似度;
当导入财务数据和待迁移财务数据的相似度大于预设阈值时,判定数字电网财务数据迁移成功;
其中,所述对其余等级待迁移财务数据的格式进行标准化,包括:
制作财务数据格式模板;
将其余等级待迁移财务数据的非主成分财务子数据的数据属性映射成英文字母,数据数值映射成预设符号数字,按照数据属性和数据数值的映射关系组合英文字母和预设符号数字;
将组合后的英文字母和预设符号数字填充至财务数据格式模板,得到格式标准化后的其余等级待迁移财务数据;
其中,所述对第一等级待迁移财务数据进行加密处理,并打上加密标签,具体为:
按数据生成时间先后排序第一等级待迁移财务数据中的主成分财务子数据,通过第一加密算法对第一等级待迁移财务数据中生成时间处于前百分之五十的主成分财务子数据进行第一加密处理,并打上第一加密处理标签,通过第二加密算法对第一等级待迁移财务数据中生成时间处于后百分之五十的主成分财务子数据进行第二加密处理,并打上第二加密处理标签,将进行第一加密处理后的第一等级待迁移财务数据和进行第二加密处理后的第一等级待迁移财务数据打包成第一等级待迁移财务数据包,并进行压缩加密处理,所述第一加密算法为MD5加密算法,所述第二加密算法为结合SM2和SM4的国密算法;
其中,所述计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率,包括:
根据待迁移财务数据的时间标签得到获取待迁移财务数据的初始时间点,根据电网管理平台成功接收加密处理后的第一等级待迁移财务数据和待迁移财务数据包的时间点得到最终时间点,根据初始时间点和最终时间点得到从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长;
通过数字电网财务数据迁移效率计算式得到数字电网财务数据迁移效率,其中数字电网财务数据迁移效率计算式为:
2.根据权利要求1所述的数字电网财务数据迁移方法,其特征在于,所述根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据,包括:
得到财务样本数据和财务数据重要程度分析标签;
基于财务样本数据和财务数据重要程度分析标签训练得到数据重要程度分析模型;
通过数据重要程度分析模型根据数据属性对若干待迁移财务子数据进行重要程度分析,得到主成分财务子数据和非主成分财务子数据。
3.一种数字电网财务数据迁移系统,其特征在于,包括:
待迁移财务数据获取模块,用于:通过并行线程从分布式管理的财务管理系统获取待迁移财务数据,并对待迁移财务数据打上源头标签和获取时间标签;
待迁移财务数据分割模块,用于:通过垂直分割法或者数据聚类方法根据数据属性对待迁移财务数据进行分割,得到若干待迁移财务子数据,其中数据属性和对应数据数值成一对一或一对多的映射关系,当待迁移财务子数据为静态数据时,待迁移财务子数据的数据属性和数据数值成一对一的映射关系,当待迁移财务子数据为动态数据时,待迁移财务子数据的数据属性和数据数值成一对多的映射关系,数据属性包括以下任一项或其任意组合:公共财务数据、预算财务数据、资金财务数据、合同财务数据、工程财务数据、资产价值财务数据、产权财务数据、物资财务数据、税务财务数据、内控财务数据、价格财务数据;
待迁移财务子数据分析模块,用于:根据数据属性对若干待迁移财务子数据进行因子分析,得到主成分财务子数据和非主成分财务子数据,主成分财务子数据形成第一等级待迁移财务数据,非主成分财务子数据形成其余等级待迁移财务数据;
第一等级待迁移财务数据加密处理模块,用于:对第一等级待迁移财务数据进行加密处理,并通过暗号的形式打上加密标签,以标明数据加密的种类;
其余等级待迁移财务数据格式标准化模块,用于:对其余等级待迁移财务数据的格式进行标准化,以将其余等级待迁移财务数据转换为结构化语言,并将格式标准化后的其余等级待迁移财务数据打包成待迁移财务数据包;
待迁移财务数据迁移模块,用于:将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台;
数字电网财务数据迁移效率得到模块,用于:计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率;
数据迁移校验模块,用于:获取电网管理平台基于接收的第一等级待迁移财务数据和待迁移财务数据包的导入财务数据,计算导入财务数据和待迁移财务数据的相似度,当导入财务数据和待迁移财务数据的相似度大于预设阈值时,判定数字电网财务数据迁移成功;
其中,所述对其余等级待迁移财务数据的格式进行标准化,包括:
制作财务数据格式模板;
将其余等级待迁移财务数据的非主成分财务子数据的数据属性映射成英文字母,数据数值映射成预设符号数字,按照数据属性和数据数值的映射关系组合英文字母和预设符号数字;
将组合后的英文字母和预设符号数字填充至财务数据格式模板,得到格式标准化后的其余等级待迁移财务数据;
其中,所述对第一等级待迁移财务数据进行加密处理,并打上加密标签,具体为:
按数据生成时间先后排序第一等级待迁移财务数据中的主成分财务子数据,通过第一加密算法对第一等级待迁移财务数据中生成时间处于前百分之五十的主成分财务子数据进行第一加密处理,并打上第一加密处理标签,通过第二加密算法对第一等级待迁移财务数据中生成时间处于后百分之五十的主成分财务子数据进行第二加密处理,并打上第二加密处理标签,将进行第一加密处理后的第一等级待迁移财务数据和进行第二加密处理后的第一等级待迁移财务数据打包成第一等级待迁移财务数据包,并进行压缩加密处理,所述第一加密算法为MD5加密算法,所述第二加密算法为结合SM2和SM4的国密算法;
其中,所述计算从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长,结合获取的待迁移财务数据的总量,得到数字电网财务数据迁移效率,包括:
根据待迁移财务数据的时间标签得到获取待迁移财务数据的初始时间点,根据电网管理平台成功接收加密处理后的第一等级待迁移财务数据和待迁移财务数据包的时间点得到最终时间点,根据初始时间点和最终时间点得到从获取待迁移财务数据至将加密处理后的第一等级待迁移财务数据和待迁移财务数据包一并发送至迁移电网管理平台的时长;
通过数字电网财务数据迁移效率计算式得到数字电网财务数据迁移效率,其中数字电网财务数据迁移效率计算式为:
4.一种电子设备,包括处理器和存储有计算机程序的存储器,其特征在于,所述处理器执行所述计算机程序时实现权利要求1或2所述的数字电网财务数据迁移方法。
5.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1或2所述的数字电网财务数据迁移方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210818012.XA CN114896201B (zh) | 2022-07-13 | 2022-07-13 | 一种数字电网财务数据迁移方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210818012.XA CN114896201B (zh) | 2022-07-13 | 2022-07-13 | 一种数字电网财务数据迁移方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114896201A CN114896201A (zh) | 2022-08-12 |
CN114896201B true CN114896201B (zh) | 2022-10-04 |
Family
ID=82730300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210818012.XA Active CN114896201B (zh) | 2022-07-13 | 2022-07-13 | 一种数字电网财务数据迁移方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114896201B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116582547B (zh) * | 2023-07-14 | 2023-10-20 | 浪潮通信信息系统有限公司 | 算力网络数据传输方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303895B1 (en) * | 2017-01-19 | 2019-05-28 | Intuit Inc. | System and method for perpetual rekeying of various data columns with respective encryption keys and on alternating bases |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020123187A1 (en) * | 2018-12-13 | 2020-06-18 | Rotation 5, Llc | Personal financial network with personalized digital coins |
CN112000292A (zh) * | 2020-08-21 | 2020-11-27 | 北京金山云网络技术有限公司 | 数据迁移的方法、装置、电子设备和计算机存储介质 |
CN111970386B (zh) * | 2020-10-23 | 2021-09-21 | 杭州罗莱迪思科技股份有限公司 | 一种智慧灯杆的物联网通讯数据处理方法 |
CN113722695B (zh) * | 2021-11-02 | 2022-02-08 | 佳瑛科技有限公司 | 基于云端服务器的财务数据安全共享方法、装置及系统 |
CN114092207A (zh) * | 2021-11-13 | 2022-02-25 | 浙江机电职业技术学院 | 一种基于大数据处理的智能化财务信息管理系统 |
CN114625723A (zh) * | 2022-03-29 | 2022-06-14 | 金蝶蝶金云计算有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
-
2022
- 2022-07-13 CN CN202210818012.XA patent/CN114896201B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303895B1 (en) * | 2017-01-19 | 2019-05-28 | Intuit Inc. | System and method for perpetual rekeying of various data columns with respective encryption keys and on alternating bases |
Non-Patent Citations (1)
Title |
---|
面向金融行业的大数据迁移的研究与实现;王永超等;《计算机工程与应用》;20180701;第54卷(第13期);第93-99页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114896201A (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111756522B (zh) | 数据处理方法及系统 | |
US11531773B2 (en) | Verification of bitstreams | |
CN112465411B (zh) | 一种风险预测方法、装置及设备 | |
US20220245472A1 (en) | Data processing method and apparatus, and non-transitory computer readable storage medium | |
WO2022134760A1 (zh) | 数据处理方法、装置、电子设备及介质 | |
CN109831422A (zh) | 一种基于端到端序列网络的加密流量分类方法 | |
CN114896201B (zh) | 一种数字电网财务数据迁移方法及系统 | |
WO2021189975A1 (zh) | 机器行为识别方法、装置、设备及计算机可读存储介质 | |
WO2020215684A1 (zh) | 基于区块链的参数配置、重构方法、装置、设备及介质 | |
CN113726784A (zh) | 一种网络数据的安全监控方法、装置、设备及存储介质 | |
CN113822675A (zh) | 基于区块链的报文处理方法、装置、设备及存储介质 | |
CN114584290A (zh) | 后量子证书绑定 | |
CN114218322A (zh) | 基于密文传输的数据展示方法、装置、设备及介质 | |
CN112711757A (zh) | 一种基于大数据平台的数据安全集中管控方法及系统 | |
CN112883420A (zh) | 基于云计算和区块链服务的信息防护方法、系统及平台 | |
US20040223607A1 (en) | Tester of cryptographic service providers | |
CN110826034B (zh) | 一种文件签名方法、装置、电子设备及可读存储介质 | |
CN114021175B (zh) | 用户画像的配置方法、装置、计算机设备及介质 | |
AU2021104080A4 (en) | Protection method and system for data permission | |
CN114896569A (zh) | 基于区块链的代码版权登记系统、方法及平台 | |
EP3174263A1 (en) | Apparatus and method for verifying detection rule | |
CN112734050A (zh) | 文本模型的训练方法、识别方法、装置、设备及存储介质 | |
Sengupta | Designing encryption and IDS for cloud security | |
CN106681524A (zh) | 一种信息处理的方法及装置 | |
Nazarov | Estimation of the information safety level of modern infocommunication networks on the basis of the logic-probability approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |