CN114116870B - 一种跨业务主题的数据交换方法及系统 - Google Patents

一种跨业务主题的数据交换方法及系统 Download PDF

Info

Publication number
CN114116870B
CN114116870B CN202111411539.2A CN202111411539A CN114116870B CN 114116870 B CN114116870 B CN 114116870B CN 202111411539 A CN202111411539 A CN 202111411539A CN 114116870 B CN114116870 B CN 114116870B
Authority
CN
China
Prior art keywords
data
data set
party
mapping
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111411539.2A
Other languages
English (en)
Other versions
CN114116870A (zh
Inventor
李玲
缪俞蓉
茅颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Vocational College of Business
Original Assignee
Jiangsu Vocational College of Business
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Vocational College of Business filed Critical Jiangsu Vocational College of Business
Priority to CN202111411539.2A priority Critical patent/CN114116870B/zh
Publication of CN114116870A publication Critical patent/CN114116870A/zh
Application granted granted Critical
Publication of CN114116870B publication Critical patent/CN114116870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种跨业务主题的数据交换方法及系统,其中,所述方法包括:对多方数据集合进行预处理后,进行特征提取,获得数据格式特征;根据数据流向,获得数据映射路径;基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。解决了现有技术多源数据存在多样性和差异性,导致数据转换整合能力低,使得数据无法有效处理利用的技术问题。

Description

一种跨业务主题的数据交换方法及系统
技术领域
本发明涉及数据交换领域,尤其涉及一种跨业务主题的数据交换方法及系统。
背景技术
随着智慧校园、智能校园的快速发展,各大高校多种业务管理系统和微应用不断上新,这些应用大多数是由多家不同厂商提供,汇聚了大量的数据信息,这些数据有着数据量大且变化快、分布式异构多源、跨部门协作等特点,在这种场景中积累的结构化、半结构化和非结构化数据也在逐渐增多,数据的处理需求爆发式增长,形成了较为复杂的大数据环境。
但本申请发明人在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:
现有技术多源数据存在多样性和差异性,导致数据转换整合能力低,使得数据无法有效处理利用的问题。
发明内容
本申请实施例通过提供一种跨业务主题的数据交换方法及系统,解决了现有技术多源数据存在多样性和差异性,导致数据转换整合能力低,使得数据无法有效处理利用的技术问题,达到通过对学校数据源、数据格式、管理流程、业务需求的多样性和数据质量的差异性进行数据映射整合,提高多源数据整合能力和质量管理,完善数据采集、交换、共享和管理,促进多领域数据交叉融合,进而保证数据转换和处理利用效率的技术效果。
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的方法。
第一方面,本申请实施例提供了一种跨业务主题的数据交换方法,所述方法包括:通过多方数据采集获得多方数据集合;对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征;实时获得数据流向;根据所述数据流向,获得数据映射路径;基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
另一方面,本申请还提供了一种跨业务主题的数据交换系统,所述系统包括:第一获得单元,所述第一获得单元用于通过多方数据采集获得多方数据集合;第二获得单元,所述第二获得单元用于对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征;第三获得单元,所述第三获得单元用于实时获得数据流向;第四获得单元,所述第四获得单元用于根据所述数据流向,获得数据映射路径;第一提取单元,所述第一提取单元用于基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;第五获得单元,所述第五获得单元用于根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;第六获得单元,所述第六获得单元用于将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
第三方面,本发明实施例提供了一种电子设备,包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述收发器、所述存储器和所述处理器通过所述总线相连,所述计算机程序被所述处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了通过多方数据采集获得多方数据集合;对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征;实时获得数据流向;根据所述数据流向,获得数据映射路径;基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。进而达到通过对学校数据源、数据格式、管理流程、业务需求的多样性和数据质量的差异性进行数据映射整合,提高多源数据整合能力和质量管理,完善数据采集、交换、共享和管理,促进多领域数据交叉融合,进而保证数据转换和处理利用效率的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例一种跨业务主题的数据交换方法的流程示意图;
图2为本申请实施例一种跨业务主题的数据交换方法中获得数据格式特征的流程示意图;
图3为本申请实施例一种跨业务主题的数据交换方法中实时获得数据流向的流程示意图;
图4为本申请实施例一种跨业务主题的数据交换方法中获得第一映射数据集的流程示意图;
图5为本申请实施例一种跨业务主题的数据交换方法中获得第二方新增数据集合的流程示意图;
图6为本申请实施例一种跨业务主题的数据交换系统的结构示意图;
图7为本申请实施例所提供的一种用于执行控制输出数据的方法的电子设备的结构示意图。
附图标记说明:第一获得单元11,第二获得单元12,第三获得单元13,第四获得单元14,第一提取单元15,第五获得单元16,第六获得单元17,总线1110,处理器1120,收发器1130,总线接口1140,存储器1150,操作系统1151,应用程序1152和用户接口1160。
具体实施方式
在本发明实施例的描述中,所属技术领域的技术人员应当知道,本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此,本发明实施例可以具体实现为以下形式:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外,在一些实施例中,本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式,该计算机可读存储介质中包含计算机程序代码。
上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括:电、磁、光、电磁、红外或半导体的系统、装置或器件,或者以上任意的组合。计算机可读存储介质更具体的例子包括:便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、闪存、光纤、光盘只读存储器、光存储器件、磁存储器件或以上任意组合。在本发明实施例中,计算机可读存储介质可以是任意包含或存储程序的有形介质,该程序可以被指令执行系统、装置、器件使用或与其结合使用。
申请概述
本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。
应当理解,流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合,都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而生产出一种机器,这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行,产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。
也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样,存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。
下面结合本发明实施例中的附图对本发明实施例进行描述。
实施例一
如图1所示,本申请实施例提供了一种跨业务主题的数据交换方法,所述方法应用于一多方数据管理平台,所述方法包括:
步骤S100:通过多方数据采集获得多方数据集合;
具体而言,随着智慧校园、智能校园的快速发展,各大高校多种业务管理系统和微应用不断上新,通过多方数据采集获得多方数据集合,这些校园应用大多数是由多家不同厂商提供。所述多方数据集合汇聚了大量的数据信息,包括学生信息、考勤信息、排课信息、学籍管理、考试课堂等,这些数据有着数据量大且变化快、分布式异构多源、跨部门协作等特点,在这种场景中积累的结构化、半结构化和非结构化数据也在逐渐增多,数据的处理需求爆发式增长,形成了较为复杂的大数据环境。
步骤S200:对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征;
如图2所示,进一步而言,所述对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征,本申请实施例步骤S200还包括:
步骤S210:对所述多方数据集合进行预处理;
步骤S220:对所述多方数据集合进行预处理之后,基于格式特征进行特征提取,获得与所述多方数据集合相对应的格式特征数据集;
步骤S230:对所述格式特征数据集进行去中心化处理后,获得所述格式特征数据集的特征向量;
步骤S240:将所述预处理后的所述多方数据集合投影到所述特征向量,获得数据格式特征。
具体而言,对所述多方数据集合进行预处理,数据预处理是指在主要的处理以前对数据进行的一些处理,为了提高数据挖掘的质量,数据预处理有多种方法:数据清理,数据集成,数据变换,数据归约等。对所收集的数据进行分类或分组前所做的审核、筛选、排序等必要的处理,如对校园多方采集数据进行数据清洗,统一数据显示位数等处理,以利于计算机的运算。对所述多方数据集合进行预处理之后,基于格式特征进行特征提取,数据格式特征是描述数据保存在文件或记录中的规则,是数据保存在文件或记录中的编排格式,可为数值、字符或二进制数等形式。由数据类型及数据长度来描述,可以是字符形式的文本格式,或二进制数据形式的压缩格式,字符形式的文本格式占用的存贮空间多但透明度高,二进制数形式的压缩格式占用的存贮空间少但缺少透明度。
对与所述多方数据集合相对应的所述格式特征数据集进行去中心化处理后,获得所述格式特征数据集的特征向量,去中心化处理是对特征数据去均值,求每一个特征的平均值,然后对于所有的样本,每一个特征都减去自身的均值,目的是消除特征数据之间的差异性,可以使得不同的特征数据对参数的影响程度一致。将所述预处理后的所述多方数据集合投影到所述特征向量,获得降维后的数据格式特征,即通过某种线性投影,将高维的多方数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大,以此使用较少的数据维度,保留住较多的原数据点的特性。通过降维处理在保证信息量的前提下,剔除冗余数据,特征向量是为了在尽量保证“信息量不丢失”的情况下,对原始特征进行降维,也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影,将原特征投影到这些维度上,使降维后特征信息量损失最小。
步骤S300:实时获得数据流向;
如图3所示,进一步而言,所述实时获得数据流向,本申请实施例步骤S300还包括:
步骤S310:获得第一数据共享请求;
步骤S320:根据所述第一数据共享请求,触发数据流向获取指令;
步骤S330:根据所述数据流向获取指令,实时获得数据流向。
具体而言,数据共享就是让在不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作、运算和分析,实现数据共享,可以使更多的人更充分地使用已有数据资源,减少资料收集、数据采集等重复劳动和相应费用。根据所述第一数据共享请求,触发数据流向获取指令,根据所述数据流向获取指令,实时获得数据流向,所述数据流向是描绘数据在系统中流动和处理的过程,它反映了系统完成的逻辑输入和逻辑输出,以及把逻辑输入转换逻辑输出所需的加工处理。举例而言,与教师有关的教学安排、学生修课成绩数据流向与教务处有关的成绩排名、奖学金有关的数据处理流程,有利于数据分析和交流信息,反映数据在系统中流动和处理的过程,便于分析数据映射关系,进而提高数据交换效果。
步骤S400:根据所述数据流向,获得数据映射路径;
步骤S500:基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;
具体而言,根据所述数据流向分析获得数据映射路径,所述数据映射路径是反映所述多方数据集合中数据流动和处理的过程,表明了数据映射关系。基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方,例如所述第一方数据集合是学校食堂关于学生消费情况的数据集,所述第二方数据集合是数据流向的所述第一方数据集合映射之后的学校财务处学生消费金额数据管理,基于数据映射关系提取不同映射路径的相应数据集合,以用于后续数据交换。
步骤S600:根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;
如图4所示,进一步而言,所述根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集,本申请实施例步骤S600还包括:
步骤S610:根据所述数据映射路径,获得所述第一方数据集合和所述第二方数据集合的数据格式特征;
步骤S620:比较所述第一方数据集合和所述第二方数据集合的数据格式特征是否一致;
步骤S630:如果所述第一方数据集合和所述第二方数据集合的数据格式特征不一致,将所述第一方数据集合按照所述第二方数据集合的数据格式特征进行映射,获得第一映射数据集。
具体而言,根据所述数据映射路径,分别获取所述第一方数据集合和所述第二方数据集合的数据格式特征,如所述第一方数据集合的数据格式特征为数值,所述第二方数据集合的数据格式特征为字符或二进制形式。比较所述第一方数据集合和所述第二方数据集合的数据格式特征是否一致,如果所述第一方数据集合和所述第二方数据集合的数据格式特征不一致,表明数据集合的数据格式不同,需要进行格式转换。基于所述数据映射路径将所述第一方数据集合按照所述第二方数据集合的数据格式特征进行映射,如将所述第一方数据集合的数据格式特征映射转换为字符或二进制形式,获得对应的第一映射数据集。便于数据前后格式一致进行处理,不同数据格式特征按照映射关系进行映射转换,进而确保数据转换质量和效率。
步骤S700:将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
具体而言,将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合,所述第二方新增数据集合是对所述第一方数据集合的数据整合,使得数据进行交换共享。通过对学校数据源、数据格式、管理流程、业务需求的多样性和数据质量的差异性进行数据映射整合,提高多源数据整合能力和质量管理,完善数据采集、交换、共享和管理,促进多领域数据交叉融合,进而保证数据转换和处理利用效率。
如图5所示,进一步而言,所述将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合之前,本申请实施例步骤S700还包括:
步骤S710:所述多方数据管理平台获得来自所述第二方数据第一权限审批信息;
步骤S720:当所述第一权限审批信息审批通过后,向所述第一映射数据集配置第一掩码信息;
步骤S730:将配置所述第一掩码信息后的所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
具体而言,所述多方数据管理平台是以数据治理、数据交换共享为代表的、学校能够自主运营的数据交换平台,是学校用来管理多方数据的运维平台。通过所述多方数据管理平台获得来自所述第二方数据第一权限审批信息,所述第一权限审批信息是对所述第二方数据具有审批权限,如所述第二方数据集合是学校财务处学生消费数据,权限审批信息则是财务处的会计和出纳的审批信息。当所述第一权限审批信息审批通过后,向所述第一映射数据集配置第一掩码信息,掩码是一串二进制代码对目标字段进行位与运算,屏蔽当前的输入位,将源码与掩码经过按位运算或逻辑运算得出新的操作数。将配置所述第一掩码信息后的所述第一映射数据集发送至所述第二方数据集合,获得所述第二方新增数据集合。通过添加掩码有效解决了数据发送传输安全性,提高多源数据整合能力,进而促进多领域数据交叉融合,保证数据转换和处理利用效率。
进一步而言,所述将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合之前,本申请实施例步骤S700还包括:
步骤S740:获得第一标签信息;
步骤S750:对所述第一映射数据集中的每个数据增加所述第一标签信息;
步骤S760:将增加所述第一标签信息后的所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
具体而言,所述第一标签信息是为了和原来的第二方数据进行区分而进行添加的标签,对所述第一映射数据集中的每个数据增加所述第一标签信息,使得对所述第一映射数据集中的数据进行新增标记。将增加所述第一标签信息后的所述第一映射数据集发送至所述第二方数据集合,获得所述第二方新增数据集合。通过添加标签将映射数据集中的数据和所述第二方数据集合中的数据进行区分,表明增加标签的数据是新增数据,提高多源数据整合能力,进而促进多领域数据交叉融合,保证数据转换和处理利用效率。
进一步而言,所述对所述格式特征数据集进行去中心化处理后,获得所述格式特征数据集的特征向量,本申请实施例步骤S230还包括:
步骤S231:对所述格式特征数据集进行去中心化处理,获得第一格式特征数据集;
步骤S232:获得所述第一格式特征数据集的协方差矩阵;
步骤S233:对所述协方差矩阵进行运算,获得所述第一协方差矩阵的所述特征向量。
具体而言,对所述格式特征数据集中的各格式特征数据进行中心化处理,首先求解所述格式特征数据集中各特征的平均值,然后对于所有的样本,每一个特征都减去自身的均值,继而获得新的特征值,由新的特征值构成所述第一格式特征数据集,所述第一格式特征数据集为一数据矩阵。通过协方差公式:
对所述第一格式特征数据集进行运算,获得所述第一格式特征数据集的协方差矩阵。其中,为所述第一格式特征数据集中的特征数据;为该特征数据的平均值;为所述第一格式特征数据集中的样本数据总量。继而通过矩阵运算,求出所述协方差矩阵的特征值及特征向量,且每一特征值对应一个特征向量,在求出的所述特征向量中,选取最大的前K个特征值及其对应的特征向量。通过对数据集中的特征数据进行降维处理,在保证信息量的前提下,剔除冗余数据,使得数据库中特征数据的样本量减小,且降维后信息量损失最小,从而加快训练模型对于数据的运算速度。
综上所述,本申请实施例所提供的一种跨业务主题的数据交换方法及系统具有如下技术效果:
由于采用了通过多方数据采集获得多方数据集合;对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征;实时获得数据流向;根据所述数据流向,获得数据映射路径;基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。进而达到通过对学校数据源、数据格式、管理流程、业务需求的多样性和数据质量的差异性进行数据映射整合,提高多源数据整合能力和质量管理,完善数据采集、交换、共享和管理,促进多领域数据交叉融合,进而保证数据转换和处理利用效率的技术效果。
实施例二
基于与前述实施例中一种跨业务主题的数据交换方法同样发明构思,本发明还提供了一种跨业务主题的数据交换系统,如图6所示,所述系统包括:
第一获得单元11,所述第一获得单元11用于通过多方数据采集获得多方数据集合;
第二获得单元12,所述第二获得单元12用于对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征;
第三获得单元13,所述第三获得单元13用于实时获得数据流向;
第四获得单元14,所述第四获得单元14用于根据所述数据流向,获得数据映射路径;
第一提取单元15,所述第一提取单元15用于基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;
第五获得单元16,所述第五获得单元16用于根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;
第六获得单元17,所述第六获得单元17用于将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
进一步的,所述系统还包括:
第一处理单元,所述第一处理单元用于对所述多方数据集合进行预处理;
第七获得单元,所述第七获得单元用于对所述多方数据集合进行预处理之后,基于格式特征进行特征提取,获得与所述多方数据集合相对应的格式特征数据集;
第八获得单元,所述第八获得单元用于对所述格式特征数据集进行去中心化处理后,获得所述格式特征数据集的特征向量;
第九获得单元,所述第九获得单元用于将所述预处理后的所述多方数据集合投影到所述特征向量,获得数据格式特征。
进一步的,所述系统还包括:
第十获得单元,所述第十获得单元用于获得第一数据共享请求;
第一处理单元,所述第一处理单元用于根据所述第一数据共享请求,触发数据流向获取指令;
第十一获得单元,所述第十一获得单元用于根据所述数据流向获取指令,实时获得数据流向。
进一步的,所述系统还包括:
第十二获得单元,所述第十二获得单元用于根据所述数据映射路径,获得所述第一方数据集合和所述第二方数据集合的数据格式特征;
第一比较单元,所述第一比较单元用于比较所述第一方数据集合和所述第二方数据集合的数据格式特征是否一致;
第十三获得单元,所述第十三获得单元用于如果所述第一方数据集合和所述第二方数据集合的数据格式特征不一致,将所述第一方数据集合按照所述第二方数据集合的数据格式特征进行映射,获得第一映射数据集。
进一步的,所述系统还包括:
第十四获得单元,所述第十四获得单元用于所述多方数据管理获得来自所述第二方数据第一权限审批信息;
第一配置单元,所述第一配置单元用于当所述第一权限审批信息审批通过后,向所述第一映射数据集配置第一掩码信息;
第十五获得单元,所述第十五获得单元用于将配置所述第一掩码信息后的所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
进一步的,所述系统还包括:
第十六获得单元,所述第十六获得单元用于获得第一标签信息;
第一增加单元,所述第一增加单元用于对所述第一映射数据集中的每个数据增加所述第一标签信息;
第十七获得单元,所述第十七获得单元用于将增加所述第一标签信息后的所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
进一步的,所述系统还包括:
第十八获得单元,所述第十八获得单元用于对所述格式特征数据集进行去中心化处理,获得第一格式特征数据集;
第十九获得单元,所述第十九获得单元用于获得所述第一格式特征数据集的协方差矩阵;
第二十获得单元,所述第二十获得单元用于对所述协方差矩阵进行运算,获得所述第一协方差矩阵的所述特征向量。
前述图1实施例一中的一种跨业务主题的数据交换方法的各种变化方式和具体实例同样适用于本实施例的一种跨业务主题的数据交换系统,通过前述对一种跨业务主题的数据交换方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种跨业务主题的数据交换系统的实施方法,所以为了说明书的简洁,在此不再详述。
此外,本发明实施例还提供了一种电子设备,包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该收发器、该存储器和处理器分别通过总线相连,计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
示例性电子设备
具体的,参见图7所示,本发明实施例还提供了一种电子设备,该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。
在本发明实施例中,该电子设备还包括:存储在存储器1150上并可在处理器1120上运行的计算机程序,计算机程序被处理器1120执行时实现上述控制输出数据的方法实施例的各个过程。
收发器1130,用于在处理器1120的控制下接收和发送数据。
本发明实施例中,总线架构(用总线1110来代表),总线1110可以包括任意数量互联的总线和桥,总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个,包括存储器总线和存储器控制器、外围总线、加速图形端口、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制,这样的体系结构包括:工业标准体系结构总线、微通道体系结构总线、扩展总线、视频电子标准协会、外围部件互连总线。
处理器1120可以是一种集成电路芯片,具有信号处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括:通用处理器、中央处理器、网络处理器、数字信号处理器、专用集成电路、现场可编程门阵列、复杂可编程逻辑器件、可编程逻辑阵列、微控制单元或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤和逻辑框图。例如,处理器可以是单核处理器或多核处理器,处理器可以集成于单颗芯片或位于多颗不同的芯片。
处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成,或者由译码处理器中的硬件和软件模块组合执行完成。软件模块可以位于随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
总线1110还可以将例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起,总线接口1140在总线1110和收发器1130之间提供接口,这些都是本领域所公知的。因此,本发明实施例不再对其进行进一步描述。
收发器1130可以是一个元件,也可以是多个元件,例如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。例如:收发器1130从其他设备接收外部数据,收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机装置的性质,还可以提供用户接口1160,例如:触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
应理解,在本发明实施例中,存储器1150可进一步包括相对于处理器1120远程设置的存储器,这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网、局域网、无线局域网、广域网、无线广域网、城域网、互联网、公共交换电话网、普通老式电话业务网、蜂窝电话网、无线网络、无线保真网络以和两个或更多个上述网络的组合。例如,蜂窝电话网和无线网络可以是全球移动通信装置、码分多址装置、全球微波互联接入装置、通用分组无线业务装置、宽带码分多址装置、长期演进装置、LTE频分双工装置、LTE时分双工装置、先进长期演进装置、通用移动通信装置、增强移动宽带装置、海量机器类通信装置、超可靠低时延通信装置等。
应理解,本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器,或可包括易失性存储器和非易失性存储器两者。其中,非易失性存储器包括:只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器,或闪存。
易失性存储器包括:随机存取存储器,其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如:静态随机存取存储器、动态随机存取存储器、同步动态随机存取存储器、双倍数据速率同步动态随机存取存储器、增强型同步动态随机存取存储器、同步连接动态随机存取存储器和直接内存总线随机存取存储器。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
在本发明实施例中,存储器1150存储了操作系统1151和应用程序1152的如下元素:可执行模块、数据结构,或者其子集,或者其扩展集。
具体而言,操作系统1151包含各种装置程序,例如:框架层、核心库层、驱动层等,用于实现各种基础业务和处理基于硬件的任务。应用程序1152包含各种应用程序,例如:媒体播放器、浏览器,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括:小程序、对象、组件、逻辑、数据结构和其他执行特定任务或实现特定抽象数据类型的计算机装置可执行指令。
此外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
以上所述,仅为本发明实施例的具体实施方式,但本发明实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明实施例的保护范围之内。因此,本发明实施例的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种跨业务主题的数据交换方法,其特征在于,所述方法应用于一多方数据管理平台,所述方法包括:
通过多方数据采集获得多方数据集合;
对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征,其中包括:对所述多方数据集合进行预处理;对所述多方数据集合进行预处理之后,基于格式特征进行特征提取,获得与所述多方数据集合相对应的格式特征数据集;对所述格式特征数据集进行去中心化处理后,获得所述格式特征数据集的特征向量,将所述预处理后的所述多方数据集合投影到所述特征向量,获得数据格式特征;对所述格式特征数据集进行去中心化处理,去中心化处理是对特征数据去均值,求每一个特征的平均值,然后对于所有的样本,每一个特征都减去自身的均值,目的是消除特征数据之间的差异性,可以使得不同的特征数据对参数的影响程度一致;获得第一格式特征数据集;获得所述第一格式特征数据集的协方差矩阵;对所述协方差矩阵进行运算,获得所述协方差矩阵的所述特征向量;
实时获得数据流向,其中包括:获得第一数据共享请求;根据所述第一数据共享请求,触发数据流向获取指令;根据所述数据流向获取指令,实时获得数据流向;
根据所述数据流向,获得数据映射路径;
基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;
根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集,其中包括:根据所述数据映射路径,获得所述第一方数据集合和所述第二方数据集合的数据格式特征;比较所述第一方数据集合和所述第二方数据集合的数据格式特征是否一致;如果所述第一方数据集合和所述第二方数据集合的数据格式特征不一致,将所述第一方数据集合按照所述第二方数据集合的数据格式特征进行映射,获得第一映射数据集;
将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
2.如权利要求1所述的方法,其特征在于,所述将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合之前,包括:
所述多方数据管理平台获得来自所述第二方数据第一权限审批信息;
当所述第一权限审批信息审批通过后,向所述第一映射数据集配置第一掩码信息;
将配置所述第一掩码信息后的所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
3.如权利要求1所述的方法,其特征在于,所述将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合之前,包括:
获得第一标签信息;
对所述第一映射数据集中的每个数据增加所述第一标签信息;
将增加所述第一标签信息后的所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
4.一种跨业务主题的数据交换系统,其特征在于,所述系统包括:
第一获得单元,所述第一获得单元用于通过多方数据采集获得多方数据集合;
第二获得单元,所述第二获得单元用于对所述多方数据集合进行预处理后,进行特征提取,获得数据格式特征;
第一处理单元,所述第一处理单元用于对所述多方数据集合进行预处理;
第七获得单元,所述第七获得单元用于对所述多方数据集合进行预处理之后,基于格式特征进行特征提取,获得与所述多方数据集合相对应的格式特征数据集;
第八获得单元,所述第八获得单元用于对所述格式特征数据集进行去中心化处理后,获得所述格式特征数据集的特征向量;
第九获得单元,所述第九获得单元用于将所述预处理后的所述多方数据集合投影到所述特征向量,获得数据格式特征;
第十八获得单元,所述第十八获得单元用于对所述格式特征数据集进行去中心化处理,获得第一格式特征数据集;
第十九获得单元,所述第十九获得单元用于获得所述第一格式特征数据集的协方差矩阵;
第二十获得单元,所述第二十获得单元用于对所述协方差矩阵进行运算,获得所述协方差矩阵的所述特征向量;
第三获得单元,所述第三获得单元用于实时获得数据流向;
第十获得单元,所述第十获得单元用于获得第一数据共享请求;
第一处理单元,所述第一处理单元用于根据所述第一数据共享请求,触发数据流向获取指令;
第十一获得单元,所述第十一获得单元用于根据所述数据流向获取指令,实时获得数据流向;
第四获得单元,所述第四获得单元用于根据所述数据流向,获得数据映射路径;
第一提取单元,所述第一提取单元用于基于所述数据映射路径,从所述多方数据集合中提取第一方数据集合和第二方数据集合,其中,所述第一方数据集合为第二方数据集合在所述数据映射路径中之前的数据方;
第五获得单元,所述第五获得单元用于根据所述数据映射路径和所述第一方数据集合和第二方数据集合的数据格式特征进行数据映射,获得第一映射数据集;
第十二获得单元,所述第十二获得单元用于根据所述数据映射路径,获得所述第一方数据集合和所述第二方数据集合的数据格式特征;
第一比较单元,所述第一比较单元用于比较所述第一方数据集合和所述第二方数据集合的数据格式特征是否一致;
第十三获得单元,所述第十三获得单元用于如果所述第一方数据集合和所述第二方数据集合的数据格式特征不一致,将所述第一方数据集合按照所述第二方数据集合的数据格式特征进行映射,获得第一映射数据集;
第六获得单元,所述第六获得单元用于将所述第一映射数据集发送至所述第二方数据集合,获得第二方新增数据集合。
5.一种跨业务主题的数据交换电子设备,包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述收发器、所述存储器和所述处理器通过所述总线相连,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1-3中任一项所述方法中的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述方法中的步骤。
CN202111411539.2A 2021-11-25 2021-11-25 一种跨业务主题的数据交换方法及系统 Active CN114116870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111411539.2A CN114116870B (zh) 2021-11-25 2021-11-25 一种跨业务主题的数据交换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111411539.2A CN114116870B (zh) 2021-11-25 2021-11-25 一种跨业务主题的数据交换方法及系统

Publications (2)

Publication Number Publication Date
CN114116870A CN114116870A (zh) 2022-03-01
CN114116870B true CN114116870B (zh) 2023-05-30

Family

ID=80372863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111411539.2A Active CN114116870B (zh) 2021-11-25 2021-11-25 一种跨业务主题的数据交换方法及系统

Country Status (1)

Country Link
CN (1) CN114116870B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240341A (zh) * 2021-06-10 2021-08-10 中国人民解放军战略支援部队航天工程大学 一种基于大数据的信息系统效能评估方法
CN113609126A (zh) * 2021-07-06 2021-11-05 无锡四维时空信息科技有限公司 一种众源时空数据的一体化存储管理方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043837A (zh) * 2010-12-01 2011-05-04 北京迅捷英翔网络科技有限公司 数据整合系统和方法
CN102142027A (zh) * 2011-02-23 2011-08-03 南京智尚丰软件有限公司 数据整合的适配方法
US10460235B1 (en) * 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks
CN109697062B (zh) * 2019-01-14 2022-04-01 深圳孟德尔软件工程有限公司 一种多源数据交换系统及融合方法
CN113190517B (zh) * 2021-06-30 2021-10-22 北京德风新征程科技有限公司 数据集成方法、装置、电子设备和计算机可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240341A (zh) * 2021-06-10 2021-08-10 中国人民解放军战略支援部队航天工程大学 一种基于大数据的信息系统效能评估方法
CN113609126A (zh) * 2021-07-06 2021-11-05 无锡四维时空信息科技有限公司 一种众源时空数据的一体化存储管理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种改进的分布式数据Chernoff融合方法;田来;吴照林;王龙;;通信技术(第06期);第 59-63页 *

Also Published As

Publication number Publication date
CN114116870A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111832440B (zh) 人脸特征提取模型的构建方法、计算机存储介质及设备
CN110019865B (zh) 海量图片处理方法、装置、电子设备及存储介质
CN113408668A (zh) 基于联邦学习系统的决策树构建方法、装置及电子设备
CN115223662A (zh) 数据处理方法、装置、设备及存储介质
US20230281956A1 (en) Method for generating objective function, apparatus, electronic device and computer readable medium
Liu et al. A survey on semantic communications: technologies, solutions, applications and challenges
CN114116870B (zh) 一种跨业务主题的数据交换方法及系统
CN111859933A (zh) 马来语识别模型的训练方法、识别方法、装置、设备
CN116382916A (zh) 用于云电脑算力集群的资源调度方法、系统及电子设备
CN113222153A (zh) 一种量子态的模拟方法、装置、存储介质和电子装置
CN113312568B (zh) 一种基于HTML源代码和网页快照的Web信息抽取方法与系统
CN114638308A (zh) 一种获取对象关系的方法、装置、电子设备和存储介质
CN116502653A (zh) 翻译质量评估方法、电子设备、芯片及可读存储介质
CN107704580A (zh) 基于用户时期的问答推送方法、装置、服务器及存储介质
CN114510911A (zh) 文本处理方法、装置、计算机设备及存储介质
Lv et al. Transfer Learning-powered resource optimization for green computing in 5G-Aided Industrial Internet of Things
CN110532304B (zh) 数据处理方法及装置、计算机可读存储介质以及电子设备
CN106776497A (zh) 信息处理方法及信息处理装置
CN113392653A (zh) 翻译方法、相关装置、设备及计算机可读存储介质
CN113139751A (zh) 基于大数据的微服务用户业务类型确定方法
CN113590770B (zh) 一种基于点云数据的应答方法、装置、设备及存储介质
CN115114521A (zh) 特征重构模型的训练方法、使用方法、装置、设备及介质
CN116821428B (zh) 基于数据中台的业务数据智能存储方法及系统
CN116974684B (zh) 地图页面布局方法、装置、电子设备与计算机可读介质
CN116958149B (zh) 医疗模型训练方法、医疗数据分析方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant