CN111209932B - 一种基于多数据源的可动态配置的用户信息引接方法 - Google Patents

一种基于多数据源的可动态配置的用户信息引接方法 Download PDF

Info

Publication number
CN111209932B
CN111209932B CN201911347725.7A CN201911347725A CN111209932B CN 111209932 B CN111209932 B CN 111209932B CN 201911347725 A CN201911347725 A CN 201911347725A CN 111209932 B CN111209932 B CN 111209932B
Authority
CN
China
Prior art keywords
data
user
management system
model
data source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911347725.7A
Other languages
English (en)
Other versions
CN111209932A (zh
Inventor
陈宵
伍荣
余双波
薛艳珠
李佳楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 30 Research Institute
Original Assignee
CETC 30 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 30 Research Institute filed Critical CETC 30 Research Institute
Priority to CN201911347725.7A priority Critical patent/CN111209932B/zh
Publication of CN111209932A publication Critical patent/CN111209932A/zh
Application granted granted Critical
Publication of CN111209932B publication Critical patent/CN111209932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多数据源的可动态配置的用户信息引接模型，包括如下工作流程：(1)获取数据源用户管理系统中的用户属性字段；(2)根据数据源用户管理系统中的用户属性字段与目标用户管理系统中的用户属性字段的映射关系配置匹配模型；(3)数据接入：根据数据源用户管理系统提供的数据获取方式，获取用户管理系统中的用户数据；(4)模型动态匹配：根据当前数据源的配置动态加载数据匹配模型；(5)用户信息拉取：将数据源用户管理系统中的数据接入到目标用户身份管理系统中；(6)数据校验：根据目标用户身份管理系统中的用户数据校验规则校验用户数据；(7)数据同步：将校验后的数据存储到目标用户身份管理系统中的数据库中。

Description

一种基于多数据源的可动态配置的用户信息引接方法
技术领域
本发明涉及一种基于多数据源的可动态配置的用户信息引接模型。
背景技术
传统的业务系统中，用户信息系统独立分散在不同的地方，系统之间的用户信息并没有互联互通，缺乏统一的管理手段，用户信息的安全保护措施也参差不齐，缺乏统一的保护，同时，各个系统中存储的用户信息数据项也参差不齐，从各用户系统获取到的用户信息汇聚成统一的用户数据进行统一管理和安全保护成为比较大的难题。
伴随大数据、云计算技术的逐渐成熟和应用，以云模式来共享用户数据成为新的发展方向。在实际的应用系统中，用户数据来自多个系统，需要从不同的用户信息系统中引接用户数据，并通过数据模型映射机制转换成统一格式的用户数据，将转换后的用户数据进行统一的管理，减少各系统间信息的冗余，减少用户信息维护的工作量。
目前，针对数据融合的技术大多是针对数据采用具体的算法如矩估计、最小二乘法等来进行数据的融合，主要应用在大数据、人工智能领域，针对具体的应用系统中的数据去拉取并形成统一的数据格式的模型很少，基于多数据源的可动态配置的数据引接模型针对实际应用场景提出的数据引接方案，更具有实际的指导意义。
发明内容
为了克服现有技术的上述缺点，本发明提供了一种基于多数据源的可动态配置的用户信息引接模型，旨在解决多数据源的用户信息引接问题，具体如下：
1)针对多种数据源环境下，如何动态配置新的用户信息数据源引接模型，实现用户信息的引接并统一管理；
2)通过数据模型映射解决不同数据源的用户数据转化，形成统一的用户数据格式，实现数据高效共享；
3)提供了高效的数据模型匹配方法，解决不同数据源的用户信息转化功能。
本发明解决其技术问题所采用的技术方案是：一种基于多数据源的可动态配置的用户信息引接模型，包括如下工作流程：
(1)获取数据源用户管理系统中的用户属性字段；
(2)根据数据源用户管理系统中的用户属性字段与目标用户管理系统中的用户属性字段的映射关系配置匹配模型；
(3)数据接入：根据数据源用户管理系统提供的数据获取方式，获取用户管理系统中的用户数据；
(4)模型动态匹配：根据当前数据源的配置动态加载数据匹配模型；
(5)用户信息拉取：将数据源用户管理系统中的数据接入到目标用户身份管理系统中；
(6)数据校验：根据目标用户身份管理系统中的用户数据校验规则校验用户数据；
(7)数据同步：将校验后的数据存储到目标用户身份管理系统中的数据库中。
与现有技术相比，本发明的积极效果是：
1)本发明提出的数据匹配方法适用于各种需要进行数据共享的业务场景，具有较广阔的应用价值；
2)本发明提出的动态配置设计，为实际应用场景中的数据共享实现提供了自动化、智能化手段，减少了人工干预过程；
3)本发明提出的数据模型匹配流程实现，能够准确的将不同数据源的用户数据转换成统一格式的用户数据，特别是针对需要从众多数据源系统中拉取用户数据的应用场景，此流程实现能够有效进行数据的整合和共享用户数据。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为本发明的总体工作流程图；
图2为本发明的用户数据模型动态匹配原理图。
具体实施方式
一种基于多数据源的可动态配置的用户信息引接模型，包括如下内容：
1.总体工作流程
如图1所示，基于多数据源的可动态配置的用户信息引接模型的总体工作流程如下：
(1)用户属性核定：获取数据源用户模型字段D1，D2，…，Dm；
(2)用户属性模版制定：根据需要引接的数据源的用户字段编写匹配模型，匹配当前统一用户管理系统中的用户模型字段F1，F2，…，Fn；
(3)数据接入：根据数据源用户管理系统提供的数据获取方式，获取用户管理系统中的用户数据；
(4)模型动态匹配：根据当前数据源的配置动态加载数据匹配模型；
(5)用户信息拉取：将数据源用户管理系统中的数据接入到目标用户身份管理系统中；
(6)数据校验：根据目标用户身份管理系统中的用户数据校验规则校验用户数据；
(7)数据同步：将校验后的数据存储到目标用户身份管理系统中的数据库中。
2.数据引接模型实现
(1)动态配置设计
在一个好的信息系统设计中，高层模块应独立于低层模块，使得模块可以非常容易地被重用，这也即系统框架设计的核心原则—依赖倒置原则。在依赖倒置原则中，高层模块都为它所需的服务声明一个抽象接口，低层模块则实现这些抽象接口，每个高层模块都通过该抽象接口使用下一层，这样高层模块就独立于低层模块，对低层模块的修改不会影响到高层模块。
在建立数据接入模型时，对实际外部数据源的接口调用属于低层模块，而业务流程中对数据的处理则是高层模块的功能，应用了依赖倒置原则之后，面向业务流程层次的模块可以定义数据访问对象接口，而该接口的实现类则属于低层模块，进行具体数据接入操作。对不同的外部数据源访问方式定义不同的底层实现，当需要不同的数据访问方式时，通过配置文件改变接口的实现类，而高层次的业务流程模块则不需要改变，从而实现达到动态配置的目的。
(2)数据引接模型实现
如图2所示，在目标用户管理系统中，通过配置文件配置不同数据源的用户模型及数据源数据拉取服务具体实现，利用动态反射机制来实现用户数据模型动态匹配和数据获取，从而完成数据源用户管理系统中的用户数据到目标用户管理系统中的数据引接。
基于多数据源的用户数据动态匹配工作流程如下：
1)数据获取接口调用：目标用户管理系统调用数据源获取服务拉取数据；
2)数据模型配置解析：数据源获取服务内部通过工厂化的方式解析对应数据源的配置文件，获取具体的数据源拉取服务实现类；
3)拉取数据：根据解析配置文件得到的具体的数据拉取实现，获取外部用户管理系统中的用户数据；
4)模型匹配：根据配置文件中的数据匹配模型，加载对应的模型匹配结构；
5)模型构造：根据加载得到的模型结构，构造具体的模型对象；
6)数据映射：根据模型对象中的数据映射规则，将从数据源用户管理系统中拉取到的用户数据映射到目标用户管理系统中的用户模型中；
7)数据返回：将映射后的统一的用户数据返回给目标用户管理系统调用服务，通过进一步处理之后，存储到目标用户身份管理系统中的数据库中。
(3)数据匹配方法
为了形成最终的统一的用户数据，从各数据源接入的数据，其数据项字段设为D1，D2，…，Dm，目标用户管理系统中的用户模型字段F1，F2，…， Fn，其中(1≤m≤n)，根据数据中集合的映射关系，(F1，F2，…，Fn)＝f(D1， D2，…，Dm),由于1≤m≤n,所以该映射为一个多对多的映射模型。在实际使用该映射模型进行映射时，如果m＜n，则需要对多余的数据项进行默认值 Vm+1.Vm+2，…，Vn填充,数据字段之间采用一一映射的方式来构建最终的用户数据。
最终采用的模型映射方式如下：
当1≤m＝n时，(F1，F2，…，Fm)＝f(D1，D2，…，Dm)；
当1≤m＜n时，(F1，F2，…，Fn)＝f(D1，D2，…，Dm,Vm+1.Vm+2，…， Vn)
3.具体实施方式
假设现在数据源为某银行用户管理系统，需要从该用户管理系统中引接用户数据，主要通过以下几步实现数据引接：
1)核定该数据源用户模型字段，包括：员工姓名(d_userName)，身份证号(d_idNo)，员工ID(d_uid)，员工职务(d_duty)，员工性别(d_sex)，员工职级 (d_dutyLevel)，员工月收入(d_salary)；
2)假设需要引接的用户数据有员工姓名(d_userName)，身份证号(d_idNo)，员工ID(d_uid)，员工职务(d_duty)，员工性别(d_sex)，员工职级(d_dutyLevel)，目标用户管理系统中用户属性字段有姓名(userName)，身份证号(idNo)，用户 ID(uid)，职务(duty)，性别(sex)，职级(level)，平台ID(pid)，根据该数据源用户管理系统中用户属性字段与目标用户管理系统中用户属性字段的映射关系配置匹配模型:
(userName,idNo,uid,duty,sex,level,pid)＝f(d_userName,d_idNo,d_uid,d_duty,d _sex,d_dutyLevel,d_idNo)，其中平台ID使用身份证号作为默认值来填充。
3)配置引接数据源目标用户管理系统中的用户数据使用的服务；
4)调用统一的数据获取服务获取数据源中的用户数据；
5)在目标用户管理系统调用数据拉取服务执行过程中，会进行模型的匹配以及数据的映射，拉取过来的用户数据会在校验完成之后进行数据的同步，最终同步到目标用户身份管理系统中的数据库中。

Claims (4)

1.一种基于多数据源的可动态配置的用户信息引接方法，其特征在于：包括如下工作流程：
（1）获取数据源用户管理系统中的用户属性字段；
（2）根据数据源用户管理系统中的用户属性字段与目标用户管理系统中的用户属性字段的映射关系配置匹配模型；
（3）数据接入：根据数据源用户管理系统提供的数据获取方式，获取用户管理系统中的用户数据；
（4）模型动态匹配：根据当前数据源的配置动态加载数据匹配模型，工作流程为：
1）数据获取接口调用：目标用户管理系统调用数据源获取服务拉取数据；
2）数据模型配置解析：数据源获取服务内部通过工厂化的方式解析对应数据源的配置文件，获取具体的数据源拉取服务实现类；
3）拉取数据：根据解析配置文件得到的具体的数据拉取实现，获取外部用户管理系统中的用户数据；
4）模型匹配：根据配置文件中的数据匹配模型，加载对应的模型匹配结构；
5）模型构造：根据加载得到的模型结构，构造具体的模型对象；
6）数据映射：根据模型对象中的数据映射规则，将从数据源用户管理系统中拉取到的用户数据映射到目标用户管理系统中的用户模型中；
7）数据返回：将映射后的统一的用户数据返回给目标用户管理系统调用服务，通过进一步处理之后，存储到目标用户身份管理系统中的数据库中；
（5）用户信息拉取：将数据源用户管理系统中的数据接入到目标用户身份管理系统中；
（6）数据校验：根据目标用户身份管理系统中的用户数据校验规则校验用户数据；
（7）数据同步：将校验后的数据存储到目标用户身份管理系统中的数据库中。
2.根据权利要求1所述的一种基于多数据源的可动态配置的用户信息引接方法，其特征在于：所述统一的用户数据的构建方法为：
1）将数据源用户管理系统中的用户属性字段设为D1，D2，…，Dm，将目标用户管理系统中的用户属性字段设为F1，F2，…，Fn，其中，1≤m≤n；
2）建立如下映射模型：
(F1，F2，…，Fn)=f(D1，D2，…，Dm)；
3）数据字段之间采用一一映射的方式来构建最终的统一的用户数据。
3.根据权利要求2所述的一种基于多数据源的可动态配置的用户信息引接方法，其特征在于：当1≤m＝n 时，采用如下模型映射方式：
(F1，F2，…，Fm)=f(D1，D2，…，Dm)。
4.根据权利要求2所述的一种基于多数据源的可动态配置的用户信息引接方法，其特征在于：当1≤m＜n 时，先对n-m个多余的数据项进行默认值Vm+1，Vm+2，…，Vn填充，然后采用如下模型映射方式：
(F1，F2，…，Fn)=f(D1，D2，…，Dm，Vm+1，Vm+2，…，Vn)。
CN201911347725.7A 2019-12-24 2019-12-24 一种基于多数据源的可动态配置的用户信息引接方法 Active CN111209932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911347725.7A CN111209932B (zh) 2019-12-24 2019-12-24 一种基于多数据源的可动态配置的用户信息引接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911347725.7A CN111209932B (zh) 2019-12-24 2019-12-24 一种基于多数据源的可动态配置的用户信息引接方法

Publications (2)

Publication Number Publication Date
CN111209932A CN111209932A (zh) 2020-05-29
CN111209932B true CN111209932B (zh) 2022-03-22

Family

ID=70789307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911347725.7A Active CN111209932B (zh) 2019-12-24 2019-12-24 一种基于多数据源的可动态配置的用户信息引接方法

Country Status (1)

Country Link
CN (1) CN111209932B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434004A (zh) * 2020-10-28 2021-03-02 金蝶云科技有限公司 异构系统的数据迁移方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250382A (zh) * 2016-01-28 2016-12-21 新博卓畅技术（北京）有限公司 一种元数据管理引擎系统及实现方法
CN110222137A (zh) * 2019-06-11 2019-09-10 鲁东大学 一种基于倾斜摄影与增强现实技术智慧校园系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367242B2 (en) * 2010-04-30 2016-06-14 D2L Corporation Systems and methods for managing information objects in dynamic data storage based upon relevance of the information objects
CN102843432B (zh) * 2012-08-30 2015-01-07 西可通信技术设备（河源）有限公司 适用于多客户端数据共享和同步更新的网络通信系统
CN103685543A (zh) * 2013-12-23 2014-03-26 中国电子科技集团公司第三十研究所 一种异构数据库间的数据同步方法及系统
US9904957B2 (en) * 2016-01-15 2018-02-27 FinLocker LLC Systems and/or methods for maintaining control over, and access to, sensitive data inclusive digital vaults and hierarchically-arranged information elements thereof
CN105867312B (zh) * 2016-04-12 2018-07-06 燕山大学 一种带材板形智能远程云测控系统
CN107656951B (zh) * 2016-12-23 2018-11-23 航天星图科技（北京）有限公司 一种同步异构数据库系统中实时数据的方法
CN106651463A (zh) * 2016-12-30 2017-05-10 上海富聪金融信息服务有限公司 金融机构服务接入系统及其接入方法
CN108667809B (zh) * 2018-04-13 2020-05-19 三维通信股份有限公司 一种多系统das web界面账户信息同步管理的实现方法
CN110096538A (zh) * 2018-08-29 2019-08-06 上海申石软件有限公司 基于高度扩展配置的统一身份管理系统
CN110377666B (zh) * 2019-07-26 2023-03-31 浪潮软件股份有限公司 基于cmsp消息中间件进行异源数据库间数据同步的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250382A (zh) * 2016-01-28 2016-12-21 新博卓畅技术（北京）有限公司 一种元数据管理引擎系统及实现方法
CN110222137A (zh) * 2019-06-11 2019-09-10 鲁东大学 一种基于倾斜摄影与增强现实技术智慧校园系统

Also Published As

Publication number Publication date
CN111209932A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN104573115A (zh) 支持多类型数据库操作的集成接口的实现方法及系统
CN103064664B (zh) 一种基于性能预估的Hadoop参数自动优化方法和系统
CN111552471A (zh) 混合云环境下的任务编排方法及系统
CN108932588B (zh) 一种前后端分离的水电站群优化调度系统及方法
CN101789045B (zh) 一种面向制造领域的mda建模工具的实现方法
US20140330780A1 (en) Universal delta data load
US8892557B2 (en) Optimal persistence of a business process
CN111127196A (zh) 信贷风控特征变量管理的方法及系统
CN113721892A (zh) 领域建模方法、装置、计算机设备和存储介质
CN107977446A (zh) 一种基于数据分区的内存网格数据加载方法
CN105573774B (zh) 应用程序参数管理及配置方法
CN109743192A (zh) 一种容器集群配置管理方法及装置
CN110705891A (zh) 一种基于高可配可变更的数据处理方法
CN111209932B (zh) 一种基于多数据源的可动态配置的用户信息引接方法
CN107798120B (zh) 一种数据转换方法及装置
CN114385126B (zh) 一种基于K8s的多租户深度学习模型研发系统及方法
CN105426527A (zh) 一种信息化测绘生产装备集成过程中统一数据建模的方法
US20210182412A1 (en) System and method for managing data object creation
DE112021004577T5 (de) Verwalten eines aufgabenablaufs in einer edge-datenverarbeitungsumgebung
CN117539433A (zh) 一种基于模型驱动架构的微服务设计方法
CN111752539A (zh) Bi服务集群系统及其搭建方法
CN109241153A (zh) 一种异构数据库集成接入方法
CN104951312A (zh) 一种基于模型驱动的业务功能定制系统
CN113986222A (zh) 云计算的api接口翻译系统
CN107818122A (zh) 一种代理组件、搜索管理方法及搜索管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant