CN117349349A - 异构数据集成方法、终端设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了异构数据集成方法、终端设备及计算机可读存储介质，该方法包括：获取各个数据源的初始数据，并对所述初始数据进行预处理；对预处理后的所述初始数据进行建模，生成数据模型；获取所述数据模型中的用户基础信息，并根据所述用户基础信息生成用户画像；根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中。解决在平台运行过程中减少工作人员二次录入的问题，进而达到提高工作人员工作效率的效果。

Description

异构数据集成方法、终端设备及计算机可读存储介质

技术领域

本申请涉及计算机软件和信息服务技术领域，尤其涉及异构数据集成方法、终端设备及计算机可读存储介质。

背景技术

政府管理有关的单位或者部门众多，其中部分部门从本单位的管理需要出发，开发了针对自己业务本身的行政审批系统，将很多行政业务事项实现了网上申请、网上办理。

各单位系统一般是在部门内部使用，与其他部门的其他系统兼容性差、信息共享不通畅。并且，目前各政府使用的业务系统的建设是按、平台架构、技术路线、数据标准等各有差异，且各自为政，封闭建设，尚未形成有效的共享模式和交换通道，导致跨区域、跨部门之间很难实现信息互联互通，迫使群众办事时需要重复提交材料，工作人员需要二次录入信息，降低工作效率。

发明内容

本申请实施例通过提供一种异构数据集成方法、终端设备及计算机可读存储介质，解决了政务系统不同平台运行过程中，由于各个平台数据不互通，导致在平台运行过程中，部分数据需要多次录入的问题。实现一次录入，多平台通用的效果，进而提高了工作人员的工作效率。

本申请实施例提供了一种异构数据集成方法，所述方法包括：

获取各个数据源的初始数据，并对所述初始数据进行预处理；

对预处理后的所述初始数据进行建模，生成数据模型；

获取所述数据模型中的用户基础信息，并根据所述用户基础信息生成用户画像；

根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中。

可选地，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，包括：

将所述用户画像与服务事项库中的服务事项进行匹配；

根据匹配结果，确定各个用户对应的关联业务；

向所述用户推荐对应的所述关联业务。

可选地，所述获取各个数据源的初始数据，并对所述初始数据进行预处理的步骤包括：

提取所述初始数据中的用户唯一标识；

对不同数据源中的所述用户唯一标识对应的所有数据进行数据清洗，生成标准格式的数据表。

可选地，所述对预处理后的所述初始数据进行建模，生成数据模型的步骤包括：

根据用户类型在所述数据表中提取所述初始数据；其中，所述用户类型包括自然人类型和法人类型；

根据所述初始数据构建所述数据模型。

可选地，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，还包括：

在接收到用户信息获取请求时，将所述用户信息与所述数据库中的数据进行匹配；

若存在所述用户信息对应的历史数据，则向数据请求端发送所述历史数据；

若不存在所述用户信息对应的所述历史数据，则向数据请求端发送查询失败信息。

可选地，所述在接收到用户信息获取请求时，将所述用户信息与所述数据库中的数据进行匹配的步骤之后，还包括：

若接收到数据录入信息，将录入的所述数据更新到所述数据库中的对应位置；

根据更新后的所述数据库，更新用户画像。

可选地，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，包括：

实时监测用户的访问次数；

当所述访问次数超出预设次数时，向平台管理端发出告警信息。

可选地，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，包括：

实时监测用户的页面访问时长；

当所述访问时长超过预设时间时，终止响应。

此外，为实现上述目的，本发明实施例还提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异构数据集成程序，所述处理器执行所述异构数据集成程序时，实现如上所述的方法。

此外，为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有异构数据集成程序，所述异构数据集成程序被处理器执行时，实现如上所述的方法。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

获取来自各个数据源的初始数据，也即政务系统中不同部门、不同平台接收到的数据，并对初始数据进行预处理。对预处理后的初始数据进行建模，生成数据模型，根据预设规则对所述数据模型进行分类并存储到对应的数据库中。通过将不同数据系统的数据整合到一个统一的数据系统中，当用户办理业务时，输入用户关键信息查询数据库中是否存在该用户的相关数据，若存在，则可直接调出相关数据，无需二次录入，达到提高工作人员工作效率的效果。

附图说明

图1为本申请异构数据集成方法实施例一的流程示意图；

图2为本申请一业务办理流程示意图；

图3为本申请异构数据集成方法实施例二的流程示意图；

图4为本申请一实施例方案涉及的硬件运行环境的终端结构示意图。

具体实施方式

为了解决政务服务系统中，不同部门、不同平台间的数据不互通，工作人员对同一群众的数据可能需要重复录入的问题。本申请提供一种异构数据集成方法，首先获取各个数据源的初始数据，对初始数据进行预处理，对预处理后的数据进行建模，生成数据模型，再根据预设规则对数据模型进行分类并存储到对应的数据库中。完成数据的整合，当接收到信息录入请求时，可以根据用户的关键信息查询数据库中是否存在该用户对应的基础信息，若存在，可以直接调用所述基础信息，无需二次录入相同的数据，提高工作人员的工作效率。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以通过各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

实施例一

在本实施例中，提供一种异构数据集成方法。

参照图1，本实施例的异构数据集成方法包括以下步骤：

步骤S100：获取各个数据源的初始数据，并对所述初始数据进行预处理；

在本实施例中，数据源包括在政务服务系统办理各业务产生的元数据。预处理包括数据清洗、数据变换、特征选择、特征提取等，将不同数据源中的历史数据作为异构数据集成系统的初始数据。

作为一种可选实施方式，同一用户的数据在不同数据源中的存储格式可能不同，因此在获取到初始数据后，需要对初始数据进行预处理，统一数据格式。在获取到初始数据后，提取初始数据中的用户唯一标识，对不同数据源中的用户唯一标识对应的所有数据进行数据清洗，生成标准格式的数据表。将多个数据源的数据整合到同一的数据表后，便于对数据进行管理和建模。

示例性地，用户唯一标识可以是用户的身份证号码，或者是政务服务业务系统赋予用户的唯一编码。同一用户在不同数据平台中登记的信息可能由于录入错误导致存在差异，在数据预处理时，去除重复值、处理缺失值、处理异常值等，确保最后生成的数据表的质量和一致性。数据预处理还包括数据的标准化，即将来自不同系统的数据对应的数据格式、单位和命名等规范化。

步骤S200：对预处理后的所述初始数据进行建模，生成数据模型；

在本实施例中，通过对初始数据进行建模，便于发现不同数据源的数据存在的关联关系和规律。同时还可把握和预判公众办事需求，进而提供智能化、个性化服务，变被动服务为主动服务。

作为一种可选实施方式，运用大数据技术，对政务服务基础数据、政务服务过程数据和用户行为数据等进行融合分析，有效利用政务信息数据资源，提升服务质量、降低服务成本、提高用户参与度等。

示例性地，政务服务系统包括基础数据库和业务数据库。基础数据库存放用户基础信息，如姓名、性别、年龄等基本身份信息。业务数据库存放各个政务服务系统专有的数据。在进行数据建模时，通过对各个用户的相关数据进行时序分析、频度分析、关联分析、趋势分析、聚类分析和主成分分析等分析技术，完成数据的建模。

作为另一种可选实施方式，在建立标准格式的数据表之后，可以在数据表中根据用户类型提取初始数据，再对初始数据进行建模。用户类型包括自然人和法人。由于自然人和法人涉及的相关业务不同，因此可以根据用户类型对初始数据进行建模，生成自然人数据模型和法人数据模型。便于对数据进行管理。

可选地，除了根据业务构建不同的数据模型外，还可根据实际需要构建其他的数据模型。如可以根据各个地区的经济情况、自然人的年龄段、法人的经营类型等来构建数据模型。

步骤S300：获取所述数据模型中的用户基础信息，并根据所述用户基础信息生成用户画像；

步骤S400：根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中。

在本实施例中，在完成数据建模后，获取数据模型中的用户基础信息，生成用户画像后，再根据用户画像对数据模型进行分类存储。

作为一种可选实施方式，为了保护用户的隐私数据，在生成的异构数据集成数据库中包含基础数据库和业务数据库。基础数据库中存放用户基础信息。业务数据库中存放用户办理各类业务对应的数据，只有拥有相应访问权限的账户才能访问业务数据库。

示例性地，部门A办理A类业务，部门B办理B类业务，异构集成数据库的业务数据库中有A类业务数据库和B类业务数据库。部门A的工作人员使用的账号可以访问基础数据库和A类业务数据库，无法访问B类业务数据库。

作为另一种可选实施方式，在生成数据库时，先获取数据模型中各个用户对应的用户基础信息，根据用户基础信息生成用户画像，再根据各个用户画像对数据模型进行分类并存储。

示例性地，获取用户基础信息，将用户划分为不同的分类或聚类群体，例如可以根据用户属性、行为偏好、办理的业务源等因素进行分类。再根据用户分类和聚类的结果，将用户的属性、行为和偏好等信息进行综合描述，生成用户画像。生成用户画像后，政务服务系统可以根据用户的需求，进行个性化推荐，将用户可能感兴趣的业务推送到用户首页，提高系统业务推送的精确度。

作为又一种可选实施方式，参照图2，在生成用户画像，并对数据模型进行分类存储之后，将用户画像与服务事项库中的服务事项进行匹配，根据匹配结果，确定各个用户对应的关联业务，向用户推荐对应的关联业务。

示例性地，服务事项库中包含政务服务系统平台上的各类服务事项。各个用户画像上有各自对应的用户标签，异构数据集成系统中存在用户标签库，用户标签库中存放所有类型的用户标签，并且每个用户标签都与服务事项库中的服务事项相关联。因此在生成用户画像后，将用户画像上的用户标签，与服务事项库中的服务事项进行匹配，确定用户可能感兴趣的服务事项。再由推送引擎将用户可能感兴趣的服务事项推送到用户使用终端。

可选地，推送引擎是政务服务中面向个人和法人开展主动、精准服务应用到服务平台，促进实现群众需求与政府资源高效投放的双向融合，包括精准服务标签体系管理、360度用户画像构建、服务主题、服务推送引擎一体化服务管理。精准服务引擎通过将市民姓名及身份证号或者企业名称及单位证件号码等基础信息与政务基础库、历史办事数据库、用户行为数据库等数据通过标签比对模型、办事行为分析模型的大数据处理，为用户定义精准的用户标签，维护标签与政务服务事项与标签间的关联关系，构建服务智能推荐模型，把合适的服务内容在合适的时间推送给合适的用户。使得政务服务的手段和方式更加主动、精准、直接，服务资源对接更加有效。例如，推送引擎推送的服务事项可以是面向市民的生育人群、学前儿童、应届毕业生、创业人员、失业人员、残疾人、低收入群体、老年人等人群推送政策信息，办事信息、福利信息、常见问题等方面的服务内容，面向中小企业、高薪企业、民营企业、个体工商户、外资企业、社会组织等类法人的办事信息、政策信息等服务内容。

作为再一种可选实施方式，在将数据模型存储到对应的数据库之后，若接收到用户业务办理请求，根据用户输入的用户特征信息，查询数据库中是否有该用户对应的数据，若有，则直接提取数据库中对应的数据。用户可以对提取出来的数据进行校对，若发现错误，可直接修改，将修改后的数据上传并更新数据库中的数据。由于在办理业务时，可以直接调用数据库中存储的历史数据，可在一定程度上减少工作人员或者用户的操作步骤。

示例性地，在办理业务时，用户输入身份证号码或者单位证件号码，系统自动根据接收到的身份证号码或者单位证件号码查询数据库中是否有对应的基础数据。若查询到多条相关基础数据，用户可选择要使用的条目，同时还可对查询到的数据进行修改并上传，更新数据库中的内容。若未查询到相关的基础数据，则返回信息填写界面，在信息填写完毕再上传系统，更新到数据库中。

在本实施例中，获取不同部门、不同平台的数据，作为异构数据集成系统的初始数据。对初始数据进行预处理，再对预处理后的数据进行建模，生成数据模型。再根据预设规则对数据模型进行分类，存储到对应的数据库中。由于可以将不同数据源的数据集成到一个数据库中，当后续需要办理业务时，可直接调用历史数据，直接使用相关数据，或者在历史数据的基础上作出修改，减少二次录入。并且用户在一个窗口仅需录入一次基础数据，当在其他部门办理业务时，可使用在其他部门已录入的基础数据，实现数据一次录入，同步写入业务系统，满足平台各应用服务之间的数据对接及服务调用。

实施例二

基于实施例一，提出本申请的另一实施例，参照图3，在根据用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，包括以下步骤：

步骤S410：在接收到用户信息获取请求时，将所述用户信息与所述数据库中的数据进行匹配；

步骤S420：若存在所述用户信息对应的历史数据，则向数据请求端发送所述历史数据；

步骤S430：若不存在所述用户信息对应的所述历史数据，则向数据请求端发送查询失败信息。

在本实施例中，用户信息指的是某一用户的关联信息，包括用户基础信息和用户业务信息等数据库中与该用户关联的所有可以获取到的信息。用户信息获取请求包括要获取的内容，所需用户信息的类型、范围和格式等。

作为一种可选实施方式，在接收到用户信息获取请求后，对用户信息获取请求进行解析，确定发出请求的用户权限和需要获取的数据类型。判断该用户是否具备访问相关数据的权限，若具备相关权限，再连接数据库。在获取到数据之后，根据用户信息获取请求所要求的数据格式，将数据发送到数据请求端。

示例性地，接收到用户信息获取请求后，确定当前用户具备访问相关数据的权限后，根据需要获取的数据内容，构建相应的查询语句，查询语句包括条件、排序和限制等信息，确保能够准确的提取到用户信息获取请求对应的数据。在提取到所述数据之后，再根据用户信息获取请求要求的数据格式，对数据进行整合并返回到数据请求端。

可选地，若发出用户信息获取请求的用户不具备相关的数据访问权限，或者在数据库中查询不到对应的历史数据，则向数据请求端发送查询失败信息。

作为又一种可选实施方式，为了确保数据安全，实时监测数据访问情况，当出现异常时，向系统管理端发出告警信息。异构数据集成系统存在数据监控模块，对平台服务的连接数、一定时间内可访问的数据量、每个IP访问的情况以及访问敏感数据的用户进行监控，实时显示监控状态，当出现服务运行状态异常时，及时报警。

示例性地，异构数据集成系统对各平台服务的最大允许连接数、当前连接数、服务访问总数和日平均访问次数等进行监控，实时监控访问运行压力，对服务压力设置告警值，超出告警值时向管理员发出告警。同时还可对平台访问的用户进行监控，对用户设定一定时间内可访问的数据量，若超出该数据量，则对该用户进行锁定，并向管理员发出告警。

可选地，当用户访问时长超过预设时间时，系统自动终止响应，以减少服务器资源的占用。用户长时间停留在一个页面可能是由于系统响应迟钝，此时直接终止响应，并向用户提供适当的错误提示和解决方案，以便用户作出适应性的调整。

在接收到用户信息获取请求时，将所述用户信息与所述数据库中的数据进行匹配，匹配通过后，包括以下步骤：

步骤S440：若接收到数据录入信息，将录入的所述数据更新到所述数据库中的对应位置；

步骤S450：根据更新后的所述数据库，更新用户画像。

作为一种可选实施方式，当需要对数据库中的数据进行更新时，调出数据库中的相关数据后，再在数据调取界面输入新数据，将新输入的数据更新到数据库中，再根据更新后的数据库，更新用户画像，以便推荐引擎向用户推荐关联业务，提高个性化推荐的精准度。

示例性地，在更新数据库后，根据用户的年龄、性别、地区等特征信息，构建用户画像模型，可以通过聚类算法、分类算法等来构建用户画像模型。在构建用户画像之后，可以使用数据可视化工具，如Tableau、matplotlib等来创建图表、图形和仪表板，以展示用户画像的结果。

可选地，系统还可监测用户在政务系统面板上的页面访问情况，根据访问频率、访问时长等，计算用户兴趣值，更新用户画像。随着用户使用时间的积累，所采集到的行为信息数据量提升，获取到的数据也更具有标志性，对用户的推荐信息分析也会更深入更准确，进而逐步为用户定制出个性化的业务信息库。

在本实施例中，为确保政务数据的安全性，不同用户具备相应的数据访问权限。并且异构数据集成系统还会随着用户的使用情况，更新用户画像，进而逐步提高个性化推荐的准确性。

实施例三

在本申请实施例中，提出一种异构数据集成装置。

参照图4，图4为本申请一实施例方案涉及的硬件运行环境的终端结构示意图。

如图4所示，该控制终端可以包括：处理器1001，例如CPU，网络接口1003，存储器1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图4所示，作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块、以及异构数据集成程序。处理器及存储在所述存储器上并可在所述处理器上运行的异构数据集成程序，所述处理器执行所述异构数据集成程序时，实现如上所述的异构数据集成方法。

此外，为实现上述目的，本发明实施例还提供一种可读存储介质，该可读存储介质可以是计算机可读存储介质，所述计算机可读存储介质上存储有异构数据集成程序，所述异构数据集成程序被处理器执行时，实现如上所述的异构数据集成方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种异构数据集成方法，其特征在于，所述异构数据集成方法包括以下步骤：

获取各个数据源的初始数据，并对所述初始数据进行预处理；

对预处理后的所述初始数据进行建模，生成数据模型；

获取所述数据模型中的用户基础信息，并根据所述用户基础信息生成用户画像；

根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中。

2.如权利要求1所述的异构数据集成方法，其特征在于，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，包括：

将所述用户画像与服务事项库中的服务事项进行匹配；

根据匹配结果，确定各个用户对应的关联业务；

向所述用户推荐对应的所述关联业务。

3.如权利要求1所述的异构数据集成方法，其特征在于，所述获取各个数据源的初始数据，并对所述初始数据进行预处理的步骤包括：

提取所述初始数据中的用户唯一标识；

对不同数据源中的所述用户唯一标识对应的所有数据进行数据清洗，生成标准格式的数据表。

4.如权利要求3所述的异构数据集成方法，其特征在于，所述对预处理后的所述初始数据进行建模，生成数据模型的步骤包括：

根据用户类型在所述数据表中提取所述初始数据；其中，所述用户类型包括自然人类型和法人类型；

根据所述初始数据构建所述数据模型。

5.如权利要求1所述的异构数据集成方法，其特征在于，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，还包括：

在接收到用户信息获取请求时，将所述用户信息与所述数据库中的数据进行匹配；

若存在所述用户信息对应的历史数据，则向数据请求端发送所述历史数据；

若不存在所述用户信息对应的所述历史数据，则向数据请求端发送查询失败信息。

6.如权利要求5所述的异构数据集成方法，其特征在于，所述在接收到用户信息获取请求时，将所述用户信息与所述数据库中的数据进行匹配的步骤之后，还包括：

若接收到数据录入信息，将录入的所述数据更新到所述数据库中的对应位置；

根据更新后的所述数据库，更新用户画像。

7.如权利要求1所述的异构数据集成方法，其特征在于，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，包括：

实时监测用户的访问次数；

当所述访问次数超出预设次数时，向平台管理端发出告警信息。

8.如权利要求1所述的异构数据集成方法，其特征在于，所述根据所述用户画像对所述数据模型进行分类并存储到对应的数据库中的步骤之后，包括：

实时监测用户的页面访问时长；

当所述访问时长超过预设时间时，终止响应。

9.一种终端设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异构数据集成程序，所述处理器执行所述异构数据集成程序时，实现权利要求1-8任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有异构数据集成程序，所述异构数据集成程序被处理器执行时，实现权利要求1-8任一所述的方法。