CN110188132B - 一种数据交换方法及系统 - Google Patents

Abstract

本发明属于养老信息管理领域，公开了一种数据交换方法及系统，所述数据交换方法包括：获取外部信息管理系统的数据；在数据同步规则下，对数据进行校验、清洗、合并、格式定义、转换处理；存储处理后的数据。本发明的数据交换方法及系统，将不同信息系统的信息转化为统一的、规范的格式，便于各信息系统之间的信息交换和共享，实现了一体化、标准化的数据共享平台。

Description

一种数据交换方法及系统

技术领域

本发明属于养老信息管理领域，特别涉及一种数据交换方法及系统。

背景技术

目前随着信息化水平不断提高和发展，各养老服务机构信息化应用进入了一个新的发展阶段：一方面，成熟的办公和业务系统在每日运转，随之产生大量的业务数据；另一方面，这些信息系统由于采用不同厂商分别产生在各自平台上，使用不同语言进行开发，缺少统一规划，统一标准，彼此间很难实现信息共享，从而形成了大量孤岛式业务应用系统与僵尸数据。在业务与数据分割，不能顺利进行的情况下，增大了出错的可能性，也降低了系统使用人员的工作效率。

因此，现各养老服务机构普遍面临着多业务系统并存，数据和业务分离等问题。但废弃已有业务系统的话，会存在周期长，成本高，风险大等现实问题。因此需要一种在不同信息系统之间建立统一、规范的接口，通过计算机网络进行信息的交换和共享，最终实现一体化、标准化的数据共享平台。

发明内容

针对上述问题，本发明提供一种数据交换方法，所述数据交换方法包括：

获取外部信息管理系统的数据；

在数据同步规则下，对数据进行校验、清洗、合并、格式定义、转换处理；

存储处理后的数据。

进一步地，所述数据同步规则包括业务映射和流程控制；

所述业务映射是指根据所述数据建立业务模型，所述模型包括业务对象和/或要素、对象和/或要素的属性、对象和/或要素的行为、对象和/或要素的关系；

所述流程控制是指调度业务进程和路由。

进一步地，所述对数据进行校验处理包括必填字段校验、字符长度校验、数据范围校验、匹配校验、数据类型校验、数据格式校验中的一项或多项。

进一步地，所述对数据进行清洗处理包括缺失数据的处理、格式和内容错误数据的处理、逻辑错误数据的处理、删除多列、删除列中的空格、去除重复数据、用字符串连接两列、数据关联性验证、更改数据的类型中的一项或多项。

进一步地，所述对数据进行合并处理包括根据一个或多个键将不同的数据表中的行连接起来，合并重叠数据、数据行堆叠、数据列堆叠；

所述对数据进行格式定义处理包括对数据进行松耦合处理。

进一步地，所述对数据进行转换处理包括平滑处理、合计处理、数据泛化处理、规格化处理、属性构造处理中的一项或多项。

进一步地，所述数据交换方法还包括对数据进行管理；

所述对数据进行管理包括同步管理、数据权限、数据审核、数据维护、数据订阅和监控管理中的一项或多项。

本发明还提供了一种数据交换系统，所述数据交换系统包括：

公共服务接口，用于与外部信息管理系统建立连接，进行数据交互；

数据同步规则模块，用于为所述数据选择执行规则和路由；

数据交换引擎，用于在数据同步规则下，对数据进行校验、清洗、合并、格式定义、转换处理；

数据管理中心，用于为所述公共服务接口、数据同步规则模块和数据交换引擎提供安全管理、数据交换审核和数据监控。

进一步地，所述数据同步规则模块包括：

业务映射单元，用于根据所述数据建立业务模型；

流程控制单元，用于调度所述业务的进程和路由。

进一步地，所述数据管理中心包括：

同步管理单元，用于对数据同步规则模块中的业务规则单元、控制流程单元进行调整；

数据权限单元，用于授予和/或识别访问权限；

数据审核单元，用于审核整理所述数据；

数据维护单元，用于对所述数据进行维护；

数据订阅单元，用于根据预设条件，发送处理完成的数据；

监控管理单元，用于监控各模块和/或单元的运行状态，并提供管理接口。

本发明的数据交换方法及系统，将不同信息系统的信息转化为统一的、规范的格式，便于各信息系统之间的信息交换和共享，实现了一体化、标准化的数据共享平台。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明的数据交换方法的流程示意图；

图2示出了根据本发明的数据交换系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种数据交换方法，该方法不仅仅适用于养老服务机构，也适用于其它异构系统之间的信息交互。此处以养老服务机构为例进行说明。

示例性地，如图1所示，一种数据交换方法，其具体步骤包括：

步骤一：获取外部信息管理系统的数据。

通过预设的接口服务获取外部信息管理系统的数据。

具体的，获取外部信息管理系统的数据前，需要判断外部信息管理系统是否满足接入条件，并通过接口服务与符合权限的外部信息管理系统实现联接。

示例性地，新申请的养老服务信息管理系统和接口服务建立连接时，接口服务对新申请的养老服务信息管理系统进行授权管理。具体的，对新申请养老服务信息管理系统进行用户名、密码创建及授权，修改已有用户基本信息与密码。新申请养老服务信息管理系统基础信息维护内容包含：机构名称、所在市县、明细地址、联系电话、法定代表人姓名、用户名、登录密码等等。对用户名和机构名称进行唯一校验，完成对该新申请养老服务信息管理系统的审核确认，并开放对应的数据转换权限，对原申请机构单位的信息管理系统可进行注销和信息维护。

步骤二：在数据同步规则下，对数据进行校验、清洗、合并、格式定义、转换处理。

具体的，数据同步规则包括业务映射和流程控制。

业务映射是指对现实业务进行建模，以软件模型方式描述业务所涉及的对象和要素、以及它们的属性、行为和彼此关系，明确对象在实际业务中的作用，及对象交互的规则，从而使系统和现实业务对应起来。

示例性地，养老机构内部财务管理已使用一卡通系统，老人在养老机构内部消费，使用一卡通进行支付，对老人充值或消费的相关数据进行统计分析展示，对各相关数据进行建模。

流程控制是指提供对事务的支持和管理，业务进程调度和路由，实现流程快速定义业务，业务流程定义与实现分开。

示例性地，对于充值折扣业务，不同会员级别的老人、不同的充值金额，对应的折扣不相同。定义各个场景对应的折扣计算方式，计算时可以调用默认规则；或者根据老人姓名，调用折扣规则。折扣规则对应代码如下：

var r1＝REngine.Invoke("折扣规则","老人A",REngine.CreateParame ter("customerScore",10000))；

var r2＝REngine.Invoke("折扣规则","老人B",REngine.CreateParame ter("customerScore",10000))；

基于统一的数据标准规范，以XML为标准对数据进行映射，同时完成数据校验、数据清洗、数据合并、数据格式定义与数据转换处理，实现数据的分布式共享。提供数据的路由规则管理与元数据管理功能。

数据校验是对数据进行的验证操作，保证数据的完整性、合理性、安全性，增强了数据质量，保证程序的有效运行。

示例性地，数据验证方法包括必填字段校验、字符长度校验、数据范围校验、匹配校验(两次输入一致)、数据类型校验(字符型、数字型)、数据格式校验(匹配规则)等。

完成数据校验后，对数据进行清洗处理。数据清洗在整个数据处理过程中是非常重要的一个环节，其结果的质量直接影响模型效果和最终结论。

示例性地，数据清洗包括缺失数据的处理、格式和内容错误数据的处理、逻辑错误数据的处理、删除多列、删除列中的空格、去除重复数据、用字符串连接两列、数据关联性验证、更改数据的类型等。

通过数据验证、清洗后的数据经过合并整理，形成一个新的数据源，为数据消费者提供统一的数据视图。

常见的数据合并方法，如根据一个或多个键将不同的数据表中的行连接起来，合并重叠数据、数据行堆叠、列堆叠。

数据格式定义管理实现了合并整理后数据的松耦合，保证业务系统的独立性的重要环节。数据格式定义管理定义了各种业务数据的表现，数据格式是不同信息管理系统间进行数据交换的接口契约，清晰明确的数据格式定义可以解决业务理解不一致、查找信息困难等问题。

示例性地，对于老人进行能力评估，民政部给定了老人能力评估表，定义明确的能力评估项，不同系统使用相同的数据基准，为老人就医和护理提供数据支撑，表1为老人能力评估的日常生活活动评估表部分：

表1日常生活活动评估表

不同养老服务机构的不同信息管理系统，对老人能力评估的标准，均以上述日常生活活动评估表为标准。

数据经过合并整理后，对数据进行规格化操作，将数据转换或归并构成一个适合数据挖掘的描述形式。数据转换包含以下处理内容：(1)平滑处理，帮助除去数据中的噪声，主要技术方法有：bin方法、聚类方法和回归方法；(2)合计处理，对数据进行总结或合计操作；(3)数据泛化处理，即用更抽象(或更高层次)的概念来取代低层次或数据层的数据对象；(4)规格化，即将有关属性数据按比例投射到特定小范围之中，以消除数值型属性因大小不一而造成挖掘结果的偏差；(5)属性构造，根据已有属性集构造新的属性，以帮助数据挖掘过程。

步骤三：存储处理后的数据。

通过公共服务接口将处理后的数据存储到大数据平台中。

示例性地，大数据平台对外提供数据服务，如智慧养老系统需要的财务相关数据，对老人消费情况进行统计分析；调用医疗相关数据，如老人病历数据，医嘱等，完善老人的健康档案，为老人的护理计划提供数据参考。

数据交换方法还包括对数据的整个生命周期进行管理，包括同步管理、数据权限、数据审核、数据维护、数据订阅和监控管理等。

具体的，由于业务发生变化，导致数据处理规则、流程发送变化。同步管理是指对系统中的业务规则、控制流程进行调整。

数据权限设置数据的可访问和操作性，未经授权不可访问，保障数据的安全，同时拥有权限的用户可以对数据进行查询、比对、修改和删除等维护操作。

对数据进行整理，使数据系统化、条理化，以符合分析需要；对数据进行审核，规则引擎使用已定义的校验规则自筛选校验相关数据，保证数据的质量。数据审核管理提供准确性、适用性、及时性、一致性审核等操作方法。

数据维护包括数据内容的检查(无错漏、无冗余、无有害数据)、数据更新、数据逻辑一致性等方面的维护。

数据订阅管理，处理后的数据发布后，数据订阅者可以表达对一个或多个类别数据的兴趣，数据订阅者可以只接收感兴趣的数据。

系统监控模块为所有数据处理过程提供监控服务、接口管理服务，提供消息生命周期追踪能力，提供日志和错误提示服务。

本发明还提供了一种数据交换系统，示例性地，如图2所示，数据交换系统包括：公共服务接口、数据同步规则模块、数据交换引擎、数据管理中心。

公共服务接口，用于外部信息管理系统的数据。以SOAP、XML、WSDL、UDDI等技术为本发明的数据交换系统提供Web Service方式统一公共服务接口，实现数据交换系统的跨平台、跨语言调用。

具体的，SOAP(Simple Object Access Protocol)简单对象访问协议是交换数据的一种协议规范，是一种轻量的、简单的、基于XML(标准通用标记语言下的一个子集)的协议，它被设计成在WEB上交换结构化的和固化的信息。

XML(Extensible Markup Language)，可扩展标记语言是标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。在电子计算机中，标记指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种的信息比如文章等。XML可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。XML非常适合万维网传输，提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。

WSDL(Web Services Description Language)，描述Web服务的公共接口，这是一个基于XML的关于如何与Web服务通讯和使用的服务描述；也就是描述与目录中列出的Web服务进行交互时需要绑定的协议和信息格式。通常采用抽象语言描述该服务支持的操作和信息，使用的时候再将实际的网络协议和信息格式绑定给该服务。

UDDI(Universal Description Discovery and Integration)，是一种用于描述、发现、集成Web Service的技术，它是Web Service协议栈的一个重要部分。通过UDDI，企业可以根据自己的需要动态查找并使用Web服务，也可以将自己的Web服务动态地发布到UDDI注册中心，供其他用户使用。

公共服务接口采用面向服务的体系结构，该服务保证在一个异构的环境中实现信息稳定、可靠的传输，屏蔽用户实际的硬件层、操作系统层、网络层等相对复杂、烦琐的界面，为用户提供一个统一、标准的信息通道，保证用户的逻辑应用和底层平台没有任何关系，最大限度地提高用户应用程序的可移植性、可扩充性和可靠性。程序的不同功能单元(称为服务)通过这些服务之间定义的良好接口和契约连接起来。接口是采用中立的方式进行定义的，接口独立于实现服务的硬件平台、操作系统和编程语言。使得构建在各种养老服务信息管理系统中的服务能够通过统一和通用的方式进行交互。

数据同步规则模块，用于为所述数据选择执行规则和路由。数据同步规则模块包括业务映射单元和流程控制单元。

业务映射单元，用于对现实业务进行建模，以软件模型方式描述业务所涉及的对象和/或要素、以及它们的属性、行为和彼此关系，明确对象和/或要素在实际业务中的作用，及对象和/或要素交互的规则，从而使系统和现实业务对应起来。

流程控制单元，用于提供对业务的支持和管理，业务进程调度和路由，实现流程快速定义业务，确保业务流程定义与实现分开。

流程执行以及系统路由选择的时候，往往需要根据预设的业务规则确定路由的选择以及下一步执行的节点，同时这种选择往往是不断变化的，通过业务规则引擎可以做到：业务流程以及路由的选择，可以根据实际情况配置完成，而不需要更改程序。

数据交换引擎，在数据同步规则下，对数据进行校验、清洗、合并、格式定义、转换处理。数据交换引擎包括数据校验单元、数据清洗单元、数据合并单元、数据格式定义单元与数据转换单元。

数据校验单元，用于对经过流程控制单元处理的数据进行验证操作，保证数据的完整性、合理性、安全性，提高了数据质量。

数据清洗单元，用于对校验后的数据进行清洗处理。具体的，数据清洗单元封装了常见的数据清洗规则，如缺失数据的处理、格式和内容错误数据的处理、逻辑错误数据的处理、删除多列、删除列中的空格、去除重复数据、用字符串连接两列、数据关联性验证、更改数据的类型等。

数据合并单元，对数据验证、清洗后的数据进行合并整理，形成一个新的数据源，为数据消费者提供统一的数据视图。

数据格式定义单元，对经过合并整理后的数据实现松耦合处理，保证业务系统的独立性的重要环节。它定义了各种业务数据的表现，数据格式是不同系统间进行数据交换的接口契约，清晰明确的数据格式定义可以解决业务理解不一致、查找信息困难等问题，系统提供了可视化数据格式的建模工具，生成XML标准描述的数据结构。

数据转换单元，用于对完成数据格式定义处理的数据进行规格化操作，将数据转换或归并构成一个适合数据挖掘的描述形式。数据转换包含以下处理内容：(1)平滑处理，帮助除去数据中的噪声，主要技术方法有：bin方法、聚类方法和回归方法。(2)合计处理，对数据进行总结或合计操作。(3)数据泛化处理，所谓泛化处理就是用更抽象(或更高层次)的概念来取代低层次或数据层的数据对象。(4)规格化，规格化就是将有关属性数据按比例投射到特定小范围之中，以消除数值型属性因大小不一而造成挖掘结果的偏差。(5)属性构造，根据已有属性集构造新的属性，以帮助数据挖掘过程。

数据管理中心分别与公共服务接口、数据同步规则模块、数据交换引擎连接，实现实时信息交互。用于为所述公共服务接口、数据同步规则模块和数据交换引擎提供安全管理、数据交换审核和数据监控。

数据管理中心包括同步管理单元、数据权限单元、数据审核单元、数据维护单元、数据订阅单元和监控管理单元。

同步管理单元，用于对数据交换系统中的业务规则单元、控制流程单元进行调整管理。具体的，由于不同的业务导致数据交换方法对应的规则和流程发生变化，同步管理单元通过对数据同步规则模块进行调整，实现了数据交换系统中不同业务对应数据的同步交互处理。

数据权限单元，用于授予和/或识别访问权限。实现了数据的可访问和操作性，保障数据的安全，同时拥有权限的用户可以对数据进行查询、比对、修改和删除等维护操作。

示例性地，数据权限单元包括：

用户管理模块，用于存储管理用户和密码；

权限控制模块，实现的方式为拦截器，对于拦截到的Soap消息进行修改，服务器端要求input消息携带有用户名，密码信息，如果没有用户名和密码信息，直接拒绝调用。

数据权限单元判断外部系统接入权限的具体步骤为：

(1)客户端使用用户名和密码请求登录；

(2)用户管理模块收到请求，验证用户名与密码；

(3)验证成功，用户管理模块签发一个令牌Token(打上时间戳，服务端要验证是否过期)，并将令牌Token发送给客户端；

(4)客户端每次向数据交换系统请求资源需要带用户管理模块签发的令牌Token；

(5)服务端通过权限控制模块拦截请求，验证客户端请求中的令牌Token，验证身份后，向客户端返回请求结果。

数据审核单元，对数据进行整理，使数据系统化、条理化，以符合分析需要，需进行数据审核，保证数据的质量。审核管理对一系列规则进行维护，规则引擎使用已定义的校验规则自筛选校验相关数据，保证数据的准确性、实用性、及时性、一致性，并自动保存相关日志便于后期人工比对查验。

数据维护单元，用于对数据内容进行检查(无错漏、无冗余、无有害数据)、数据更新、数据逻辑一致性等方面的维护。

数据订阅单元，数据交换引擎处理后的数据发布后，数据订阅者可以表达对一个或多个类别数据的兴趣，数据订阅单元只向数据订阅者发送其感兴趣的数据。

监控管理单元，为数据交换系统提供监控服务和管理接口，提供数据生命周期追踪能力，提供日志和错误提示服务。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据交换方法，其特征在于，所述数据交换方法包括：

获取外部信息管理系统的数据；

在数据同步规则下，对数据进行校验、清洗、合并、格式定义、转换处理；其中，所述数据同步规则包括业务映射和流程控制；所述业务映射是指根据所述数据建立业务模型，所述模型包括业务对象和/或要素、对象和/或要素的属性、对象和/或要素的行为、对象和/或要素的关系；所述业务映射包括对现实业务进行建模，以软件模型方式描述业务所涉及的对象和要素、以及它们的属性、行为和彼此关系，明确对象在实际业务中的作用，及对象交互的规则；所述流程控制是指调度业务进程和路由；

存储处理后的数据。

2.根据权利要求1所述的数据交换方法，其特征在于，所述对数据进行校验处理包括必填字段校验、字符长度校验、数据范围校验、匹配校验、数据类型校验、数据格式校验中的一项或多项。

3.根据权利要求1所述的数据交换方法，其特征在于，所述对数据进行清洗处理包括缺失数据的处理、格式和内容错误数据的处理、逻辑错误数据的处理、删除多列、删除列中的空格、去除重复数据、用字符串连接两列、数据关联性验证、更改数据的类型中的一项或多项。

4.根据权利要求1所述的数据交换方法，其特征在于，所述对数据进行合并处理包括根据一个或多个键将不同的数据表中的行连接起来，合并重叠数据、数据行堆叠、数据列堆叠；

所述对数据进行格式定义处理包括对数据进行松耦合处理。

5.根据权利要求1所述的数据交换方法，其特征在于，所述对数据进行转换处理包括平滑处理、合计处理、数据泛化处理、规格化处理、属性构造处理中的一项或多项。

6.根据权利要求1-5中任一所述的数据交换方法，其特征在于，所述数据交换方法还包括对数据进行管理；

所述对数据进行管理包括同步管理、数据权限、数据审核、数据维护、数据订阅和监控管理中的一项或多项。

7.一种数据交换系统，其特征在于，所述数据交换系统包括：

公共服务接口，用于与外部信息管理系统建立连接，进行数据交互；

数据同步规则模块，用于为所述数据选择执行规则和路由；

数据交换引擎，用于在数据同步规则下，对数据进行校验、清洗、合并、格式定义、转换处理；其中，所述数据同步规则模块包括：业务映射单元，用于根据所述数据建立业务模型，所述业务映射单元包括对现实业务进行建模，以软件模型方式描述业务所涉及的对象和要素、以及它们的属性、行为和彼此关系，明确对象在实际业务中的作用，及对象交互的规则；流程控制单元，用于调度所述业务的进程和路由；

数据管理中心，用于为所述公共服务接口、数据同步规则模块和数据交换引擎提供安全管理、数据交换审核和数据监控。

8.根据权利要求7所述的数据交换系统，其特征在于，所述数据管理中心包括：

同步管理单元，用于对数据同步规则模块中的业务规则单元、控制流程单元进行调整；

数据权限单元，用于授予和/或识别访问权限；

数据审核单元，用于审核整理所述数据；

数据维护单元，用于对所述数据进行维护；

数据订阅单元，用于根据预设条件，发送处理完成的数据；

监控管理单元，用于监控各模块和/或单元的运行状态，并提供管理接口。

Images