CN114416877A - 一种数据处理方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、装置、设备及可读存储介质，涉及人工智能和医疗领域，其中，方法包括：从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息；对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；基于每种源数据的源字段特征信息构建目标结构表；若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。采用本申请实施例，可以提高数据处理的准确性。

Description

一种数据处理方法、装置、设备及可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及可读存储介质。

背景技术

医疗领域中存在多种业务场景需要进行患者数据同步，例如需要将一个终端中的患者数据同步至另一个终端中，或者，医疗终端更换新系统之后需要将旧系统的数据迁移到新系统。发明人意识到通过结构化查询语言(Structured Query Language，SQL)存储过程，然后使用调度平台调用存储过程脚本实现数据同步的方式，在数据同步过程中由于数据格式，数据类型存在差异等原因会导致数据无法同步报错被丢失，导致数据同步准确性低。

发明内容

本申请实施例提供一种数据处理方法、装置、设备及可读存储介质，可以提高数据处理的准确性，进而提高数据同步的准确性。

第一方面，本申请提供一种数据处理方法，包括：

从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，该源字段特征信息包括源字段的数据格式；

对该至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；

基于该每种源数据的源字段特征信息构建目标结构表，该目标结构表中包括目标数据，该目标数据的目标字段特征信息包括目标字段的数据格式；

若数据校验通过的源数据中的指定源字段的数据格式和该目标结构表中与该指定源字段对应的指定目标字段的数据格式不同，则基于该数据转换规则对该指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除该指定源字段以外的字段存储至目标数据端的目标数据库中。

第二方面，本申请提供一种数据处理装置，包括：

数据获取模块，用于从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，该源字段特征信息包括源字段的数据格式；

数据校验模块，用于对该至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；

数据构建模块，用于基于该每种源数据的源字段特征信息构建目标结构表，该目标结构表中包括目标数据，该目标数据的目标字段特征信息包括目标字段的数据格式；

数据存储模块，用于若数据校验通过的源数据中的指定源字段的数据格式和该目标结构表中与该指定源字段对应的指定目标字段的数据格式不同，则基于该数据转换规则对该指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除该指定源字段以外的字段存储至目标数据端的目标数据库中。

结合第二方面，在一种可能的实现方式中，该数据处理装置还包括规则配置模块，用于：

在目标展示界面中输出针对该数据转换规则的录入触发控件；

响应于针对该录入触发控件的控件触发指令，获取该目标展示界面的目标区域中的输入数据，基于该输入数据生成该数据转换规则。

结合第二方面，在一种可能的实现方式中，该源字段特征信息还包括源数据中源字段的类型，该目标数据的目标字段特征信息还包括目标字段的类型；该数据构建模块具体用于：

从该至少一种源数据中获取目标源数据，将该目标源数据的源字段特征信息确定为目标结构表中目标数据的目标字段特征信息，该目标数据中目标字段的类型与该目标源数据中源字段的类型相同，该目标字段的数据格式与该目标源数据中源字段的数据格式相同；或者，

从该至少一种源数据中获取第一源数据和第二源数据，将该第一源数据中源字段的类型确定为目标数据中目标字段的类型，将该第二源数据中源字段的数据格式确定为该目标数据中目标字段的数据格式。

结合第二方面，在一种可能的实现方式中，该源字段特征信息还包括用于指示源字段是否为空值的空值信息，该目标数据的目标字段特征信息还包括用于指示目标字段是否为空值的空值信息；该数据校验模块具体用于：

对该至少一种源数据中每个源字段的类型进行异常校验、该每个源字段的字段格式进行异常校验、以及该每个源字段的空值信息进行异常校验；

若该每个源字段的类型的异常校验、该每个源字段的数据格式的异常校验、以及该每个源字段的空值信息的异常校验均指示数据校验正常，则确定该至少一种源数据的数据校验通过；

若存在一个或多个源字段的类型的异常校验、一个或多个源字段的数据格式的异常校验、或者一个或多个源字段的空值信息的异常校验指示数据校验异常，则确定该至少一种源数据的数据校验不通过。

结合第二方面，在一种可能的实现方式中，若源数据中源字段的空值信息指示源字段为空值，该数据处理装置还包括数值设定模块，用于：

将默认数值确定为该源数据中空值字段的数值；或者，

获取该源数据中空值字段的属性特征，基于该空值字段的属性特征确定该空值字段的数值，该属性特征包括该空值字段的日期特征或者时间特征中的至少一种。

结合第二方面，在一种可能的实现方式中，该数据存储模块，具体用于：

若数据校验通过的源数据中的指定源字段的数据格式和该目标结构表中与该指定源字段对应的指定目标字段的数据格式相同，则将数据校验通过的源数据存储至该目标数据端的目标数据库中。

结合第二方面，在一种可能的实现方式中，该数据处理装置还包括异常存储模块，用于：

若数据校验不通过，则将数据校验不通过的源数据存储至该目标数据端的异常数据库中。

第三方面，本申请提供了一种计算机设备，包括：处理器、存储器、网络接口；

上述处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以使包含该处理器的计算机设备执行上述数据处理方法。

第四方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行上述数据处理方法。

第五方面，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请第一方面中的各种可选方式中提供的数据处理方法。

本申请实施例中，从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息；对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；基于每种源数据的源字段特征信息构建目标结构表；若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。数据转换规则可以通过页面配置的方式获取，从而基于数据转换规则自动对源字段的字段格式进行转换，使得转换后的源字段的字段格式与目标字段的字段格式相同，避免由于数据格式不一致导致同步时数据丢失，进而导致数据同步不准确。若数据格式相同，则无需进行数据转换，提高数据同步效率。由于可以对页面进行配置，无需将代码固定在组件中，因此可以实现动态配置数据转换规则，进而实现动态数据转换，提高数据同步的灵活性。进一步地，通过自动对数据格式进行校验，可以进一步提高数据同步效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理方法的流程示意图；

图2是本申请实施例提供的另一种数据处理方法的流程示意图；

图3是本申请实施例提供的一种数据处理装置的组成结构示意图；

图4是本申请实施例提供的一种计算机设备的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请涉及人工智能中的大数据处理技术，可以采用大数据处理技术对源数据进行数据校验，还可以采用大数据处理技术对源字段的数据格式与目标字段的数据格式进行判断，等等。本申请技术方案适用于对源数据端的数据进行数据同步，将源数据同步至目标数据端的场景中。通过从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，源字段特征信息包括源字段的数据格式；对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则。进一步地，可以基于每种源数据的源字段特征信息构建目标结构表；若校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。可以实现自动对源数据端的数据进行数据校验，并对数据格式不同的源数据进行数据转换，可以提高数据处理效率；并且可以避免由于数据校验不通过而导致数据丢失，使得数据同步不准确，以及数据格式异常而导致数据丢失，使得数据同步不准确。

请参见图1，图1是本申请实施例提供的一种数据处理方法的流程示意图，该数据处理方法可以应用于计算机设备。其中，计算机设备可以是一种电子设备，包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(AugmentedReality/Virtual Reality，AR/VR)设备、头盔显示器、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device，MID)等等；还可以是指是一台独立的服务器、或由若干台服务器组成的服务器集群、或云计算中心。如图1所示，该数据处理方法包括但不限于以下步骤：

S101，从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息。

本申请实施例中，计算机设备可以从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，源字段特征信息包括源字段的数据格式。

本申请实施例中涉及到的源数据可以是指医疗领域相关的医疗数据，例如患者就诊数据；也可以是指教育领域相关的学生数据以及教师数据；还可以是其他领域相关的数据。源数据是指从源数据端获取到的数据，源数据可以包括一个或者多个源字段，源字段特征信息可以包括源字段的数据格式，数据格式可以包括但不限于数值型和字符型。源字段特征信息还可以包括但不限于源字段的类型、源字段的空值信息。源字段的类型可以用于指示源字段为哪种类型的字段，例如可以包括姓名类型字段、性别类型字段、年龄类型字段，等等。源字段的空值信息用于指示源字段是否为空值。可以理解的是，在本申请的具体实施方式中，涉及到源数据、目标数据、患者就诊数据、学生数据以及教师数据等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得相关用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本申请技术方案可以应用于两个不同终端之间的数据同步，则源数据端和目标数据端可以是指两个不同的终端，源数据端可以是指存储有至少一种源数据的终端(即源数据端中存储有源数据)，目标数据端可以是指需要进行数据同步的终端(即目标数据端中没有源数据)。本申请技术方案中，源数据端的数量可以为一个或者多个，目标数据端的数量也可以为一个或者多个，若源数据端和目标数据端的数量为多个时，每个终端的数据同步方式均可以参考本申请实施例中的数据处理方式。或者，本申请技术方案也可以应用于将一个终端中的旧数据系统中的源数据同步至该终端的新数据系统中，旧数据系统的开发时间以及发布时间早于新数据系统，即新数据系统是在旧数据系统上进行了改进后得到的系统。则该种情况下源数据端是指装载有旧数据系统的终端，目标数据端是指装载有新数据系统的终端，源数据端和目标数据端可以是指同一个终端。例如，可以应用于医院更换新医疗系统之后需要将旧医疗系统中的数据同步至新医疗系统的场景中。

可选地，计算机设备可以采用全量获取的方式从数据源端获取源数据，也可以采用增量获取的方式从数据源端获取源数据。其中，全量获取是指每次对源数据端中的所有源数据进行获取；增量获取是指每次确定源数据端发生变化的源数据，对发生变化的源数据进行获取。源数据端发生变化的源数据可以包括但不限于增加的源数据、修改的源数据以及删除的源数据。

S102，对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则。

本申请实施例中，若源字段特征信息还包括源数据中源字段的类型以及用于指示源字段是否为空值的空值信息，则计算机设备可以对每种源数据的类型、源字段的数据格式以及源字段的空值信息进行校验，确定源数据的数据校验是否通过。具体地，计算机设备可以对至少一种源数据中每种源数据中的每个源字段的类型进行异常校验、每个源字段的字段格式进行异常校验、以及每个源字段的空值信息进行异常校验；若每个源字段的类型的异常校验、每个源字段的数据格式的异常校验、以及每个源字段的空值信息的异常校验均指示数据校验正常，则确定至少一种源数据的数据校验通过。若存在一个或多个源字段的类型的异常校验、一个或多个源字段的数据格式的异常校验、或者一个或多个源字段的空值信息的异常校验指示数据校验异常，则确定至少一种源数据的数据校验不通过。

其中，异常校验可以是指校验源数据中源字段的类型、源字段的数据格式以及源字段的空值信息是否异常。例如，若至少一种源数据中存在部分源数据中的源字段的类型无法确定、源字段的数据格式无法确定或者源字段的空值信息无法确定，则确定异常校验指示数据校验异常，则确定至少一种源数据的数据校验不通过。若至少一种源数据中每种源数据中的源字段的类型能够确定、源字段的数据格式能够确定以及源字段的空值信息能够确定，则确定异常校验指示数据校验正常，则确定至少一种源数据的数据校验通过。

可选地，本申请实施例中用户可以自定义配置数据转换规则，则计算机设备可以基于用户配置的数据转换规则实现动态配置数据转换规则，进而计算机设备可以获取数据转换规则。具体地，计算机设备可以在目标展示界面中输出针对数据转换规则的录入触发控件；响应于针对录入触发控件的控件触发指令，获取目标展示界面的目标区域中的输入数据，基于输入数据生成数据转换规则。

具体实现中，计算机设备通过在目标展示界面中输出针对数据转换规则的录入触发控件，录入触发控件例如可以是指触发按键/按钮/区域，当用户触发录入触发控件时，计算机设备可以响应于针对录入触发控件的控件触发指令，则用户可以在目标展示界面中的目标区域输入数据，计算机设备检测到该输入数据，可以采用规则生成组件或者其他组件基于输入数据生成数据转换规则。由于用户可以对计算机设备的目标展示界面进行操作，输入数据转换规则，即可以实现对配置数据进行动态修改，从而实现动态修改数据转换规则，无需将代码固定在组件中，可以提高数据同步的灵活性，也可以提高数据处理效率。

S103，基于每种源数据的源字段特征信息构建目标结构表。

本申请实施例中，计算机设备可以基于每种源数据的源字段特征信息构建目标结构表，其中，目标结构表中包括目标数据，目标数据可以包括一个或多个目标字段，目标数据的目标字段特征信息包括目标字段的数据格式，数据格式可以包括但不限于数值型和字符型。目标数据的目标字段特征信息还可以包括但不限于目标字段的类型、目标字段的空值信息。目标字段的类型可以用于指示目标字段为哪种类型的字段，例如可以包括姓名类型字段、性别类型字段、年龄类型字段，等等。目标字段的空值信息用于指示目标字段是否为空值。目标数据与源数据对应，目标数据可以包括但不限于医疗领域相关的数据、教育领域相关的数据，等等。由于源数据端的多种源数据的格式可能存在差异，导致在数据同步的过程中造成一些源数据无法识别以及同步，使得数据丢失，通过设置目标结构表，使得需要同步的数据统一，使得同步后的数据满足目标结构表中的格式，可以使得目标数据端存储的数据具有一致性，便于后续数据查询以及获取等操作。

可选地，计算机设备可以基于源数据的源字段特征信息构建目标结构表，具体地，计算机设备可以通过以下两种方式构建目标结构表：

第一种方式，计算机设备可以从至少一种源数据中获取目标源数据，将目标源数据的源字段特征信息确定为目标结构表中目标数据的目标字段特征信息。

其中，目标数据中目标字段的类型与目标源数据中源字段的类型相同，目标字段的数据格式与目标源数据中源字段的数据格式相同。也就是说，计算机设备可以从多种源数据中任选一种源数据，将选择的源数据的源字段特征信息确定为目标数据的目标字段特征信息，从而得到目标结构表，目标结构表中包括目标数据和目标数据的目标字段特征信息。

第二种方式，计算机设备可以从至少一种源数据中获取第一源数据和第二源数据，将第一源数据中源字段的类型确定为目标数据中目标字段的类型，将第二源数据中源字段的数据格式确定为目标数据中目标字段的数据格式。其中，第一源数据和第二源数据为两种不同数据，也就是说，计算机设备可以从多种源数据的源字段特征信息中任选一种或多种，对选择出的源字段特征信息进行组合，得到目标数据的目标字段特征信息，从而得到目标结构表。

S104，若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。

本申请实施例中，计算机设备通过对源数据进行数据校验，若数据校验通过，则可以构建目标结构表，确定源数据中的指定源字段的数据格式与目标结构表中的目标数据中指定目标字段的数据格式是否相同，若指定源字段的数据格式与指定目标字段的数据格式不相同，则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定字段以外的字段存储至目标数据端的目标数据库中，实现将源数据端中的数据同步至目标数据端。其中，数据校验通过的源数据中除指定源字段以外的字段是指：数据校验通过的字段中未进行数据转换的源字段。通过对源数据中指定源字段的数据格式进行转换，使得存储至目标数据端的目标数据库中的字段的数据格式符合数据库存储标准，即保存在目标数据库中的字段的数据格式与目标字段的数据格式相同，便于后续数据查询以及数据获取等操作。与指定源字段对应的指定目标字段是指源字段的类型与指定目标字段的类型相同。例如指定源字段为姓名类型字段，指定目标字段也为姓名类型字段；或者指定源字段为性别类型字段，指定目标字段也为性别类型字段。

举例来说，源数据中的指定源字段的类型为性别字段，指定源字段的数据格式为字符型，例如男或女，目标结构表中目标数据中的指定目标字段的类型为性别字段，指定目标字段的数据格式为数值型，例如1或2，则数据转换规则为将指定源字段的数据格式转换为指定目标字段的数据格式。例如将指定源字段中的性别字段的数据格式由字符型转换为数值型，即将“男”转换为“1”，将“女”转换为“2”，从而实现数据统一。可选地，还可以根据需求将“男”转换为“0”，将“女”转换为“1”，等等。

可选地，在数据校验通过的情况下，若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式相同，则将数据校验通过的源数据存储至目标数据端的目标数据库中。也就是说，若指定源字段的数据格式与指定目标字段的数据格式相同，则无需进行数据转换，可以提高数据同步效率。

可选地，若数据校验不通过，则将数据校验不通过的源数据存储至目标数据端的异常数据库中。其中，若计算机设备无法确定源数据中的字段的类型、或者某一个字段的字段格式、或者某一个字段的空值信息，则确定数据校验不通过。通过将数据校验不通过的源数据存储至目标数据端的异常数据库中，便于后续进行数据排查，重新进行数据同步，避免数据丢失。

可选地，若源数据中源字段的空值信息指示源字段为空值，则计算机设备可以将默认数值确定为源数据中空值字段的数值。其中，空值字段是指源数据中源字段的空值信息指示该源字段为空值的字段。或者，计算机设备可以获取源数据中空值字段的属性特征，基于空值字段的属性特征确定空值字段的数值。其中，属性特征可以包括但不限于空值字段的日期特征和时间特征。

举例来说，例如空值字段为医疗数据随访日期字段，空值字段的属性特征可以是指日期特征，则计算机设备可以将建卡日期确定为医疗数据随访日期，或者将默认日期确定为医疗数据随访日期。由于预先设置了字段为空值时，将默认值确定为空值字段的数值，或者基于空值字段的属性特征确定空值字段的数值，可以避免由于数据同步时无法对空值字段进行同步；由于空值字段的数值是预先设定的，后续无需进行人工排查，可以节省数据同步效率。可选地，计算机设备可以预先设置预设字段，当源数据中的预设字段为空值字段时，则可以将默认数值确定为预设字段的数值，或者基于空值字段的属性特征确定预设字段的数值，若源数据中预设字段以外的字段为空值字段，则可以不进行处理，提高数据同步效率。

可选地，计算机设备可以使用NIFI系统从源数据端获取至少一种源数据。NIFI系统是一个功能强大，可以进行数据抽取、处理和分发的高性能系统。NIFI系统中可以设置多个组件，通过对多个组件之间进行编排和连接可以实现对数据流的处理和任务调度，并且在大数据量下NIFI系统可以通过集群和增加处理模块的线程数据提高处理能力，各个组件都是异步执行。其中，NIFI系统中可以设置源数据获取组件、数据清洗组件、数据转换组件以及数据入库组件，等等。具体地，计算机设备可以基于NIFI系统中的源数据获取组件从源数据端通过全量获取或者增量获取的方式获取至少一种源数据。进一步地，计算机设备可以基于数据清洗组件对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；基于每种源数据的源字段特征信息构建目标结构表。进一步地，若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则计算机设备可以采用数据转换组件基于数据转换规则对指定源字段的数据格式进行数据转换，并采用数据入库组件将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。由于NIFI系统中的各个组件为异步执行，因此可以提高数据处理效率，进而提高数据同步效率。

本申请实施例中，从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息；对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；基于每种源数据的源字段特征信息构建目标结构表；若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。数据转换规则可以通过页面配置的方式获取，从而基于数据转换规则自动对源字段的字段格式进行转换，使得转换后的源字段的字段格式与目标字段的字段格式相同，避免由于数据格式不一致导致数据丢失，进而导致数据同步不准确。若数据格式相同，则无需进行数据转换，提高数据同步效率。由于可以对页面进行配置，无需将代码固定在组件中，因此可以实现动态配置数据转换规则，进而实现动态数据转换，提高数据同步的灵活性。进一步地，通过自动对数据格式进行校验，可以进一步提高数据同步效率。

可选的，请参见图2，图2是本申请实施例提供的另一种数据处理方法的流程示意图。该数据处理方法可以应用于计算机设备；如图2所示，该数据处理方法包括但不限于以下步骤：

S201，从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息。

S202，对至少一种源数据进行数据校验，确定数据校验是否通过。

本申请实施例中，若是，即数据校验通过，则执行步骤S203；若否，即数据校验不通过，则执行步骤S207。

S203，获取数据转换规则，基于每种源数据的源字段特征信息构建目标结构表。

S204，确定数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式是否相同。

本申请实施例中，若否，即数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则执行步骤S205；若是，即数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式相同，则执行步骤S206。

S205，基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。

S206，将数据校验通过的源数据存储至目标数据端的目标数据库中。

S207，将数据校验不通过的源数据存储至目标数据端的异常数据库中。

本申请实施例中，步骤S201～步骤S207的具体实现方式可以参考图1中步骤S101～步骤S104的具体实现方式，此处不再赘述。

本申请实施例中，从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息；对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；基于每种源数据的源字段特征信息构建目标结构表；若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。数据转换规则可以通过页面配置的方式获取，从而基于数据转换规则自动对源字段的字段格式进行转换，使得转换后的源字段的字段格式与目标字段的字段格式相同，避免由于数据格式不一致导致数据丢失，进而导致数据同步不准确。若数据格式相同，则无需进行数据转换，提高数据同步效率。由于可以对页面进行配置，无需将代码固定在组件中，因此可以实现动态配置数据转换规则，进而实现动态数据转换，提高数据同步的灵活性。进一步地，通过自动对数据格式进行校验，可以进一步提高数据同步效率。

上面介绍了本申请实施例的方法，下面介绍本申请实施例的装置。

参见图3，图3是本申请实施例提供的一种数据处理装置的组成结构示意图，上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该数据处理装置为一个应用软件；该数据处理装置可以用于执行本申请实施例提供的数据处理方法中的相应步骤。该数据处理装置30包括：

数据获取模块301，用于从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，该源字段特征信息包括源字段的数据格式；

数据校验模块302，用于对该至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；

数据构建模块303，用于基于该每种源数据的源字段特征信息构建目标结构表，该目标结构表中包括目标数据，该目标数据的目标字段特征信息包括目标字段的数据格式；

数据存储模块304，用于若校验通过的源数据中的指定源字段的数据格式和该目标结构表中与该指定源字段对应的指定目标字段的数据格式不同，则基于该数据转换规则对该指定源字段的数据格式进行数据转换，并将转换后的指定源字段和校验通过的源数据中除该指定源字段以外的字段存储至目标数据端的目标数据库中。

可选地，该数据处理装置30还包括，规则配置模块305，用于：

在目标展示界面中输出针对该数据转换规则的录入触发控件；

响应于针对该录入触发控件的控件触发指令，获取该目标展示界面的目标区域中的输入数据，基于该输入数据生成该数据转换规则。

可选地，该源字段特征信息还包括源数据中源字段的类型，该目标数据的目标字段特征信息还包括目标字段的类型；该数据构建模块303具体用于：

从该至少一种源数据中获取目标源数据，将该目标源数据的源字段特征信息确定为目标结构表中目标数据的目标字段特征信息，该目标数据中目标字段的类型与该目标源数据中源字段的类型相同，该目标字段的数据格式与该目标源数据中源字段的数据格式相同；或者，

从该至少一种源数据中获取第一源数据和第二源数据，将该第一源数据中源字段的类型确定为目标数据中目标字段的类型，将该第二源数据中源字段的数据格式确定为该目标数据中目标字段的数据格式。

可选地，该源字段特征信息还包括用于指示源字段是否为空值的空值信息，该目标数据的目标字段特征信息还包括用于指示目标字段是否为空值的空值信息；该数据校验模块302具体用于：

对该至少一种源数据中每个源字段的类型进行异常校验、该每个源字段的字段格式进行异常校验、以及该每个源字段的空值信息进行异常校验；

若该每个源字段的类型的异常校验、该每个源字段的数据格式的异常校验、以及该每个源字段的空值信息的异常校验均指示数据校验正常，则确定该至少一种源数据的数据校验通过；

若存在一个或多个源字段的类型的异常校验、一个或多个源字段的数据格式的异常校验、或者一个或多个源字段的空值信息的异常校验指示数据校验异常，则确定该至少一种源数据的数据校验不通过。

可选地，若源数据中源字段的空值信息指示源字段为空值，该数据处理装置30还包括，数值设定模块306，用于：

将默认数值确定为该源数据中空值字段的数值；或者，

获取该源数据中空值字段的属性特征，基于该空值字段的属性特征确定该空值字段的数值，该属性特征包括该空值字段的日期特征或者时间特征中的至少一种。

可选地，该数据存储模块304，具体用于：

若数据校验通过的源数据中的指定源字段的数据格式和该目标结构表中与该指定源字段对应的指定目标字段的数据格式相同，则将数据校验通过的源数据存储至该目标数据端的目标数据库中。

可选地，该数据处理装置30还包括，异常存储模块307，用于：

若数据校验不通过，则将数据校验不通过的源数据存储至该目标数据端的异常数据库中。

需要说明的是，图3对应的实施例中未提及的内容可参见方法实施例的描述，这里不再赘述。

本申请实施例中，从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息；对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；基于每种源数据的源字段特征信息构建目标结构表；若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。数据转换规则可以通过页面配置的方式获取，从而基于数据转换规则自动对源字段的字段格式进行转换，使得转换后的源字段的字段格式与目标字段的字段格式相同，避免由于数据格式不一致导致数据丢失，进而导致数据同步不准确。若数据格式相同，则无需进行数据转换，提高数据同步效率。由于可以对页面进行配置，无需将代码固定在组件中，因此可以实现动态配置数据转换规则，进而实现动态数据转换，提高数据同步的灵活性。进一步地，通过自动对数据格式进行校验，可以进一步提高数据同步效率。

参见图4，图4是本申请实施例提供的一种计算机设备的组成结构示意图。如图4所示，上述计算机设备40可以包括：处理器401，网络接口404和存储器405，此外，上述计算机设备40还可以包括：用户接口403，和至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，用户接口403可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口403还可以包括标准的有线接口、无线接口。网络接口404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器405可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示，作为一种计算机可读存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图4所示的计算机设备40中，网络接口404可提供网络通讯功能；而用户接口403主要用于为用户提供输入的接口；而处理器401可以用于调用存储器405中存储的设备控制应用程序，以实现：

从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，该源字段特征信息包括源字段的数据格式；

对该至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；

基于该每种源数据的源字段特征信息构建目标结构表，该目标结构表中包括目标数据，该目标数据的目标字段特征信息包括目标字段的数据格式；

若数据校验通过的源数据中的指定源字段的数据格式和该目标结构表中与该指定源字段对应的指定目标字段的数据格式不同，则基于该数据转换规则对该指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除该指定源字段以外的字段存储至目标数据端的目标数据库中。

应当理解，本申请实施例中所描述的计算机设备40可执行前文图1和图2所对应实施例中对上述数据处理方法的描述，也可执行前文图3所对应实施例中对上述数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

本申请实施例中，从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息；对至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；基于每种源数据的源字段特征信息构建目标结构表；若数据校验通过的源数据中的指定源字段的数据格式和目标结构表中与指定源字段对应的指定目标字段的数据格式不同，则基于数据转换规则对指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除指定源字段以外的字段存储至目标数据端的目标数据库中。数据转换规则可以通过页面配置的方式获取，从而基于数据转换规则自动对源字段的字段格式进行转换，使得转换后的源字段的字段格式与目标字段的字段格式相同，避免由于数据格式不一致导致数据丢失，进而导致数据同步不准确。若数据格式相同，则无需进行数据转换，提高数据同步效率。由于可以对页面进行配置，无需将代码固定在组件中，因此可以实现动态配置数据转换规则，进而实现动态数据转换，提高数据同步的灵活性。进一步地，通过自动对数据格式进行校验，可以进一步提高数据同步效率。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被计算机执行时使该计算机执行如前述实施例的方法，该计算机可以为上述提到的计算机设备的一部分。例如为上述的处理器401。作为示例，程序指令可被部署在一个计算机设备上执行，或者被部署位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。

本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，该的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，所述源字段特征信息包括源字段的数据格式；

对所述至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；

基于所述每种源数据的源字段特征信息构建目标结构表，所述目标结构表中包括目标数据，所述目标数据的目标字段特征信息包括目标字段的数据格式；

若数据校验通过的源数据中的指定源字段的数据格式和所述目标结构表中与所述指定源字段对应的指定目标字段的数据格式不同，则基于所述数据转换规则对所述指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除所述指定源字段以外的字段存储至目标数据端的目标数据库中。

2.根据权利要求1所述的方法，其特征在于，所述获取数据转换规则之前，所述方法还包括：

在目标展示界面中输出针对所述数据转换规则的录入触发控件；

响应于针对所述录入触发控件的控件触发指令，获取所述目标展示界面的目标区域中的输入数据，基于所述输入数据生成所述数据转换规则。

3.根据权利要求1所述的方法，其特征在于，所述源字段特征信息还包括源数据中源字段的类型，所述目标数据的目标字段特征信息还包括目标字段的类型；

所述基于所述每种源数据的源字段特征信息构建目标结构表，包括：

从所述至少一种源数据中获取目标源数据，将所述目标源数据的源字段特征信息确定为目标结构表中目标数据的目标字段特征信息，所述目标数据中目标字段的类型与所述目标源数据中源字段的类型相同，所述目标字段的数据格式与所述目标源数据中源字段的数据格式相同；或者，

从所述至少一种源数据中获取第一源数据和第二源数据，将所述第一源数据中源字段的类型确定为目标数据中目标字段的类型，将所述第二源数据中源字段的数据格式确定为所述目标数据中目标字段的数据格式。

4.根据权利要求3所述的方法，其特征在于，所述源字段特征信息还包括用于指示源字段是否为空值的空值信息，所述目标数据的目标字段特征信息还包括用于指示目标字段是否为空值的空值信息；

所述对所述至少一种源数据进行数据校验，包括：

对每种源数据中每个源字段的类型进行异常校验、所述每个源字段的字段格式进行异常校验、以及所述每个源字段的空值信息进行异常校验；

若所述每个源字段的类型的异常校验、所述每个源字段的数据格式的异常校验、以及所述每个源字段的空值信息的异常校验均指示数据校验正常，则确定所述至少一种源数据的数据校验通过；

若存在一个或多个源字段的类型的异常校验、一个或多个源字段的数据格式的异常校验、或者一个或多个源字段的空值信息的异常校验指示数据校验异常，则确定所述至少一种源数据的数据校验不通过。

5.根据权利要求4所述的方法，其特征在于，若源数据中源字段的空值信息指示源字段为空值，所述对所述至少一种源数据进行数据校验之前，所述方法还包括：

将默认数值确定为所述源数据中空值字段的数值；或者，

获取所述源数据中空值字段的属性特征，基于所述空值字段的属性特征确定所述空值字段的数值，所述属性特征包括所述空值字段的日期特征或者时间特征中的至少一种。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述若数据校验通过，则获取数据转换规则之后，所述方法还包括：

若数据校验通过的源数据中的指定源字段的数据格式和所述目标结构表中与所述指定源字段对应的指定目标字段的数据格式相同，则将数据校验通过的源数据存储至所述目标数据端的目标数据库中。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述至少一种源数据进行数据校验之后，所述方法还包括：

若数据校验不通过，则将数据校验不通过的源数据存储至所述目标数据端的异常数据库中。

8.一种数据处理装置，其特征在于，包括：

数据获取模块，用于从源数据端获取至少一种源数据，以及每种源数据的源字段特征信息，所述源字段特征信息包括源字段的数据格式；

数据校验模块，用于对所述至少一种源数据进行数据校验，若数据校验通过，则获取数据转换规则；

数据构建模块，用于基于所述每种源数据的源字段特征信息构建目标结构表，所述目标结构表中包括目标数据，所述目标数据的目标字段特征信息包括目标字段的数据格式；

数据存储模块，用于若数据校验通过的源数据中的指定源字段的数据格式和所述目标结构表中与所述指定源字段对应的指定目标字段的数据格式不同，则基于所述数据转换规则对所述指定源字段的数据格式进行数据转换，并将转换后的指定源字段和数据校验通过的源数据中除所述指定源字段以外的字段存储至目标数据端的目标数据库中。

9.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；

所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供数据通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以使得所述计算机设备执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-7任一项所述的方法。

Images