CN118349627A - 数据标准确定方法、装置、设备、存储介质和程序产品 - Google Patents

Abstract

本公开提供了一种数据标准确定方法，可以应用于大数据技术领域和金融科技技术领域。该数据标准确定方法包括：获取待确定数据标准的目标数据，其中，目标数据包括数据表中的表字段；根据目标数据的使用范围和数据类型，确定与目标数据相匹配的目标数据标准集合；以及根据目标数据和目标数据标准集合，确定与目标数据相匹配的目标数据标准。本公开还提供了一种数据标准确定装置、设备、存储介质和程序产品。

Description

数据标准确定方法、装置、设备、存储介质和程序产品

技术领域

本公开涉及大数据技术领域和金融科技技术领域，更具体地涉及一种数据标准确定方法、装置、设备、介质和程序产品。

背景技术

在传统的数据标准确定方法中，通常需要人工从多个数据标准中确定与数据关联的目标数据标准。但是，在数据量较大的情况下，通过人工确定数据标准的方式效率低。

现有技术可以通过语义识别模型确定数据的目标数据标准。虽然通过语义识别模型确定数据标准的方式能够提高效率，但是由于语义识别模型存在无法准确识别数据语义的问题，进而导致得到的目标数据标准精确度低。

发明内容

鉴于上述问题，本公开提供了一种数据标准确定方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种数据标准确定方法，包括：获取待确定数据标准的目标数据，其中，上述目标数据包括数据表中的表字段；根据上述目标数据的使用范围和数据类型，确定与上述目标数据相匹配的目标数据标准集合；以及根据上述目标数据和上述目标数据标准集合，确定与上述目标数据相匹配的目标数据标准。

根据本公开的实施例，上述根据上述目标数据的使用范围和数据类型，确定与上述目标数据相匹配的目标数据标准集合，包括：根据上述目标数据的使用范围，从标准文档库中确定与上述目标数据相匹配的第一数据标准集合；根据上述目标数据的数据类型，从标准文档库中确定与上述目标数据相匹配的第二数据标准集合；以及将上述第一数据标准集合和上述第二数据标准集合的并集作为上述目标数据标准集合。

根据本公开的实施例，上述根据上述目标数据的使用范围，从标准文档库中确定与上述目标数据相匹配的第一数据标准集合包括：在确定上述目标数据的使用范围为单部门数据的情况下，根据上述目标数据的标识信息，确定上述目标数据适用的目标部门；并将与上述目标部门对应的至少一个数据标准组合为上述第一数据标准集合；在确定上述目标数据的使用范围为共享数据的情况下，将共享数据标准集合确定为上述第一数据标准集合。

根据本公开的实施例，上述根据上述目标数据的数据类型，从标准文档库中确定与上述目标数据相匹配的第二数据标准集合，包括：

在确定上述目标数据的数据类型为指标类数据的情况下，根据上述目标数据的标识信息，确定与上述目标数据相似的至少一个候选数据；将与上述至少一个候选数据对应的至少一个数据标准组合为上述第二数据标准集合；在确定上述目标数据的数据类型为基础类数据的情况下，将基础类数据标准集合确定为上述第二数据标准集合。

根据本公开的实施例，上述根据上述目标数据和上述目标数据标准集合，确定与上述目标数据相匹配的目标数据标准，包括：根据上述目标数据的标识信息，从标准文档库中确定与目标数据相匹配的初始数据标准集合；根据上述初始数据标准集合和上述目标数据标准集合，确定第一类数据标准、第二类数据标准和第三类数据标准，其中，上述第一类数据标准表征上述初始数据标准集合和上述目标数据标准集合共有的至少一个数据标准，上述第二类数据标准表征仅属于上述初始数据标准集合的至少一个数据标准，上述第三类数据标准表征仅属于上述目标数据标准集合的至少一个数据标准；根据上述目标数据的补充描述信息，从上述第三类数据标准中确定第四类数据标准，其中，上述补充描述信息用于定义或解释上述目标数据；以及将上述第一类数据标准和上述第四类数据标准确定为上述目标数据标准。

根据本公开的实施例，上述根据上述目标数据的标识信息，从标准文档库中确定与目标数据相匹配的初始数据标准集合，包括：将上述目标数据的标识信息输入数据标准匹配模型，输出与上述标识信息语义相似的至少一个初始数据标准，以得到上述初始数据标准集合；其中，上述将上述目标数据的标识信息输入数据标准匹配模型，输出与上述标识信息语义相似的至少一个初始数据标准，包括：确定上述标识信息的词嵌入特征；基于预设语义相似度阈值，确定与上述词嵌入特征相似的至少一个初始数据标准。

根据本公开的实施例，上述在获取上述目标数据之后，还包括：获取上述目标数据的数据来源；在确定上述数据来源为预设数据来源的情况下，根据上述目标数据的标识信息，确定与上述目标数据对应的预设标识信息；在确定标准文档库中不存在与上述预设标识信息相匹配的数据标准的情况下，利用上述预设标识信息替换上述目标数据的标识信息；在确定标准文档库中存在与上述预设标识信息相匹配的数据标准的情况下，将与上述预设标识信息相匹配的数据标准确定为上述目标数据标准。

本公开的第二方面提供了一种数据标准确定装置，包括：获取模块，用于获取待确定数据标准的目标数据，其中，上述目标数据包括数据表中的表字段；第一确定模块，用于根据上述目标数据的使用范围和数据类型，确定与上述目标数据相匹配的目标数据标准集合；以及第二确定模块，用于根据上述目标数据和上述目标数据标准集合，确定与上述目标数据相匹配的目标数据标准。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述数据标准确定方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述数据标准确定方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据标准确定方法。

根据本公开的实施例，根据目标数据的使用范围和数据类型确定目标数据标准集合，利用使用范围和数据类型扩大目标数据标准集合的范围，使得得到的目标数据标准集合与目标数据的关联程度高且不受目标数据语义的限制，进而提高目标数据标准的准确度。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的数据标准确定方法、装置、设备、介质和程序产品的应用场景图；

图2示意性示出了根据本公开实施例的数据标准确定方法的流程图；

图3示意性示出了根据本公开实施例的确定目标数据标准集合的数据流示意图；

图4示意性示出了根据本公开实施例的确定目标数据标准的示意图；

图5示意性示出了根据本公开一具体实施例的确定目标数据标准的流程图；

图6示意性示出了根据本公开实施例的数据标准确定装置的结构框图；以及

图7示意性示出了根据本公开实施例的适于实现数据标准确定方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

通过语义识别模型确定数据标准时，由于数据字段名称的差异，语义识别模型无法准确识别数据的语义，进而无法得到准确的数据标准。因此，本公开通过确定更细粒度的数据使用范围和数据类型，扩大标准文档库中数据标准的确定范围，并结合语义识别模型输出的识别结果得到最终的数据标准，提高数据标准的精确度。

本公开的实施例提供了一种数据标准确定方法，包括：获取待确定数据标准的目标数据，其中，目标数据包括数据表中的表字段；根据目标数据的使用范围和数据类型，确定与目标数据相匹配的目标数据标准集合；以及根据目标数据和目标数据标准集合，确定与目标数据相匹配的目标数据标准。

图1示意性示出了根据本公开实施例的数据标准确定方法的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102和第三终端设备103。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的数据标准确定方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据标准确定装置一般可以设置于服务器105中。本公开实施例所提供的数据标准确定方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据标准确定装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图6对公开实施例的数据标准确定方法进行详细描述。

图2示意性示出了根据本公开实施例的数据标准确定方法的流程图。

如图2所示，该实施例的数据标准确定方法包括操作S210～操作S230。

在操作S210，获取待确定数据标准的目标数据。

根据本公开的实施例，目标数据可以包括关系型数据库中数据表的表字段，也可以包括非关系数据库中数据的数据标识等。数据标准可以为用于保障数据的内外部使用和准确性的规范性约束，具体地，可以从目标数据中字段属性以及字段属性各自的字段值等的一致性和规范性进行约束。

以目标数据为表字段为例，在数据表的创建阶段确定数据标准时，可以通过对数据表中的全部表字段进行遍历，分别对每个表字段确定对应的数据标准；在数据表的更新和修改阶段，可以确定数据表中需要更新的表字段为目标数据。

根据本公开的实施例，获取待确定数据标准的目标数据，包括：基于数据表以及与数据表相匹配的数据标准确定需求，从数据表中确定目标数据。

在操作S220，根据目标数据的使用范围和数据类型，确定与目标数据相匹配的目标数据标准集合。

根据本公开的实施例，目标数据的使用范围可以包括目标数据的部门使用范围、业务使用范围以及系统使用版本范围等。

根据本公开的实施例，可以为使用范围不同的数据设置不同的数据标准。具体地，针对使用范围较大的数据设置普适性强的数据标准，针对使用范围较小的数据，可以基于使用范围设置针对性较强的数据标准。

根据本公开的实施例，可以根据业务需求将数据类型分为指标类数据和基础类数据；也可以根据表字段所对应字段值的数据类型，将数据类型分为数值类型、字符类型以及布尔类型等。

根据本公开的实施例，目标数据标准集合可以包括与目标数据相匹配的至少一个数据标准，其中，目标数据标准集合中可以包括与目标数据的字段名称的语义相匹配的数据标准、还可以包括与该字段名称的语义不匹配的数据标准。语义匹配可以通过目标数据的字段名称和数据标准的字段名称实现，还可以通过目标数据的字段名称和数据标准的描述文本实现。具体地，目标数据标准集合可以从数据标准库中确定，也可以从其他数据表中确定。

在操作S230，根据目标数据和目标数据标准集合，确定与目标数据相匹配的目标数据标准。

根据本公开的实施例，目标数据标准可以是从目标数据标准集合中的至少一个数据标准中选择的，其中，目标数据标准可以包括目标数据标准集合中的一个数据标准，也可以包括目标数据标准集合中的多个数据标准。具体地，可以利用语义识别的方式确定目标数据标准。

根据本公开的实施例，目标数据标准可以与目标数据的字段名称的语义相匹配，如可以通过语义识别模型从数据库中匹配得到与目标数据的字段名称的语义相匹配的数据标准，还可以通过直接将目标数据标准集合输入至语义识别模型中，得到目标数据集合中与目标数据的字段名称的语义相匹配的目标数据标准。因此，在目标数据标准集合中数据标准的使用范围和数据类型与目标数据相匹配的情况下，可以通过语义识别进一步筛选与目标数据关联程度更高的目标数据标准，提高目标数据标准的精准度。

根据本公开的实施例，目标数据标准还可以是目标数据标准集合中，与目标数据的字段名称的语义不匹配的数据标准。例如，目标数据标准可以包括目标数据标准集合中，与目标数据的其他字段信息的语义相匹配的数据标准。

根据本公开的实施例，根据目标数据的使用范围和数据类型确定目标数据标准集合，利用使用范围和数据类型扩大目标数据标准集合的范围，使得得到的目标数据标准集合与目标数据的关联程度高且不受目标数据语义的限制，进而提高目标数据标准的准确度。

根据本公开的实施例，根据目标数据的使用范围和数据类型，确定与目标数据相匹配的目标数据标准集合，包括：根据目标数据的使用范围，从标准文档库中确定与目标数据相匹配的第一数据标准集合；根据目标数据的数据类型，从标准文档库中确定与目标数据相匹配的第二数据标准集合；以及将第一数据标准集合和第二数据标准集合的并集作为目标数据标准集合。

根据本公开的实施例，标准文档库中可以存储有不同使用范围和不同数据类型各自对应的数据标准。在初始标准文档库建立后，可以根据专家意见对初始标准文档库进行审核和修改，得到标准文档库，具体地，在初始标准文档库通过审核的情况下，可以直接确定初始标准文档库为标准文档库；在初始标注文档库没有通过审核的情况下，根据专家意见对初始标准文档库进行修改，得到标准文档库。

根据本公开的实施例，还可以对标准文档库进行更新。具体地，在对标准文档库进行更新时，可以在终端上显示更新进度，在更新完成后对标准文档库的最近更新时间进行修改。

根据本公开的实施例，标准文档库至少包括针对使用范围的数据标准以及针对数据类型的数据标准。第一数据标准集合中的数据标准与目标数据的使用范围相匹配，第二数据标准集合中的数据标准与目标数据的数据类型相匹配。

根据本公开的实施例，从标准文档库中确定第一数据标准集合和第二数据标准集合时，可以通过规则匹配的方式，将目标数据的使用范围和数据类型输入至规则匹配模型，从标准文档库中匹配与目标数据相匹配的第一数据标准集合和第二数据标准集合。

根据本公开的实施例，由于第一数据标准集合与第二数据标准集合分别针对使用范围和数据标准，因此可以通过取并集的方式，使得目标数据标准集合中包括第一数据标准集合中的全部数据标准和第二数据标准集合中的全部标准，提高目标数据标准集合的全面性。

根据本公开的实施例，通过根据目标数据的使用范围和数据类型分别确定第一数据标准集合和第二数据标准集合，使得目标数据标准集合中的数据标准更全面。

根据本公开的实施例，根据目标数据的使用范围，从标准文档库中确定与目标数据相匹配的第一数据标准集合包括：在确定目标数据的使用范围为单部门数据的情况下，根据目标数据的标识信息，确定目标数据适用的目标部门；并将与目标部门对应的至少一个数据标准组合为第一数据标准集合；在确定目标数据的使用范围为共享数据的情况下，将共享数据标准集合确定为第一数据标准集合。

根据本公开的实施例，由于不同部门对应的业务不同，因此对于不同的部门存在不同的数据标准。对于单部门范围内使用的数据，可以针对单部门设置针对性更强的数据标准。对于共享范围使用的数据，需要考虑数据标准的普适性，设置共享数据的数据标准时需要考虑全部使用部门的需求。

根据本公开的实施例，目标数据的使用范围包括单部门数据和共享数据。单部门数据即只使用在单个部门下的目标数据，共享数据可以使用在多个部门。

根据本公开的实施例，可以通过目标数据所属数据表的表标识，确定数据表的使用范围，进而得到目标数据的使用范围。在数据表为单部门数据表的情况下，可以从数据表标识中确定数据表的适用部门，进而得到目标数据的适用部门。在数据表为共享数据表的情况下，确定目标数据为共享数据。

根据本公开的实施例，还可以根据目标数据本身的标识信息确定目标数据适用的目标部门，例如可以根据目标数据字段名称所包含的信息确定适用的目标部门。在目标数据为单部门数据的情况下，可以从字段名称中与适用的目标部门相关的信息确定目标数据的目标部门。在目标数据的字段名称中不包含适用的目标部门相关信息的情况下，可以确定目标数据为共享数据。

根据本公开的实施例，对于单部门数据使用范围的目标数据，在确定目标数据的适用的目标部门后，可以根据目标部门对应的数据标准确定目标数据的第一数据标准集合。

根据本公开的实施例，每个部门可以各自对应一个部门数据标准表，并存储于标准文档库中，其中，部门数据标准表的表名可以包括与部门信息相关的标识信息，便于查找。

根据本公开的实施例，可以将目标数据的标识信息与部门数据标准表的标识信息进行匹配，并再次利用目标数据的标识信息在部门数据标准表中进行匹配，确定部门数据表中的与目标数据匹配的数据标准组合为第一数据标准集合。

根据本公开的实施例，通过根据目标数据的使用范围确定第一数据标准集合，使得得到的第一数据标准集合符合使用范围的要求，进一步提高目标数据标准的精准度。

图3示意性示出了根据本公开实施例的确定目标数据标准集合的数据流示意图。

如图3所示，可以根据目标数据10得到目标数据的使用范围301和数据类型302。根据使用范围301可以从标准文档库303中确定第一数据标准集合304，根据数据类型302可以从标准文档库303中确定第二数据标准集合305。将第一数据标准集合304和第二数据标准集合305取并集得到目标数据标准集合20。

根据本公开的实施例，根据目标数据的数据类型，从标准文档库中确定与目标数据相匹配的第二数据标准集合，包括：在确定目标数据的数据类型为指标类数据的情况下，根据目标数据的标识信息，确定与目标数据相似的至少一个候选数据；将与至少一个候选数据对应的至少一个数据标准组合为第二数据标准集合；在确定目标数据的数据类型为基础类数据的情况下，将基础类数据标准集合确定为第二数据标准集合。

根据本公开的实施例，目标数据的数据类型包括指标类数据和基础类数据。指标类数据可以为具备统计意义的数据，通常由一个或以上的基础类数据根据一定的规则计算得到。基础类数据可以为业务流程中直接产生的数据，并未通过加工和处理。

根据本公开的实施例，指标类数据还可以分为基础指标类数据和计算指标类数据。基础指标类数据具有特定业务含义，且仅能通过基础类数据加工获得，计算指标类数据通常由两个以上基础指标类数据计算得出。

根据本公开的实施例，可以根据目标数据的标识信息确定目标数据的数据类型，也可以根据目标数据的字段名称确定目标数据的数据类型。

根据本公开的实施例，不同数据类型可以各自对应一个类型数据标准表，并存储于标准文档库中，其中，类型数据标准表的表名可以包括与数据类型相关的标识信息。

根据本公开的实施例，可以将目标数据的标识信息与类型数据标准表的标识信息进行匹配，确定类型数据标准表中的标准数据为第二数据标准集合。

根据本公开的实施例，由于不同指标类数据的确定方式不同，因此不同指标类数据的数据标准并不相同，指标类型数据标准表中可以存储不同指标类数据各自的数据标准。

根据本公开的实施例，可以利用目标数据的标识信息在指标类型数据标准表中进行匹配，确定指标类型数据标准表中与目标数据匹配的候选数据，并将候选数据对应的数据标准组合作为第二数据标准集合。

根据本公开的实施例，通过根据目标数据的数据类型确定第二数据标准集合，使得得到的第二数据标准集合符合数据类型的要求，进一步提高目标数据标准的精准度。

根据本公开的实施例，根据目标数据和目标数据标准集合，确定与目标数据相匹配的目标数据标准，包括：根据目标数据的标识信息，从标准文档库中确定与目标数据相匹配的初始数据标准集合；根据初始数据标准集合和目标数据标准集合，确定第一类数据标准、第二类数据标准和第三类数据标准根据目标数据的补充描述信息，从第三类数据标准中确定第四类数据标准；以及将第一类数据标准和第四类数据标准确定为目标数据标准。

根据本公开的实施例，初始数据标准集合中包括与目标数据的语义相匹配的数据标准。在从标准文档库中确定与目标数据相匹配的初始数据标准集合时，可以通过对目标数据的标识信息进行语义识别等方式，能够从标准文档库中筛选出与目标数据标识信息的语义相匹配的数据标准即可，对此不作任何限制。

根据本公开的实施例，由于目标数据标准集合中可以包括与目标数据的语义不匹配的数据标准，因此，基于初始数据标准集合和目标数据标准集合确定目标数据标准可以提高目标数据标准与目标数据语义的匹配度。具体地，可以通过确定初始数据标准和目标数据标准集合的交集情况，确定同时满足目标数据的使用范围、数据类型以及语义的数据标准。

根据本公开的实施例，第一类数据标准表征初始数据标准集合和目标数据标准集合共有的至少一个数据标准，第二类数据标准表征仅属于初始数据标准集合的至少一个数据标准，第三类数据标准表征仅属于目标数据标准集合的至少一个数据标准。

例如，第一类数据标准包括同时满足目标数据的使用范围、数据类型以及标识信息语义的数据标准。第二类数据标准包括仅满足目标数据的标识信息语义的数据标准。第三类数据标准包括仅满足目标数据的使用范围和数据类型的数据标准。

根据本公开的实施例，补充描述信息用于定义或解释目标数据。具体地，补充描述信息可以为与目标数据相匹配的字段说明，用于解释字段的含义等。补充描述信息中包括的语义相较于标识信息中包括的语义更加丰富，因此通过补充描述信息可以补充标识信息中不包括的语义，扩大数据标准的选择范围。

根据本公开的实施例，由于补充描述信息已经包括目标数据的语义，因此可以根据补充描述信息在满足目标数据使用范围及数据类型的第三类数据标准中进行筛选，得到同时满足目标数据的使用范围、数据类型以及语义的第四类数据标准。因此，第四类数据标准可以理解为同时满足目标数据的使用范围、数据类型以及补充描述信息语义的数据标准。

根据本公开的实施例，在根据补充描述信息从第三类数据标准中确定第四类数据标准时，也可以利用语义识别的方式。具体地，可以对补充描述信息进行语义识别，利用得到的识别结果对第三类数据标准进行筛选，得到第四类数据标准。

根据本公开的实施例，第一类数据标准和第四类数据标准都同时满足目标数据的使用范围、数据类型和语义，因此可以确定第一类数据标准和第四类数据标准为目标数据标准。

根据本公开的实施例，第二类数据标准虽然与目标数据标识信息的语义相匹配，但是第二类数据标准的实质可能与目标数据的实质并不相同。

例如，字段名称“状态”包括0和1两个字段值，分别用于表征“是”和“否”，可以将“状态”字段作为目标数据。对字段名称“状态”进行语义识别得到的第二类数据标准可能与字段名称为“机构身份状态”对应的数据标准。

实质上，“机构身份状态”的字段值包括0、1、2，分别表征正常、作废和冻结。可见，“状态”中字段值的数量、以及字段值的意义与“机构身份状态”的“正常、作废和冻结”均不匹配，因此，不能将“机构身份状态”的数据标准确定为目标数据标准。

根据本公开的实施例，通过根据初始数据标准集合、目标数据标准集合以及补充描述信息确定目标数据标准，使得目标数据标准满足目标数据的使用范围、数据类型和语义，提高了目标数据标准的精准度。

图4示意性示出了根据本公开实施例的确定目标数据标准的示意图。

如图4所示，由初始数据标准集合30和目标数据标准集合20组成的集合包括a、b和c三子集，其中a子集包括仅属于初始数据标准集合的至少一个数据标准，b子集包括初始数据标准集合和目标数据标准集合共有的至少一个数据标准，c子集包括仅属于目标数据标准集合的至少一个数据标准。

根据本公开的实施例，确定a子集中的数据标准为第二类数据标准401，确定b子集中的数据标准为第一类数据标准402，确定c子集中的数据标准为第三类数据标准403。

根据本公开的实施例，根据补充描述信息404从第三类数据标准403中确定第四类数据标准405。取第一类数据标准402和第四类数据标准405的并集，得到目标数据标准40。

根据本公开的实施例，根据目标数据的标识信息，从标准文档库中确定与目标数据相匹配的初始数据标准集合，包括：将目标数据的标识信息输入数据标准匹配模型，输出与标识信息语义相似的至少一个初始数据标准，以得到初始数据标准集合。

根据本公开的实施例，数据标准匹配模型可以为语义识别模型。利用数据标准匹配模型，可以从标准文档库中匹配得到与目标数据标识信息语义相似的初始数据标准，进而得到由多个初始数据标准组成初始数据标准集合。

根据本公开的实施例，将目标数据的标识信息输入数据标准匹配模型，输出与标识信息语义相似的至少一个初始数据标准，包括：确定标识信息的词嵌入特征；基于预设语义相似度阈值，确定与词嵌入特征相似的至少一个初始数据标准。

根据本公开的实施例，数据标准匹配模型可以对输入的标识信息进行编码为特征向量，得到词嵌入特征，以便于进行数据标准的匹配。

根据本公开的实施例，可以通过计算余弦相似度确定词嵌入特征与数据标准之间的语义相似度。之后利用预设语义相似度阈值确定与词嵌入特征相似度较高的数据标准为初始数据标准。具体地，可以确定语义相似度大于预设语义相似度阈值的数据标准为初始数据标准。

根据本公开的实施例，通过利用数据标准匹配模型匹配与标识信息语义相似的初始数据标准，提高数据标准确定方法的效率。

根据本公开的实施例，数据标准确定方法还包括：获取目标数据的数据来源；在确定数据来源为预设数据来源的情况下，根据目标数据的标识信息，确定与目标数据对应的预设标识信息；在确定标准文档库中不存在与预设标识信息相匹配的数据标准的情况下，利用预设标识信息替换目标数据的标识信息；在确定标准文档库中存在与预设标识信息相匹配的数据标准的情况下，将与预设标识信息相匹配的数据标准确定为目标数据标准。

根据本公开的实施例，可以通过确定与目标数据相匹配的数据表的存储位置，确定目标数据的数据来源。根据目标数据的数据源，可以确定目标数据为外部数据或内部数据。

根据本公开的实施例，不同数据来源对于配置目标数据标识的方式可能不同，也可能相同。

例如，不同应用平台对字段名称的命名方式不同。企业网银平台对地址字段的命名名称为“交易地点”，内部管理系统中对地址字段的命名名称为“交易网点”。虽然“交易地点”还是“交易网点”并不相同，但“交易地点”和“交易网点”实质上都是地点信息，可以采用相同的数据标准。

根据本公开的实施例，由于外部来源可能会涉及外部数据，从而导致命名差异，因此，在确定目标数据的数据来源为外部时，可以通过统一不同数据来源目标数据的标识信息，进一步提高目标数据标准的精确度。

根据本公开的实施例，预设标识信息可以为标准文档库中使用的标识信息，可以利用预设标识信息对预设数据来源的目标数据进行转化。具体地，标准文档库中还可以包括对应关系表，在对应关系表中定义不同数据来源目标数据标识信息与预设标识信息的对应关系。例如，在目标数据的预设数据来源为企业网银平台时，目标数据为“交易地点”，在对应关系表中对应的预设标识信息为“地点信息”；在目标数据的预设数据来源为内部管理系统时，目标数据为“交易网点”，在对应关系表中对应的预设标识信息也为“地点信息”。

根据本公开的实施例，确定与目标数据对应的预设标识信息之后，还包括：确定标准文档库中是否存在与预设标识信息相匹配的数据标准。

根据本公开的实施例，在确定标准文档库中不存在与预设标识信息相匹配的数据标准的情况下，可以利用预设标识信息替换目标数据的标识信息，利用替换后的标识信息执行如操作S220～操作S230的方法。需要注意的是，对目标数据标识信息的替换仅指利用预设标识信息确定目标数据的数据标准，并非直接将数据表中目标数据的标识信息替换为预设标识信息。例如，在确定数据表中的标识信息为“交易地点”的目标数据的数据标准时，使用与“交易地点”相匹配的预设标识信息“地点信息”确定与“交易地点”相匹配的数据标准，但是在数据表中目标数据的标识信息仍然为“交易地点”。

根据本公开的实施例，在确定标准文档库中存在与预设标识信息相匹配的数据标准的情况下，即标准文档库中包括针对预设标识信息的数据标准，则无需执行操作S220～操作S230的方法，直接将与预设标识信息相匹配的数据标准确定为目标数据标准，提高确定数据标准的效率。

根据本公开的实施例，利用预设标识信息确定目标数据的数据标准，在统一不同数据来源目标数据标识信息的同时，提高目标数据标准生成效率。

图5示意性示出了根据本公开一具体实施例的确定目标数据标准的流程图。

如图5所示，确定目标数据标准包括操作S501～操作S509。

在操作S501，获取待确定数据标准的目标数据。

在操作S502，获取目标数据的数据来源。

在操作S503，确定数据来源是否为预设数据来源。在确定数据来源为预设数据来源的情况下，执行操作S504，否则执行操作S507。

在操作S504，确定与目标数据对应的预设标识信息。

在操作S505，确定标准文档库中是否存在与预设标识信息相匹配的数据标准。在确定标准文档库中不存在与预设标识信息相匹配的数据标准的情况下，执行操作S506，否则执行操作S509。

在操作S506，利用预设标识信息替换目标数据的标识信息。

在操作S507，确定与目标数据相匹配的目标数据标准集合。

根据本公开的实施例，对于数据来源不为预设数据来源的目标数据，利用目标数据的标识信息确定目标数据标准集合；对于数据来源为预设数据来源的目标数据，利用与目标数据的标识信息相匹配的预设标识信息确定目标数据标准集合。

在操作S508，基于目标数据标准集合，确定目标数据标准。

在操作S509，将与预设标识信息相匹配的数据标准确定为目标数据标准。

基于上述数据标准确定方法，本公开还提供了一种数据标准确定装置。以下将结合图6对该装置进行详细描述。

图6示意性示出了根据本公开实施例的数据标准确定装置的结构框图。

如图6所示，该实施例的数据标准确定装置600包括获取模块610、第一确定模块620和第二确定模块630。

获取模块610用于获取待确定数据标准的目标数据，其中，目标数据包括数据表中的表字段。在一实施例中，获取模块610可以用于执行前文描述的操作S210，在此不再赘述。

第一确定模块620用于根据目标数据的使用范围和数据类型，确定与目标数据相匹配的目标数据标准集合。在一实施例中，第一确定模块620可以用于执行前文描述的操作S220，在此不再赘述。

第二确定模块630用于根据目标数据和目标数据标准集合，确定与目标数据相匹配的目标数据标准。在一实施例中，第二确定模块630可以用于执行前文描述的操作S230，在此不再赘述。

根据本公开的实施例，第一确定模块620包括第一确定子模块、第二确定子模块和合并子模块。

第一确定子模块用于根据目标数据的使用范围，从标准文档库中确定与目标数据相匹配的第一数据标准集合。

第二确定子模块用于根据目标数据的数据类型，从标准文档库中确定与目标数据相匹配的第二数据标准集合。

合并子模块用于将第一数据标准集合和第二数据标准集合的并集作为目标数据标准集合。

根据本公开的实施例，第一确定子模块包括单部门确定单元和共享确定单元。

单部门确定单元用于在确定目标数据的使用范围为单部门数据的情况下，根据目标数据的标识信息，确定目标数据适用的目标部门；并将与目标部门对应的至少一个数据标准组合为第一数据标准集合。

共享确定单元用于在确定目标数据的使用范围为共享数据的情况下，将共享数据标准集合确定为第一数据标准集合。

根据本公开的实施例，第二确定子模块包括候选确定单元、指标确定单元和基础确定单元。

候选确定单元用于在确定目标数据的数据类型为指标类数据的情况下，根据目标数据的标识信息，确定与目标数据相似的至少一个候选数据。

指标确定单元用于将与至少一个候选数据对应的至少一个数据标准组合为第二数据标准集合。

基础确定单元用于在确定目标数据的数据类型为基础类数据的情况下，将基础类数据标准集合确定为第二数据标准集合。

根据本公开的实施例，第二确定模块630包括初始确定子模块、第三确定子模块、第四确定子模块和目标确定子模块。

初始确定子模块用于根据目标数据的标识信息，从标准文档库中确定与目标数据相匹配的初始数据标准集合。

第三确定子模块用于根据初始数据标准集合和目标数据标准集合，确定第一类数据标准、第二类数据标准和第三类数据标准，其中，第一类数据标准表征初始数据标准集合和目标数据标准集合共有的至少一个数据标准，第二类数据标准表征仅属于初始数据标准集合的至少一个数据标准，第三类数据标准表征仅属于目标数据标准集合的至少一个数据标准。

第四确定子模块用于根据目标数据的补充描述信息，从第三类数据标准中确定第四类数据标准，其中，补充描述信息用于定义或解释目标数据。

目标确定子模块用于将第一类数据标准和第四类数据标准确定为目标数据标准。

根据本公开的实施例，初始确定子模块包括模型匹配单元。

模型匹配单元用于将目标数据的标识信息输入数据标准匹配模型，输出与标识信息语义相似的至少一个初始数据标准，以得到初始数据标准集合。

根据本公开的实施例，模型匹配单元包括嵌入子单元和确定子单元。

嵌入子单元用于确定标识信息的词嵌入特征。

确定子单元用于基于预设语义相似度阈值，确定与词嵌入特征相似的至少一个初始数据标准。

根据本公开的实施例，数据标准确定装置600还包括来源确定模块、标识确定模块、标识替换模块和匹配确定模块。

来源确定模块用于获取目标数据的数据来源。

标识确定模块用于在确定数据来源为预设数据来源的情况下，根据目标数据的标识信息，确定与目标数据对应的预设标识信息。

标识替换模块用于在确定标准文档库中不存在与预设标识信息相匹配的数据标准的情况下，利用预设标识信息替换目标数据的标识信息。

匹配确定模块用于在确定标准文档库中存在与预设标识信息相匹配的数据标准的情况下，将与预设标识信息相匹配的数据标准确定为目标数据标准。

根据本公开的实施例，获取模块610、第一确定模块620和第二确定模块630中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块610、第一确定模块620和第二确定模块630中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块610、第一确定模块620和第二确定模块630中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的适于实现数据标准确定方法的电子设备的方框图。

如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。

在该计算机程序被处理器701执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种数据标准确定方法，其特征在于，所述方法包括：

获取待确定数据标准的目标数据，其中，所述目标数据包括数据表中的表字段；

根据所述目标数据的使用范围和数据类型，确定与所述目标数据相匹配的目标数据标准集合；以及

根据所述目标数据和所述目标数据标准集合，确定与所述目标数据相匹配的目标数据标准。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据的使用范围和数据类型，确定与所述目标数据相匹配的目标数据标准集合，包括：

根据所述目标数据的使用范围，从标准文档库中确定与所述目标数据相匹配的第一数据标准集合；

根据所述目标数据的数据类型，从标准文档库中确定与所述目标数据相匹配的第二数据标准集合；以及

将所述第一数据标准集合和所述第二数据标准集合的并集作为所述目标数据标准集合。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标数据的使用范围，从标准文档库中确定与所述目标数据相匹配的第一数据标准集合包括：

在确定所述目标数据的使用范围为单部门数据的情况下，根据所述目标数据的标识信息，确定所述目标数据适用的目标部门；并将与所述目标部门对应的至少一个数据标准组合为所述第一数据标准集合；

在确定所述目标数据的使用范围为共享数据的情况下，将共享数据标准集合确定为所述第一数据标准集合。

4.根据权利要求2所述的方法，其特征在于，所述根据所述目标数据的数据类型，从标准文档库中确定与所述目标数据相匹配的第二数据标准集合，包括：

在确定所述目标数据的数据类型为指标类数据的情况下，根据所述目标数据的标识信息，确定与所述目标数据相似的至少一个候选数据；

将与所述至少一个候选数据对应的至少一个数据标准组合为所述第二数据标准集合；

在确定所述目标数据的数据类型为基础类数据的情况下，将基础类数据标准集合确定为所述第二数据标准集合。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述根据所述目标数据和所述目标数据标准集合，确定与所述目标数据相匹配的目标数据标准，包括：

根据所述目标数据的标识信息，从标准文档库中确定与目标数据相匹配的初始数据标准集合；

根据所述初始数据标准集合和所述目标数据标准集合，确定第一类数据标准、第二类数据标准和第三类数据标准，其中，所述第一类数据标准表征所述初始数据标准集合和所述目标数据标准集合共有的至少一个数据标准，所述第二类数据标准表征仅属于所述初始数据标准集合的至少一个数据标准，所述第三类数据标准表征仅属于所述目标数据标准集合的至少一个数据标准；

根据所述目标数据的补充描述信息，从所述第三类数据标准中确定第四类数据标准，其中，所述补充描述信息用于定义或解释所述目标数据；以及

将所述第一类数据标准和所述第四类数据标准确定为所述目标数据标准。

6.根据权利要求5所述的方法，其特征在于，所述根据所述目标数据的标识信息，从标准文档库中确定与目标数据相匹配的初始数据标准集合，包括：

将所述目标数据的标识信息输入数据标准匹配模型，输出与所述标识信息语义相似的至少一个初始数据标准，以得到所述初始数据标准集合；

其中，所述将所述目标数据的标识信息输入数据标准匹配模型，输出与所述标识信息语义相似的至少一个初始数据标准，包括：

确定所述标识信息的词嵌入特征；

基于预设语义相似度阈值，确定与所述词嵌入特征相似的至少一个初始数据标准。

7.根据权利要求1所述的方法，其特征在于，所述在获取所述目标数据之后，还包括：

获取所述目标数据的数据来源；

在确定所述数据来源为预设数据来源的情况下，根据所述目标数据的标识信息，确定与所述目标数据对应的预设标识信息；

在确定标准文档库中不存在与所述预设标识信息相匹配的数据标准的情况下，利用所述预设标识信息替换所述目标数据的标识信息；

在确定标准文档库中存在与所述预设标识信息相匹配的数据标准的情况下，将与所述预设标识信息相匹配的数据标准确定为所述目标数据标准。

8.一种数据标准确定装置，其特征在于，所述装置包括：

获取模块，用于获取待确定数据标准的目标数据，其中，所述目标数据包括数据表中的表字段；

第一确定模块，用于根据所述目标数据的使用范围和数据类型，确定与所述目标数据相匹配的目标数据标准集合；以及

第二确定模块，用于根据所述目标数据和所述目标数据标准集合，确定与所述目标数据相匹配的目标数据标准。

9.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序，

其特征在于，所述一个或多个处理器执行所述一个或多个计算机程序以实现根据权利要求1～7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现根据权利要求1～7中任一项所述方法的步骤。

11.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现根据权利要求1～7中任一项所述方法的步骤。