CN117472912A - 数据的编码入库方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据的编码入库方法、装置、电子设备及存储介质。其中，数据的编码入库方法，包括：获取待编码数据集，其中，待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；确定预设编码域，基于预设编码域对待编码数据集中的每个待编码数据进行编码得到目标编码数据；通过分流模型确定每个目标编码数据对应的目标分流编码，并将每个目标编码数据分流至目标分流编码对应的目标分流；通过提取入库模型确定目标分流编码对应的数据表编码，并将每个目标分流存入数据表编码对应的目标数据表。基于本发明实施例技术方案，能够提高多源异构数据的编码入库的效率，提高大数据的编码入库应用的广泛性和通用性。

Description

数据的编码入库方法、装置、电子设备及存储介质

技术领域

本发明涉及数据编码技术领域，尤其涉及一种数据的编码入库方法、装置、电子设备及存储介质。

背景技术

目前，大数据分析已逐渐应用于各大平台，通过对海量数据进行挖掘与分析可以获取大量有价值的信息，但是随着数据量不断增大，数据结构越来越复杂，数据来源也越来越多，数据呈现出零散、异构以及低质等碎片化特征，因此，对大数据汇总分析及应用也越来越复杂。

相关技术中，通常会先通过相关领域技术人员对有多源异构数据进行分组分类，再对分类后的数据进行手动层层编码，最后将编码后的数据存入相关数据库，以便于后期应用。明显的，现有的数据编码入库方法人工操作过多，效率较差，且不同领域数据的分组分类方式存在差异，同一数据编码入库方法的通用性较差。

发明内容

本发明提供了一种数据的编码入库方法、装置、电子设备及存储介质，以解决相关技术中的数据的编码入库方法的效率较低以及通用性较差的技术问题。

根据本发明的一方面，提供了一种数据的编码入库方法，其中，该方法包括：

获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；

确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；

通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；

通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。

根据本发明的另一方面，提供了一种数据的编码入库装置，其中，该装置包括：

数据获取模块，用于获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；

数据编码模块，用于确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；

数据分流模块，用于通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；

数据入库模块，用于通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据的编码入库方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据的编码入库方法。

本发明实施例的技术方案，通过获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。本申请基于数据编码对多源异构的大数据进行编码分析入库，可快速整合多源异构数据，提高了数据的编码入库的效率，且本申请适用于多种来源的数据，提高了数据的编码入库应用的广泛性和通用性。应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种数据的编码入库方法的流程图；

图2是根据本发明实施例提供的一种确定数据来源编码的数据图；

图3是根据本发明实施例提供的一种确定操作步骤编码的数据图；

图4是根据本发明实施例提供的一种分流模型进行数据分流的流程图；

图5是根据本发明实施例提供的一种确定候选分流编码的数据图；

图6是根据本发明实施例提供的一种提取入库模型进行数据提取入库的流程图；

图7是根据本发明实施例二提供的一种数据的编码入库方法的流程图；

图8是根据本发明实施例提供的一种数据访问模型进行数据访问的流程图；

图9是根据本发明实施例提供的一种建立数据访问模型的漏斗分析数据图；

图10是根据本发明实施例提供的一种建立数据访问模型的事件分析数据图；

图11是根据本发明实施例三提供的一种数据的编码入库装置的结构示意图；

图12是实现本发明实施例的数据的编码入库方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种数据的编码入库方法的流程图，本实施例可适用于数据编码的情况，该方法可以由数据的编码入库装置来执行，该数据的编码入库装置可以采用硬件和/或软件的形式实现，该数据的编码入库装置可配置于计算机中。如图1所示，该方法包括：

S110、获取待编码数据集，其中，所述待编码数据集。

其中，所述待编码数据集可以理解为待编码的大数据集合。可选的，所述待编码数据集可以包括多个数据来源的待编码数据和/或多种数据结构的待编码数据。

其中，所述待编码数据可以理解为待编码的数据。在本发明实施例中，所述待编码数据可以根据场景需求预设，在此不做具体限定。可选的，所述待编码数据可以是全生命周期的用户行为数据。所述待编码数据可以包括通用字段、属性字段以及业务字段，其中，所述通用字段包括场景类型、数据来源、操作步骤以及操作时间等。

S120、确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据。

其中，所述预设编码域可以理解为用于对所述待编码数据进行编码的编码域。在本发明实施例中，所述预设编码域可以根据场景需求预设，在此不做具体限定。可选的，所述预设编码域可以包括通用编码域、属性编码域以及业务编码域中至少一项。

所述目标编码数据可以理解为已编码的所述待编码数据。可选的，所述目标编码数据包括通用编码、属性编码以及业务编码中至少一项，所述通用编码为定长编码，所述通用编码包括场景编码、数据来源编码、操作步骤编码以及操作时间编码中至少一项。

其中，所述通用编码可以理解为所述待编码数据的通用字段对应的编码。

所述属性编码可以理解为所述待编码数据的属性字段对应的编码。

所述业务编码可以理解为所述待编码数据的业务字段对应的编码。

其中，所述场景编码可以理解为表征所述待编码数据的场景类型的编码。所述数据来源编码可以理解为表征所述待编码数据的数据来源的编码。所述操作步骤编码可以理解为表征所述待编码数据的操作步骤的编码。所述操作时间编码可以理解为表征所述待编码数据的操作时间的编码。

示例性的，具体的，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据，可以是:

确定预设编码域，包括三个部分：通用编码域、属性编码域以及业务编码域。

1、待编码数据对应的通用字段采用定长编码(例如35位长度)，用于标识待编码数据的场景类型、数据来源、操作步骤以及操作时间等。

1)场景类型采用4位编码设置，取场景类型简称。

2)数据来源采用5位编码设置，前4位为来数据来源简称，最后一位根据待编码数据上送方式取简称，例如：页面埋点上送，取P；接口日志上送，取I；文件方式上送，取F等(参考图2)，图2是根据本发明实施例提供的一种确定数据来源编码的数据图。

3)操作步骤采用12位编码设置，分别拼接2位数据来源简称、4位操作节点简称、4位操作类型简称。其中，操作类型可以包括点击、浏览、日志以及流水等，三种数据间用“-”隔开(参考图3)，图3是根据本发明实施例提供的一种确定操作步骤编码的数据图。

4)操作时间采用14位编码设置，拼接日期与时间，日期格式为YYYYMMDD，时间格式为HHMMSS，如：日期20230101，时间123030。

2、属性字段主要是标识用户属性信息，采用非定长编码,11～50位长度。

3、业务字段主要是根据业务场景提出的数据分析相关的字段，采用非定长编码，12～60位长度。

S130、通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流。

其中，所述分流模型可以理解为具备匹配所述目标编码数据对应的所述目标识别编码与所述目标分流编码功能的模型。所述分流模型的输入数据为所述目标编码数据对应的所述目标识别编码，输出数据为与所述目标识别编码对应的目标分流编码。

所述目标分流编码可以理解为所述目标分流对应的编码。

所述目标分流可以理解为所述目标编码数据对应的文件分流或主题分流。

可选的，在所述通过分流模型确定每个所述目标编码数据对应的目标分流编码之前，还包括：

基于所述场景编码和所述数据来源编码确定每个所述目标编码数据对应的目标识别编码；

确定候选分流以及所述候选分流对应的候选分流编码，其中，所述候选分流包括多个文件分流和/或多个主题分流；

建立所述目标识别编码和所述候选分流编码之间的第一对应关系，基于所述第一对应关系确定所述分流模型。

其中，所述目标识别编码可以理解为每个所述目标编码数据对应的唯一的识别编码。具体的，叠加所述场景编码和所述数据来源编码得到所述目标识别编码。在本发明实施例中，针对每个所述目标编码数据，所述场景编码和所述数据来源编码都是唯一的，因此，每个所述目标编码数据对应的目标识别编码也是唯一的。

所述候选分流可以理解为候选的分流。可选的，所述候选分流可以是文件分流或主题分流。

所述候选分流编码可以理解为所述候选分流对应的编码。在本发明实施例中，每个所述候选分流可以对应一个所述候选分流编码。

所述第一对应关系可以理解为所述目标识别编码和所述候选分流编码之间的对应关系。在本发明实施例中，所述第一对应关系可以一对一关系、一对多关系或者多对多关系等。

图4是根据本发明实施例提供的一种分流模型进行数据分流的流程图。如图4所示，示例性的，具体的，通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流，可以是：

1、可以理解的是，不同的场景类型、数据来源都有对应的唯一编码，通过建立“场景编码+数据来源编码”与预设的候选分流编码的对应关系，形成分流模型。

2.数据分流传输时，可根据场景编码与数据来源编码确定的目标分流编码查询对应关系配置，获取目标分流编码，然后根据目标分流编码找到对应目标分流，进行数据分流传输。

示例性的，通过kafka实时流传输时，topic编码(主题分流编码)可以作为候选分流编码，根据分流模型，将数据分流传输到对应topic(主题分流)中；如果是非实时的文件传输，文件命名可作为候选分流编码，根据分流模型，将目标编码数据分流写入到对应文件分流中。

以topic编码为例，采用非定长设定，候选分流编码由三部分拼接组成：第一部分是数据分层，3位定长格式；第二部分是数据库表名，非定长；第三部分是由kafka副本及分区数组成，非定长，如R2P6，R代表副本，2为副本数，P代表分区，6为分区数(参考图5)，图5是根据本发明实施例提供的一种确定候选分流编码的数据图。

S140、通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。

其中，所述提取入库模型可以理解为具备匹配所述目标分流编码与所述数据表编码的功能的模型。所述提取入库模型的输入数据为目标分流编码，输出数据为与所述目标分流编码对应的数据表编码。

所述数据表编码可以理解为每个所述候选数据表对应的编码。

所述目标数据表可以理解为存储所述目标分流的数据表。

可选的，所述提取入库模型包括数据提取模型和数据入库模型。所述数据提取模型基于候选分流编码与目标编码数据之间的对应关系确定。所述数据入库模型基于操作步骤编码与候选表编码之间的对应关系确定。

可选的，在所述通过提取入库模型确定所述目标分流编码对应的数据表编码之前，还包括：

确定候选数据表以及所述候选数据表对应的候选表编码；

建立所述候选表编码和所述候选分流编码之间的第二对应关系，基于所述第二对应关系确定所述提取入库模型。

其中，所述候选数据表可以理解为候选的数据表。在本发明实施例中，所述候选数据表可以是一个或多个。

所述候选表编码可以理解为所述候选数据表对应的编码。

所述第二对应关系可以理解为所述候选表编码和所述候选分流编码之间的对应关系。在本发明实施例中，所述第二对应关系可以一对一关系、一对多关系或者多对多关系等。

图6是根据本发明实施例提供的一种提取入库模型进行数据提取入库的流程图。如图6所示，数据提取入库的流程可以是：

1.建立数据提取模型和数据入库模型。

数据提取模型：建立候选分流编码与目标编码数据之间的对应关系。

数据入库模型：建立操作步骤编码与候选表编码之间的对应关系。

2.根据实时或非实时设定，通过数据提取模型，获取目标分流编码下的上送数据，如消费kafka对应目标分流编码的topic分流或读取对应文件命名的文件分流等。

3.根据数据入库模型，找到操作步骤编码对应的数据表编码，进行目标数据表的数据入库。

本发明实施例的技术方案，通过获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。本申请基于数据编码对多源异构的大数据进行编码分析入库，可快速整合多源异构数据，提高了数据的编码入库的效率，且本申请适用于多种来源的数据，提高了数据的编码入库应用的广泛性和通用性。

实施例二

图7为本发明实施例二提供的一种数据的编码入库方法的流程图，本实施例是针对上述实施例中所述将每个所述目标分流存入所述数据表编码对应的目标数据表进行追加。如图7所示，该方法包括：

S210、获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据。

S220、确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据。

S230、通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流。

S240、通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。

S250、基于所述场景编码、所述数据来源编码以及所述操作步骤编码确定待访问数据的目标访问编码。

其中，所述待访问数据可以理解为待访问的数据。在本发明实施例中，所述待访问数据可以是已存入所述目标数据表中的所述待编码数据。

所述目标访问编码可以理解为数据访问时的输入编码。在本发明实施例中，所述目标访问编码可以基于所述场景编码、所述数据来源编码以及所述操作步骤编码确定。

S260、通过数据访问模型对输入的所述目标访问编码进行数据查询，得到并访问所述待访问数据。

其中，所述数据访问模型可以理解为具备基于所述目标访问编码进行数据查询的功能的模型。所述数据访问模型的输入数据为所述目标访问编码，输出数据为与所述目标访问编码对应的所述待编码数据。

可选的，所述通过数据访问模型对输入的所述目标访问编码进行数据查询，得到并访问所述待访问数据，包括：

通过数据访问模型对输入的所述目标访问编码进行编码匹配，得到所述目标访问编码对应的所述数据表编码；

基于所述数据表编码对应的数据表得到并访问所述待访问数据。

图8是根据本发明实施例提供的一种数据访问模型进行数据处理的流程图。如图8所示，数据访问的流程可以是：

1、建立数据访问模型。示例性的，以漏斗分析和事件分析两种模型为例。以下单场景漏斗分析的数据访问为例(参考图9)，图9是根据本发明实施例提供的一种建立数据访问模型的漏斗分析数据图。具体的，1)定义漏斗层级；2)确定每个层级关联步骤编码范围；3)组合漏斗，每个层级间|隔开，同一层级间*隔开步骤编码；4)设置模型Id，建立模型Id与模型配置的对应关系。设定漏斗：打开商品页-立即购买(商品页提交、购物车提交)-提交订单-完成支付，对应步骤编码依次为TB-OPEN-CL01、TB-BUYS-CL01、TB-BUYS-CL02、TB-SUBM-CL01、TB-PAYS-CL01。

示例性的，以搜索场景的事件分析树形图为例(参考图10)，图10是根据本发明实施例提供的一种建立数据访问模型的事件分析数据图。具体的，1)定义树形图层级，已三层为例；2)确定每一层树形节点对应步骤编码；3)组装模型，按层级组装。首先定义层级序号，如第一层序号2、第二层序号2等；然后确定父节点步骤编码，第一层父节点步骤编码为空；之后组装父节点步骤编码下子节点，每个子节点间|隔开，同一子节点涉及多个步骤编码的*隔开；4)设置模型Id，建立模型Id、层级序号、父节点步骤编码与子节点编码组装对应关系。设定模型：第一层为搜索访问总量、第二层为搜索首页各分区的访问量、第三层为第二层子项访问量。

2、访问数据。1)根据模型Id获取数据访问模型，按层分解模型配置获取每层的步骤编码集合；2)根据数据访问模型获取目标访问编码对应的数据表编码；3)查询数据表编码对应的数据表获取对应操作步骤编码的数据详情。

本发明实施例的技术方案，通过基于所述场景编码、所述数据来源编码以及所述操作步骤编码确定待访问数据的目标访问编码；通过数据访问模型对输入的所述目标访问编码进行数据查询，得到并访问所述待访问数据。提高了访问已入库的编码数据的便捷性。

实施例三

图11为本发明实施例三提供的一种数据的编码入库装置的结构示意图。如图11所示，该装置包括：数据获取模块310，用于获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；数据编码模块320，用于确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；数据分流模块330，用于通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；数据入库模块340，用于通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。

本发明实施例的技术方案，通过获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。本申请基于数据编码对多源异构的大数据进行编码分析入库，可快速整合多源异构数据，提高了数据的编码入库的效率，且本申请适用于多种来源的数据，提高了数据的编码入库应用的广泛性和通用性。

可选的，所述预设编码域包括通用编码域、属性编码域以及业务编码域中至少一项。

可选的，所述目标编码数据包括通用编码、属性编码以及业务编码中至少一项，所述通用编码为定长编码，所述通用编码包括场景编码、数据来源编码、操作步骤编码以及操作时间编码中至少一项。

可选的，所述数据的编码入库装置，还包括识别编码确定模块、候选分流确定模块以及分流模型确定模块；其中，

所述识别编码确定模块，用于在所述通过分流模型确定每个所述目标编码数据对应的目标分流编码之前，基于所述场景编码和所述数据来源编码确定每个所述目标编码数据对应的目标识别编码；

所述候选分流确定模块，用于确定候选分流以及所述候选分流对应的候选分流编码，其中，所述候选分流包括多个文件分流和/或多个主题分流；

所述分流模型确定模块，用于建立所述目标识别编码和所述候选分流编码之间的第一对应关系，基于所述第一对应关系确定所述分流模型。

可选的，所述数据的编码入库装置，还包括候选表确定模块和入库模型确定模块；其中，

所述候选表确定模块，用于在所述通过提取入库模型确定所述目标分流编码对应的数据表编码之前，确定候选数据表以及所述候选数据表对应的候选表编码；

所述入库模型确定模块，用于建立所述候选表编码和所述候选分流编码之间的第二对应关系，基于所述第二对应关系确定所述提取入库模型。

可选的，所述数据的编码入库装置，还包括访问编码确定模块和数据查询模块；其中，

所述访问编码确定模块，用于基于所述场景编码、所述数据来源编码以及所述操作步骤编码确定待访问数据的目标访问编码；

所述数据查询模块，用于通过数据访问模型对输入的所述目标访问编码进行数据查询，得到并访问所述待访问数据。

可选的，所述数据查询模块，用于：

通过数据访问模型对输入的所述目标访问编码进行编码匹配，得到所述目标访问编码对应的所述数据表编码；

基于所述数据表编码对应的数据表得到并访问所述待访问数据。

本发明实施例所提供的数据的编码入库装置可执行本发明任意实施例所提供的数据的编码入库方法，具备执行方法相应的功能模块和有益效果。

实施例四

图12示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图12所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据的编码入库方法。

在一些实施例中，数据的编码入库方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据的编码入库方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据的编码入库方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据的编码入库方法，其特征在于，包括：

获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；

确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；

通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；

通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。

2.根据权利要求1所述的方法，其特征在于，所述预设编码域包括通用编码域、属性编码域以及业务编码域中至少一项。

3.根据权利要求1所述的方法，其特征在于，所述目标编码数据包括通用编码、属性编码以及业务编码中至少一项，所述通用编码为定长编码，所述通用编码包括场景编码、数据来源编码、操作步骤编码以及操作时间编码中至少一项。

4.根据权利要求1所述的方法，其特征在于，在所述通过分流模型确定每个所述目标编码数据对应的目标分流编码之前，还包括：

基于所述场景编码和所述数据来源编码确定每个所述目标编码数据对应的目标识别编码；

确定候选分流以及所述候选分流对应的候选分流编码，其中，所述候选分流包括多个文件分流和/或多个主题分流；

建立所述目标识别编码和所述候选分流编码之间的第一对应关系，基于所述第一对应关系确定所述分流模型。

5.根据权利要求1所述的方法，其特征在于，在所述通过提取入库模型确定所述目标分流编码对应的数据表编码之前，还包括：

确定候选数据表以及所述候选数据表对应的候选表编码；

建立所述候选表编码和所述候选分流编码之间的第二对应关系，基于所述第二对应关系确定所述提取入库模型。

6.根据权利要求1所述的方法，其特征在于，还包括：

基于所述场景编码、所述数据来源编码以及所述操作步骤编码确定待访问数据的目标访问编码；

通过数据访问模型对输入的所述目标访问编码进行数据查询，得到并访问所述待访问数据。

7.根据权利要求6所述的方法，其特征在于，所述通过数据访问模型对输入的所述目标访问编码进行数据查询，得到并访问所述待访问数据，包括：

通过数据访问模型对输入的所述目标访问编码进行编码匹配，得到所述目标访问编码对应的所述数据表编码；

基于所述数据表编码对应的数据表得到并访问所述待访问数据。

8.一种数据的编码入库装置，其特征在于，包括：

数据获取模块，用于获取待编码数据集，其中，所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据；

数据编码模块，用于确定预设编码域，基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据；

数据分流模块，用于通过分流模型确定每个所述目标编码数据对应的目标分流编码，并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流；

数据入库模块，用于通过提取入库模型确定所述目标分流编码对应的数据表编码，并将每个所述目标分流存入所述数据表编码对应的目标数据表。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据的编码入库方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据的编码入库方法。