CN112286918B

CN112286918B - 数据快速接入转换的方法、装置、电子设备及存储介质

Info

Publication number: CN112286918B
Application number: CN202011148910.6A
Authority: CN
Inventors: 贾志忠; 张燕
Original assignee: PCI Technology Group Co Ltd
Current assignee: PCI Technology Group Co Ltd
Priority date: 2020-10-23
Filing date: 2020-10-23
Publication date: 2023-07-14
Anticipated expiration: 2040-10-23
Also published as: CN112286918A

Abstract

本申请实施例公开了一种数据快速接入转换的方法及装置。本申请实施例提供的技术方案，通过内置多种数据插件使得数据集成平台能够快速接入第三方数据，并对第三方数据进行清洗转换以转换为项目要求的数据结构，提高了数据转化接入效率；由于在数据接入端和数据落地端均配置有多种不同的数据插件，使得通过本申请实施例的方式能够快速的将第三方数据转换为对应的数据类型，能够灵活适配不同场景的数据接入处理要求。

Description

数据快速接入转换的方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据快速接入转换的方法、装置、电子设备及存储介质。

背景技术

目前不同的产品、项目都要对接众多第三方数据，这些第三方数据的数据源多样、数据繁多、在数据接入时需要进行数据清洗、数据转换或业务数据补全处理。为了解决当前产品、项目数据接入效率低、代码重复开发而无法复用、接入任务无法进行统一的监控管理等问题。因此，设计一种能够统一快速的对数据进行转换集成的方式成为本领域技术人员亟待解决的技术问题。

发明内容

本申请实施例提供一种数据快速接入转换的方法及装置，通过内置多种数据插件使得数据集成平台能够快速接入第三方数据，并对第三方数据进行清洗转换以转换为项目要求的数据结构，提高了数据转化接入效率，能够灵活适配不同场景的数据接入处理要求。

在第一方面，本申请实施例提供了一种数据快速接入转换的方法，包括：

根据第三方数据配置相应的数据收发组件和数据处理组件，所述数据收发组件包括数据输入模块和数据落地模块；所述数据输入模块集成有多种数据输入插件，所述数据落地模块集成有多种数据落地插件；

根据配置的所述数据输入模块接收数据源发送的第三方数据；

根据所述数据处理组件对所述第三方数据进行数据处理以得到对应的数据目标表；

根据所述数据落地模块和所述数据目标表生成相应的落地数据。

进一步的，所述数据处理组件包括转换器、过滤器和解析组件中的一种或多种；

所述根据所述数据处理组件对所述第三方数据进行数据处理以得到对应的数据目标表，包括：

调用解析组件处集成的解析插件对所述第三方数据进行识别以得到对应的结构化数据；

将所述结构化数据输入至过滤器以及转换器中进行数据清洗转换以得到相应的数据目标表。

进一步的，所述第三方数据包括人脸图像数据；

所述调用解析组件处集成的解析插件对所述第三方数据进行识别以得到对应的结构化数据，包括：

调用解析组件处集成的人脸解析插件对所述第三方数据进行识别以得到对应的结构化数据；所述结构化数据包括年龄、人种、是否佩戴眼镜、是否佩戴口罩和人脸特征数据中的一种或多种。

进一步的，所述数据处理组件还包括分支器；

在所述将所述结构化数据输入至过滤器以及转换器中进行数据清洗转换以得到相应的数据目标表之后，还包括：

将所述数据目标表划分为多个数据分支表；

将多个所述数据分支表输入至过滤器以及转换器中进行清洗转换以得到对应的多个数据分支目标表；

所述根据所述数据落地模块和所述数据目标表生成相应的落地数据，包括：

根据所述数据落地模块和多个所述数据分支目标表生成多个相应的分支落地数据。

进一步的，在所述根据所述数据落地模块和多个所述数据分支目标表生成多个相应的分支落地数据之后，还包括：

将多个所述分支落地数据发送至相应的目标系统。

进一步的，在所述根据第三方数据配置相应的数据收发组件和数据处理组件之前，还包括：

响应于用户的触发操作对待接入的第三方数据进行预览操作。

进一步的，在所述根据配置的所述数据输入模块接收数据源发送的第三方数据之后，还包括：

将接入的第三方数据转化为接入任务，所述接入任务由任务调度系统进行调度。

进一步的，在所述将接入的第三方数据转化为接入任务，所述接入任务由任务调度系统进行调度之后，还包括：

通过任务调度系统以及预设的任务拆分规则对所述接入任务进行任务拆分以得到接入子任务；

对所述接入子任务的执行日志以及告警日志进行数据存储以用于通过所述任务调度系统进行查看。

进一步的，所述根据第三方数据配置相应的数据收发组件和数据处理组件，包括：

在可视化操作界面上配置相应的数据收发组件和数据处理组件；

所述根据配置的所述数据输入模块接收数据源发送的第三方数据，包括：

根据配置的所述数据输入模块接收数据源发送的实时第三方数据或者离线第三方数据。

在第二方面，本申请实施例提供了一种数据快速接入转换的装置，包括：

配置模块：用于根据第三方数据配置相应的数据收发组件和数据处理组件，所述数据收发组件包括数据输入模块和数据落地模块；所述数据输入模块集成有多种数据输入插件，所述数据落地模块集成有多种数据落地插件；

接收模块：用于根据配置的所述数据输入模块接收数据源发送的第三方数据；

数据处理模块：用于根据所述数据处理组件对所述第三方数据进行数据处理以得到对应的数据目标表；

数据落地模块：用于根据所述数据落地模块和所述数据目标表生成相应的落地数据。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据快速接入转换的方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的数据快速接入转换的方法。

本申请实施例通过内置多种数据插件使得数据集成平台能够快速接入第三方数据，并对第三方数据进行清洗转换以转换为项目要求的数据结构，提高了数据转化接入效率；由于在数据接入端和数据落地端均配置有多种不同的数据插件，使得通过本申请实施例的方式能够快速的将第三方数据转换为对应的数据类型，能够灵活适配不同场景的数据接入处理要求。

附图说明

图1是本申请实施例提供的一种数据快速接入转换的方法的流程图；

图2是本申请实施例提供的数据输入插件和落地插件的页面示意图；

图3是本申请实施例提供的数据接入流程插件的配置示意图；

图4是本申请实施例提供的任务拆分的流程示意图；

图5是本申请实施例提供的一任务拆分的显示示意图；

图6是本申请实施例提供的另一任务拆分的显示示意图；

图7是本申请实施例提供的数据解析的流程示意图；

图8是本申请实施例提供的数据分支的流程示意图；

图9是本申请实施例提供的一种数据快速接入转换的装置的结构示意图；

图10是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

目前不同的产品、项目都要对接众多第三方数据，这些第三方数据的数据源多样、数据繁多、在数据接入时需要进行数据清洗、数据转换或业务数据补全处理。为了解决当前产品、项目数据接入效率低、代码重复开发而无法复用、接入任务无法进行统一的监控管理等问题。基于此，本申请实施例提供了一种数据快速接入转换的方法，其通过内置多种数据插件使得数据集成平台能够快速接入第三方数据，并对第三方数据进行清洗转换以转换为项目要求的数据结构，提高了数据转化接入效率；由于在数据接入端和数据落地端均配置有多种不同的数据插件，使得通过本申请实施例的方式能够快速的将第三方数据转换为对应的数据类型，能够灵活适配不同场景的数据接入处理要求。

图1给出了本申请实施例提供的一种数据快速接入转换的方法的流程图，本实施例中提供的数据快速接入转换的方法可以由数据快速接入转换的设备执行，该数据快速接入转换的设备可以通过软件和/或硬件的方式实现，该数据快速接入转换的设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该数据快速接入转换的设备可以是电脑，手机，平板或后台服务器等。

下述以后台服务器为执行数据快速接入转换的方法的设备为例，进行描述。参照图1，该数据快速接入转换的方法具体包括：

S101：根据第三方数据配置相应的数据收发组件和数据处理组件，所述数据收发组件包括数据输入模块和数据落地模块；所述数据输入模块集成有多种数据输入插件，所述数据落地模块集成有多种数据落地插件。

本步骤主要是在数据集成平台处配置相应的接收组件和处理组件，因为要对接不同的数据源，数据源的数据类型种类也是各有不同，因此，需要配置合适的输入插件以及落地插件。比如，当数据源采用消息队列时，对应的需要配置消息队列输入插件，当数据源是SQL时，则配置SQL输入插件；同样的，当需要输出的数据格式为oracle时，对应配置相应的oracle落地插件。如图2所示，其为数据输入插件和落地插件的类型显示示意图。

更为优选的，所述根据第三方数据配置相应的数据收发组件和数据处理组件，包括：

在可视化操作界面上配置相应的数据收发组件和数据处理组件。

通过提供可视化操作，使得用户可以更加方便快捷的配置对应的插件以及具体的参数。图3是本申请实施例提供的数据接入流程插件的配置示意图，如图3所示，其需要将http数据落地为es数据类型，则需要配置输入插件，然后配置对应的落地插件以及相关的接入参数；然后通过本申请实施例的接入转换方法来将http数据落地为es数据类型。在进行配置时，不单单可以对数据收发组件进行配置，也可以对数据处理组件进行配置，数据处理组件包括分支器、清洗器、转换器和解析模块；通过配置上述数据处理组件来实现不同类型的数据转换处理。

在本申请实施例进行插件配置时，可以采用手动配置，也可以采用动态自动配置的方式进行。可视化配置流程配置，可根据接入数据源或落地数据源，动态适用不同的插件，选择插件后，配置此插件的参数；数据接入时，数据源表与目标表的结构或字段类型不同，这本身就是一个字段mapping的过程；在转换组件中，针对相同的字段名称，自动创建对应关系，并根据目标表的字段，配置如何通过转换函数从源表的哪一个字段产生目标表的字段的值。

更为优选的，所述根据第三方数据配置相应的数据收发组件和数据处理组件之前，还包括：

也即是根据用户的点击触发操作或者按键触发操作来对待接入的第三方数据进行数据预览，通过在图像界面上对待接入的第三方数据进行预览来使得开发者对待接入的数据有更加直观的感受与认知。

S102：根据配置的所述数据输入模块接收数据源发送的第三方数据。

上述主要是通过配置的插件来进行第三方数据的采集，不同数据源的数据类型不同，需要采用不同的数据插件来进行数据的采集；然后再进行进一步的数据处理。在本申请实施例中，其支持主流的数据源处理，比如关系型数据库、大数据存储MPP、半结构化存储FTP/HDFS、NoSQL、消息队列、APIs服务等。

更为优选的，所述根据配置的所述数据输入模块接收数据源发送的第三方数据，包括：

通过在数据集成平台上构建实时通道和离线通道，使得数据集成平台可以接入实时第三方数据以及离线第三方数据，并且在数据集成平台上还可以集成跨网数据交换通道，进而可以实现跨网数据摆渡的功能，比如可以将公安网的数据内容通过跨网数据交换通道传输至相应的政务内网处，进而实现在两个不同网络之间的数据传输。

更为优选的，本申请实施例的数据集成平台还集成有任务切分功能以及任务全面监测功能，通过上述功能来实现对所有采集转换任务的过程进行监控告警。在所述根据配置的所述数据输入模块接收数据源发送的第三方数据之后，还包括：

将接入的第三方数据转化为接入任务，所述接入任务由任务调度系统进行调度。本步骤主要是将第三方数据转换为对应的接入任务，然后通过任务调度系统来进行统一的任务管控，在本申请实施例中任务调度系统支持分布式处理，由于其基于zookeeper进而可以实现高可靠性和扩展性，便于任务调度系统进行调度管理。任务调度系统还支持集中日志检索和跟踪、全链路的数据监测、对账与重跑机制，以及事件告警和订阅；便于用户整体了解整个任务的处理过程。

更为优选的，图4是本申请实施例提供的任务拆分的流程示意图，如图4所示，在所述将接入的第三方数据转化为接入任务，所述接入任务由任务调度系统进行调度之后，还包括：

S1021：通过任务调度系统以及预设的任务拆分规则对所述接入任务进行任务拆分以得到接入子任务；

S1022：对所述接入子任务的执行日志以及告警日志进行数据存储以用于通过所述任务调度系统进行查看。

本申请主要是对整个接入任务进行拆分，通过将任务拆分为多个子任务，能够更为清楚的知晓每一步处理得到的结果；并监视了解转换过程。在本申请实施例中进行任务拆分时需要依照预设的任务拆分规则来对其进行，在进行拆分时，任务拆分规则有如下几种规则：规则1：遇到解析，将数据源至解析组件拆分为一个任务；规则2：如果有解析且有分支，则将解析组件+第一落地分支拆分为一个任务；规则3：如果没有解析但有分支且数据源是nullkafka的，则将每个落地分支转换为一个任务；规则4：如果没有解析，有分支且数据源不是kafkareader，那么将数据源+第一落地分支拆分为一个任务，其它分支落地转换为一个任务。

图5是本申请实施例提供的一任务拆分的显示示意图，如图5所示，由于该任务中有解析组件，没有分支器；通过上述规则可以知晓，将数据源至解析这个过程定义为一个任务，作为任务1；将转换器至数据落地这部分定义为任务2。图6是本申请实施例提供的另一任务拆分的显示示意图，如图6所示，由于该任务中存在分支器，且有多个分支，因此，将数据源至分支器作为任务1，将第一分支的转换器到数据落地作为任务2，将第二分支的转换器到数据落地作为任务3。

本申请实施例的监控平台针对整个流程及拆分的任务进行监测，分为2个方面：第一方面通过任务管理，可以查看每个流程的状态及拆分任务的执行状态；第二方面可以查看每个接入任务的执行日志，告警日志，接入任务会将数据处理异常写到异常日志，并通过任务监测工具实时监测此日志变化，并在告警综合页面展示。

S103：根据所述数据处理组件对所述第三方数据进行数据处理以得到对应的数据目标表。

本步骤主要是对数据进行处理以及转换，由于输入端获取到的数据并不一定能够符合落地端的需求，所以在本步骤增加对第三方数据进行处理的步骤。由于在进行数据接收时，数据可能是图像数据、视频等非结构化数据，也可以结构化的数据，因此需要对其配置不同的处理流程来进行数据处理。

更为优选的，在本申请以非结构化数据转换为结构化数据来进行数据解析的方式来进行说明，所述数据处理组件包括转换器、过滤器和解析组件中的一种或多种；所述第三方数据包括人脸图像数据；在进行数据处理时，根据不同的方式来选取不同的数据类型，比如可以采用转换器对数据进行转换，也可以采用解析组件与转换器组合来进行解析转换，更可以采用三者结合来进行数据处理的方式。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。与结构化数据相对的是不适于由数据库二维表来表现的非结构化数据，包括所有格式的办公文档、XML、HTML、各类报表、图片和音频、视频信息等。

示例性的，图7是本申请实施例提供的数据解析的流程示意图，如图7所示，所述根据所述数据处理组件对所述第三方数据进行数据处理以得到对应的数据目标表，包括：

S103a：调用解析组件处集成的人脸解析插件对所述第三方数据进行识别以得到对应的结构化数据；所述结构化数据包括年龄、人种、是否佩戴眼镜、是否佩戴口罩和人脸特征数据中的一种或多种；

S103b：将所述结构化数据输入至过滤器以及转换器中进行数据清洗转换以得到相应的数据目标表。

上述即是对人脸图像数据写入的具体流程，通过集成的插件调用人脸解析插件来对人脸数据进行结构化解析最终得到相应的落地数据；也即是将非结构化数据转换为结构化的数据进行存储，然后便于后续系统的调用处理。

除了可以针对人脸图像数据之外，还可以针对车辆来进行识别，通过调用车辆识别插件来识别车辆品牌、型号和车辆号码等结构化数据。需要不同的功能时，直接设置相应的插件即可快速完成处理，也可以将获取到的数据通过插件将图像信息传输到解析平台进行处理，然后接收解析平台返回的数据内容。

在本申请实施例中转换器中内置有多种转换函数来进行数据转换，转换函数包括值映射、值范围转换、常量值、当前时间、独享属性获取、字段拷贝、产生数据唯一标识等，对应的转换函数包括有函数参数，函数参数包括有参数、参数名称、参数类型、默认值、函数描述等，比如值映射的函数y描述为“根据指定的映射字典进行值映射，如果找不到，则设置为默认值，返回时转换为目标字段的类型”。本申请实施例中过滤器中内置有多种过滤函数，过滤函数包括有非空检查、正则表达式检查、字段值归属范围检查、字段值归属范围校验、日期格式检查、字段指定位置是常量检查、数据类型检查等。通过转换器以及过滤器来对解析后的数据或者数据源传输的数据进行转换处理提升数据的可靠性。通过上述数据处理可以将源端的某个字段转换为目标表某个字段对应的内容，方便数据落地处理，可以针对不同的场景和产品快速接入不同的数据类型。

更为优选的，所述数据处理组件还包括分支器；图8是本申请实施例提供的数据分支的流程示意图，如图8所示，在所述将所述结构化数据输入至过滤器以及转换器中进行数据清洗转换以得到相应的数据目标表之后，还包括：

S103c：将所述数据目标表划分为多个数据分支表；

S103d：将多个所述数据分支表输入至过滤器以及转换器中进行清洗转换以得到对应的多个数据分支目标表。

本步骤主要是为了为后续多个系统提供不同的数据，以人脸抓拍数据为例，为了便于后续进行人脸布控以及数据结构化查询，可以将人脸抓拍数据转换为两种不同类型的数据，然后将两种数据分别送到kafka队列以及mppdb，由于两者属性不同，所以需要的数据属性也存在差异，因为需要采用分支器将两者进行数据分支，然后对其配置不同的处理流程来实现数据的处理落地；通过将处理后的数据推送至kafka队列用于后续人脸布控，将经过处理后的数据推送至mppdb用于后续数据结构化查询。

S104：根据所述数据落地模块和所述数据目标表生成相应的落地数据。

根据配置的数据落地模块，将经过转换处理的数据生成对应的落地数据，然后可以对落地数据进行进一步的处理，比如将其推送至相应的数据处理系统中。

通过本申请可以完成多种数据的接入，可以针对不同的数据源需要选择不同的数据集成插件，如果选择的数据库mysql，则选择mysql数据输入插件，如果需要选择输出oracle，则在落地时，采用oracle落地插件。在本申请中数据批量采集与流式采集一体化处理。

更为优选的，所述根据所述数据落地模块和所述数据目标表生成相应的落地数据，包括：

示例性的，在所述根据所述数据落地模块和多个所述数据分支目标表生成多个相应的分支落地数据之后，还包括：

将多个所述分支落地数据发送至相应的目标系统。

在进行数据落地时，针对于不同的场景与数据类型需要生成不同的分支落地数据；并将得到的分支落地数据推送至相应的目标系统中来进行后续的数据应用。通过上述数据接入转换方法能够将得到的第三方数据转换为对应产品或者项目系统所需要的数据，比如可以将得到的多个分支落地数据分别对应推送至人脸识别系统或者车牌识别系统等不同的目标系统来进行数据应用。

本申请实施例的数据集成平台采用框架加插件的模式来进行实施，在具体实施时，框架与插件两者所关注的内容不同。插件只需要关注数据的读取或者写入本身，也即是关注于数据源本身的读写数据正确性。其他的数据采集的共性问题则由框架来进行处理，比如数据采集过程中涉及到的类型转换、性能问题、统计问题、数据的对账、脏数据记录以及告警推送等均交由框架来进行处理。本申请实施例内置的数据收发组件、清洗函数、转换函数等均不是封闭的，可以通过灵活的插件扩展机制来进行其扩展；具体的相关开发人员可以依据实际情况来进行扩展开发。

在上述实施例的基础上，图9为本申请实施例提供的一种数据快速接入转换的装置的结构示意图。参考图9，本实施例提供的数据快速接入转换的装置具体包括：

配置模块21：用于根据第三方数据配置相应的数据收发组件和数据处理组件，所述数据收发组件包括数据输入模块和数据落地模块；所述数据输入模块集成有多种数据输入插件，所述数据落地模块集成有多种数据落地插件；

接收模块22：用于根据配置的所述数据输入模块接收数据源发送的第三方数据；

数据处理模块23：用于根据所述数据处理组件对所述第三方数据进行数据处理以得到对应的数据目标表；

数据落地模块24：用于根据所述数据落地模块和所述数据目标表生成相应的落地数据。

本申请实施例提供的数据快速接入转换的装置可以用于执行上述实施例提供的数据快速接入转换的方法，具备相应的功能和有益效果。

图10是本申请实施例提供的一种电子设备的结构示意图，参照图10，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器31的数量可以是一个或者多个，该电子设备中的存储器32的数量可以是一个或者多个。该电子设备的处理器31、存储器32、通信模块33、输入装置34及输出装置35可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的数据快速接入转换的方法对应的程序指令/模块(例如，数据快速接入转换的装置中的配置模块21、接收模块22、数据处理模块23和数据落地模块24)。存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据快速接入转换的方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例提供的数据快速接入转换的方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器31执行时用于执行一种数据快速接入转换的方法，该数据快速接入转换的方法包括：

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器31执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的数据快速接入转换的方法，还可以执行本申请任意实施例所提供的数据快速接入转换的方法中的相关操作。

上述实施例中提供的数据快速接入转换的装置、存储介质及电子设备可执行本申请任意实施例所提供的数据快速接入转换的方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的数据快速接入转换的方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims

1.一种数据快速接入转换的方法，其特征在于，包括：

根据所述数据落地模块和所述数据目标表生成相应的落地数据；

其中，所述数据处理组件包括转换器、过滤器、分支器和解析组件中的一种或多种插件；

将所述结构化数据输入至过滤器以及转换器中进行数据清洗转换以得到相应的数据目标表；

将所述数据目标表划分为多个数据分支表；

2.根据权利要求1所述的数据快速接入转换的方法，其特征在于，所述第三方数据包括人脸图像数据；

3.根据权利要求1所述的数据快速接入转换的方法，其特征在于，在所述根据所述数据落地模块和多个所述数据分支目标表生成多个相应的分支落地数据之后，还包括：

将多个所述分支落地数据发送至相应的目标系统。

4.根据权利要求1所述的数据快速接入转换的方法，其特征在于，在所述根据第三方数据配置相应的数据收发组件和数据处理组件之前，还包括：

5.根据权利要求1-4中任意一项所述的数据快速接入转换的方法，其特征在于，在所述根据配置的所述数据输入模块接收数据源发送的第三方数据之后，还包括：

6.根据权利要求5所述的数据快速接入转换的方法，其特征在于，在所述将接入的第三方数据转化为接入任务，所述接入任务由任务调度系统进行调度之后，还包括：

7.根据权利要求1-4中任意一项所述的数据快速接入转换的方法，其特征在于，所述根据第三方数据配置相应的数据收发组件和数据处理组件，包括：

8.一种数据快速接入转换的装置，其特征在于，包括：

数据落地模块：用于根据所述数据落地模块和所述数据目标表生成相应的落地数据；

所述数据处理模块还用于：

将所述数据目标表划分为多个数据分支表；

所述数据落地模块还用于：

9.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的数据快速接入转换的方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的数据快速接入转换的方法。