CN113377848A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置，用于从至少一个数据源处获取源数据并对源数据进行处理，方法包括：确定至少一个数据源中待进行源数据采集的目标数据源；确定与目标数据源对应的配置信息；根据配置信息，采集目标数据源的源数据；根据预设规则对源数据进行处理，获得标准目标数据，无需对每一个数据源单独进行仅与该数据源特性相符的数据处理，减少了数据处理过程的繁琐和冗余，避免出现人为操作错误，方便后期系统升级和数据维护。

Description

一种数据处理方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

在经营活动中，经常会出现一个经营者需要对接多个客户的情况，不同的客户有自己特有的对数据格式，但客户的数据格式和经营者使用的数据格式可能不同，经营者需要将客户的数据格式转换成自己使用的数据格式，以方便经营者进行处理和使用。

比如，广告投放平台需要对接多个广告投放者，不同的广告投放者的广告的数据格式，以及广告的投放要求均不同，当广告投放网络平台接收到大量广告投放者待投放的广告时，需要对全部的广告进行处理，以确定是否对其进行投放、确定投放区域、投放平台等。现有技术中为了配合客户的需求，更好的服务客户，广告投放平台每签订一个客户，为了获取该广告投放者提供的数据源的数据，需要开发一个适应该广告投放者的程序，以对该广告投放者提供的广告进行处理后，按照广告投放者提供的要求进行投放。

再比如，书店对接多个出版社，不同的出版社每年出版不同国籍、不同类型、不同作者的书籍，书店需要根据自己的需求从多个出版社中选择适合自己书店的书籍。但每个出版社有自己对书籍的统计方式，统计的内容中有的是书店需要的，有的是书店不需要的。书店想要从多个出版社出版的大量书籍中选择出就需要先从每个出版社提供的统计数据中选择出自己关心的内容，然后将其整理成一个标准数据格式，再次进行筛选。

由此可知，现有技术中的经营者需要根据不同的客户分别独立进行数据处理，严重影响数据处理的效率，同时也浪费了大量人力和物力资源。

发明内容

为了解决上述技术问题，本发明提供了一种数据处理方法、装置、设备及存储介质。

本发明提供的一种数据处理方法，用于从至少一个数据源处获取源数据并对所述源数据进行处理，所述数据处理方法包括：

确定所述至少一个数据源中待进行源数据采集的目标数据源；

确定与所述目标数据源对应的配置信息；

根据所述配置信息，采集所述目标数据源的源数据；

根据预设规则对所述源数据进行处理，获得标准目标数据。

上述数据处理方法还具有以下特点：所述根据预设规则对所述源数据进行处理包括：

根据预设策略对所述源数据进行过滤，和/或，对所述源数据进行数据格式标准化。

上述数据处理方法还具有以下特点：所述预设策略包括数据结构和/或字段名称。

上述数据处理方法还具有以下特点：所述确定所述至少一个数据源中待进行源数据采集的目标数据源包括：

判断是否接收到目标数据源调整信息，若是，则根据所述目标数据源调整信息确定所述目标数据源；

若否，则根据预存的目标数据源信息确定所述目标数据源。

上述数据处理方法还具有以下特点：所述目标数据源调整信息和所述预存的目标数据源信息包括待进行源数据采集的目标数据源的名称、顺序，以及与所述目标数据源对应的配置信息。

上述数据处理方法还具有以下特点：所述配置信息包括所述目标数据源的类型、与所述类型对应的认证信息、所述目标数据源的采集方式。

本发明提供的一种数据处理装置，用于从至少一个数据源处获取源数据并对所述源数据进行处理，所述数据处理装置包括：

确定模块，用于确定所述至少一个数据源中待进行源数据采集的目标数据源；

所述确定模块，还用于确定与所述目标数据源对应的配置信息；

采集模块，用于根据所述配置信息，采集所述目标数据源的源数据；

处理模块，用于根据预设规则对所述源数据进行处理，获得标准目标数据。

上述数据处理装置还具有以下特点：所述处理模块包括过滤子模块和/或标准化子模块，

所述过滤子模块，用于根据预设策略对所述源数据进行过滤；

所述标准化子模块，用于对所述源数据进行数据格式标准化。

上述数据处理装置还具有以下特点：所述数据处理装置还包括接收模块和动态配置模块，

所述接收模块，用于接收目标数据源调整信息；

所述动态配置模块，用于判断是否接收到目标数据源调整信息；

当判断结果为是时，所述确定模块用于根据所述目标数据源调整信息确定所述目标数据源；

当判断结果为否时，所述确定模块用于根据预存的目标数据源信息确定所述目标数据源。

上述数据处理装置还具有以下特点：还包括本地存储模块和存储中心，所述本地存储模块，用于存储所述预存的目标数据源信息；

所述存储中心，用于存储标准目标数据。

本发明提供了一种传输设备，所述传输设备包括：收发器、存储器、处理器；

所述收发器用于收发报文；

所述存储器用于存储指令和数据；

所述处理器用于读取所述存储器中存储的指令和数据，以执行如上所述的数据处理方法。

本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现如上所述的数据处理方法。

本发明中的数据处理方法及数据处理装置，不受数据源数量的限制，根据不同的目标数据源确定其对应的配置信息，进而采集该目标数据源的源数据并进行处理，获得标准目标数据，无需对每一个数据源单独进行仅与该数据源特性相符的数据处理，减少了数据处理过程的繁琐和冗余，避免出现人为操作错误，方便后期系统升级和数据维护。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出一个示例性实施例的数据处理方法流程图；

图2示出另一个示例性实施例的数据处理方法流程图；

图3示出另一个示例性实施例的数据处理方法流程图；

图4示出一个示例性实施例的数据处理装置的示意图；

图5示出另一个示例性实施例的数据处理装置的示意图；

图6示出另一个示例性实施例的数据处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本申请提供了一种数据处理方法，用于从至少一个数据源处获取源数据并对源数据进行处理，数据处理方法包括：确定至少一个数据源中待进行源数据采集的目标数据源；确定与目标数据源对应的配置信息；根据配置信息，采集目标数据源的源数据；根据预设规则对源数据进行处理，获得标准目标数据。使用本申请中的数据处理方法，无需对每一个数据源单独进行仅与该数据源特性相符的数据处理，减少了数据处理过程的繁琐和冗余，避免出现人为操作错误，方便后期系统升级和数据维护。

本实施例提供了一种数据处理方法，可以应用在广告数据处理过程中，从至少一个数据源出获取源数据并对源数据进行处理。如图1所示，使出了本实施例的一种数据处理方法，下面对本实施例的应用场景进行说明。广告公司需要对接多个用户，为多个用户提供广告服务，有些用户对不同的节日、不同产品需要推出不同的广告，用户需要的广告内容是通过软件系统从用户侧传输至广告公司。由于广告公司对接的客户终端，每个客户都有自己广告要求，每个用户又都会通过其常用的软件系统想广告公司发送需要进行广告包装的内容，以及广告的价格、投放方式、投放区域等。使用本实施例中的方法，可以不需要针对每一个用户涉及一个专门针对该用户的数据处理方法，采用本实施例中的方法即可对全部的用户发送的内容进行统一处理。本实施例中的方法，是通过比如数据库、HTTP等多种方式分页获取数据源的数据的方法，可以设置为定时任务，即每间隔预定时长执行一次本实施例中的方法，预定时长可以是以小时为单位，也可以是以天为单位，还可以是以月为单位。当然，可以理解的是，本实施例中的方法也可以根据具体情况需要设置为单次任务，在执行完后不再重复执行。待下次任务开启时再接着执行。

本实施例中的方法包括：

S101、确定至少一个数据源中待进行源数据采集的目标数据源。

S102、确定与目标数据源对应的配置信息。

S103、根据配置信息，采集目标数据源的源数据。

S104、根据预设规则对源数据进行处理，获得标准目标数据。

其中，步骤S101中的数据源可以是指广告公司的众多客户，根据广告公司与客户之间的约定等，比如有的客户要求每个月都要投放广告，有客户要求每半年对其广告进行一次更新。则广告公司几乎每天或者没几天都要从众多客户中确定目标数据源，目标数据源即需要对该客户的广告进行数据处理的客户。当然，可以理解的是，除了广告公司之外，其他的有相同需求的公司也可以使用本公开中的方法，在此不做具体限定。

步骤S102中，广告公司再对目标数据源的源数据进行采集时，为了对所有客户的数据进行统一管理和处理，要在源数据采集过程中，对源数据进行处理，首先需要确定其要获得的配置信息。配置信息包括目标数据源的类型、与类型对应的认证信息、目标数据源的采集方式。本实施例中，会根据每个数据源配置与该数据源的数据类型相匹配的连接方式，通过相匹配的连接方式从该数据源出获得数据。比如，当数据源的连接地址为http、mongodb或者mysql数据库时，在与数据源连接时使用的认证信息为与http对应的资源定位符、与mongodb对应的api key或者access token，与mysql数据库对应的数据库的用户名、密码、数据库名称等，实现采用与数据源的数据类型相匹配的方式进行连接。同时，在进行连接时，还可以对采集频率进行限定，比如每10分钟读取一次http或数据库的书，且采取分页读取方式读取完所有数据；再比如，可以只采集一次，且一次采集完全部数据。配置信息包括静态配置信息和动态配置信息，其中，静态配置信息是指在数据采集过程中在比较长的一段保持不变的配置内容，也可以理解为项目启动时，本地配置文件中已经存储的信息。动态配置信息是指在某一次数据采集过程中，由于一些突发性的原因造成需要对数据采集过程中的一些内容进行更改的配置信息，也可以理解为项目运行过程中通过UI配置中心操作存储至数据库中的信息，数据库比如可以是redis、mysql或mongodb。动态配置信息与静态配置信息相比，两者的数据结构类似，可以是关于同一数据源的经过更新后的信息，也可以是新增的数据源的信息。另外，动态配置信息中的每一项信息均具有标志位，以表征该信息是否启用。如果启用，则最终的全部配置信息是动态配置信息和静态配置信息的合并集合，同一个数据源的信息以启用的动态配置信息为主。通常情况下，静态配置信息一般存储在本地，动态配置信息由相关技术人员通过录入方式进行更新。在数据进行采集之前，需要综合考虑动态配置信息和静态配置信息后，对数据进行处理。由于本实施例通过比如数据库、HTTP等多种方式分页获取数据源的数据，因此配置信息还包括目标数据源的类型对应的认证信息，即数据库或者HTTP的认证信息等。目标数据源的采集方式比如是否包括特殊的数据处理策略等。在确定了配置信息后，执行步骤S103中，以获取目标数据源的源数据。

步骤S104中，通过预设规则对源数据进行处理，在完成本次数据采集之后，以确定出下一次数据采集要进行数据源。比如预设规则可以是，首先采集作为大客户的源数据，后采集小客户的源数据。预设规则还可以是，首先采集一线城市的客户的源数据，后采集二线城市、三线城市的源数据。在此，需要说明的是，本公开中的预设规则根据公司类型和公司的业务不同，可以有完全不同的预设规则，在具体实施过程中，可以通过公司的业务人员基于公司当前策略提供基础的全局通用的预设规则，并通过静态配置信息和动态配置信息实现。其中，预设规则可以分为全局通用规则和专项附加规则，全局通用规则适用于与公司对接的全部数据源，全局通用规则支持静态配置信息和动态配置信息；专项附加规则针对有特殊需求的数据源，可以通过动态配置信息实现。同时，全局通用规则和专项附加规则可以设置优先级，可以设定专项附加规则高于全局通用规则，以在两者限定的规则发生冲突时，以与客户相匹配的专项附加规则优先进行处理，提升用户的使用体验。并且，当某一客户第一次与公司进行对接时，默认采用全局通用规则对数据源进行处理，如果后期通过动态配置中心设置了动态配置信息，设定了专项附加规则，则在进行处理处理时，兼顾全局通用规则和专项附加规则，并以专项附加规则的优先级更好作为处理方案。另外，在该步骤中，通过预设规则对源数据进行处理，还可以对数据进行过滤。比如客户向广告公司发送源数据时，其中包含很多内容，比如广告的投放位置、面向对象、价格、投放时间、投放区域等。其中，投放位置比如可以是地铁、电梯、网络平台、电视等；面向对象比如可以是老年人、青年人、女性、男性等；投放时间可以是时间段，甚至可以精确至分钟；投放区域比如可以是国内市场、海外市场、北京、上海等。但广告公司可能因为其业务范围并不需要投放区域和投放位置，因此，可以通过预设规则将这源数据中的投放区域和投放位置过滤掉，进而获得标准目标数据。标准目标数据是指符合格式规则，且被广告公司需要的数据。

在另一个示例性实施例中，如图2所示，本实施例示出的数据处理方法包括：

S201、确定至少一个数据源中待进行源数据采集的目标数据源。

S202、确定与目标数据源对应的配置信息。

S203、根据配置信息，采集目标数据源的源数据。

S204、根据预设策略对源数据进行过滤，和/或，对源数据进行数据格式标准化。

步骤S201至S203中的具体实现方式与上述实施例中的步骤S101至S103中的具体实现方式相同，在此不再赘述。步骤S204中，在另一场景下对该步骤中的方法进行说明。图书馆从各大图书出版机构获取数据的信息，并从各个出版机构出版的图书中选择自己需要的数据并采购。数据源是各个出版机构，目标数据源是需要进行源数据采集的出版机构，源数据是该出版机构的图书信息，图书信息可以包括图书名称、作者、作者国籍、图书文字种类、允许出售地区、图书种类、价格、翻译人员等。其中图书文字种类比如可以是英文、中文、日文等；图书种类比如可以是工具书、教科书、小说、自传等；允许出售地区比如可以是国内、国外等。根据预设策略对源数据进行过滤，比如可以是根据数据结构和/或字段名称对源数据进行过滤。比如，仅获取作者、图书文字种类、价格、图书种类，其余的信息去掉。或者，根据预设策略将该出版结构的数据结构字段转换为标准格式。在此，需要说明的是，可以单独对源数据进行过滤，也可以单独对源数据进行数据格式标准化，还可以同时进行上述两个方面的数据处理。

在另一个示例性实施例中，如图3所示，本实施例中的数据处理方法包括：

S301、判断是否接收到目标数据源调整信息，若是，则执行S3011，若否，则执行S3012；

S3011、根据目标数据源调整信息确定目标数据源；

S3011、则根据预存的目标数据源信息确定目标数据源。

S302、确定与目标数据源对应的配置信息。

S303、根据配置信息，采集目标数据源的源数据。

S304、根据预设规则对源数据进行处理，获得标准目标数据。

步骤S302至S304中的具体实现方式与上述实施例中的步骤S102至S104中的具体实现方式相同，在此不再赘述。在步骤S301中，目标数据源调整信息和预存的目标数据源信息包括待进行源数据采集的目标数据源的名称、顺序，以及与目标数据源对应的配置信息。比如当广告公司与某一客户解除合作信息后，需要对目标数据源进行调整，如果接收到了目标数据源调整信息时，说明需要对目标数据源进行调整，根据目标数据源调整信息确定目标数据源。如果没有接收到目标数据源调整信息，则说明不需要对目标数据源进行调整，只需要根据预存的目标数据源信息确定目标数据源即可。

本申请还提供了一种数据处理装置，用于从至少一个数据源处获取源数据并对源数据进行处理，本实施例中的数据处理装置用于执行图1示出的数据处理方法，如图4所示，本实施例中的数据处理装置包括：

确定模块，用于确定至少一个数据源中待进行源数据采集的目标数据源；

确定模块，还用于确定与目标数据源对应的配置信息；

采集模块，用于根据配置信息，采集目标数据源的源数据；

处理模块，用于根据预设规则对源数据进行处理，获得标准目标数据。

在另一个示例性实施例中，如图5所示，本实施例中的数据处理装置用于执行图2中示出的数据处理方法。本实施例中的确定模块、采集模块与图4示出的数据处理装置的具体实现方式相同，在此不再赘述。本实施例中的处理模块包括过滤子模块和/或标准化子模块，其中，过滤子模块，用于根据预设策略对源数据进行过滤；标准化子模块，用于对源数据进行数据格式标准化。

在另一个示例性实施例中，如图6所示，本实施例中的数据处理装置用于执行图3中示出的数据处理方法。本实施例中的采集模块、处理模块与图4示出的数据处理装置的具体实现方式相同，在此不再赘述。本实施例中，数据处理装置还包括接收模块和动态配置模块，其中，接收模块，用于接收目标数据源调整信息；动态配置模块，用于判断是否接收到目标数据源调整信息。当判断结果为是时，确定模块用于根据目标数据源调整信息确定目标数据源；当判断结果为否时，确定模块用于根据预存的目标数据源信息确定目标数据源。另外，本实施例中的数据处理装置还包括本地存储模块和存储中心，本地存储模块，用于存储预存的目标数据源信息；存储中心，用于存储标准目标数据。在此，需要说明的是，存储中心可以通过HTTP,gRPC,数据库等方式接收完成处理后的数据源的优质数据，持久化或继续分享或筛选排序处理后的数据。

另外，本申请还提供了一种传输设备，传输设备包括：收发器、存储器、处理器。其中，收发器用于收发报文；存储器用于存储指令和数据；处理器用于读取存储器中存储的指令和数据，以执行如图1至图3示出的数据处理方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，程序被处理器执行时实现如图1至图3示出的数据处理方法。

本申请中的数据处理方法、数据处理装置，不会受到数据源数量的限制，只需要一次开发框架，即可对接新的数据源，实现快速、批量、大量对数据进行处理的效果。同时，由于配置文件、可以通过本地存储和自定义方式获取，将获取数据的过程与数据源本身解耦，后期对装置进行升级和数据维护更加简单、明了。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (12)

1.一种数据处理方法，其特征在于，用于从至少一个数据源处获取源数据并对所述源数据进行处理，所述数据处理方法包括：

确定所述至少一个数据源中待进行源数据采集的目标数据源；

确定与所述目标数据源对应的配置信息；

根据所述配置信息，采集所述目标数据源的源数据；

根据预设规则对所述源数据进行处理，获得标准目标数据。

2.如权利要求1所述的数据处理方法，其特征在于，所述根据预设规则对所述源数据进行处理包括：

根据预设策略对所述源数据进行过滤，和/或，对所述源数据进行数据格式标准化。

3.如权利要求2所述的数据处理方法，其特征在于，所述预设策略包括数据结构和/或字段名称。

4.如权利要求1所述的数据处理方法，其特征在于，所述确定所述至少一个数据源中待进行源数据采集的目标数据源包括：

判断是否接收到目标数据源调整信息，若是，则根据所述目标数据源调整信息确定所述目标数据源；

若否，则根据预存的目标数据源信息确定所述目标数据源。

5.如权利要求4所述的数据处理方法，其特征在于，所述目标数据源调整信息和所述预存的目标数据源信息包括待进行源数据采集的目标数据源的名称、顺序，以及与所述目标数据源对应的配置信息。

6.如权利要求1至5任一项所述的数据处理方法，其特征在于，所述配置信息包括所述目标数据源的类型、与所述类型对应的认证信息、所述目标数据源的采集方式。

7.一种数据处理装置，其特征在于，用于从至少一个数据源处获取源数据并对所述源数据进行处理，所述数据处理装置包括：

确定模块，用于确定所述至少一个数据源中待进行源数据采集的目标数据源；

所述确定模块，还用于确定与所述目标数据源对应的配置信息；

采集模块，用于根据所述配置信息，采集所述目标数据源的源数据；

处理模块，用于根据预设规则对所述源数据进行处理，获得标准目标数据。

8.如权利要求7所述的数据处理装置，其特征在于，所述处理模块包括过滤子模块和/或标准化子模块，

所述过滤子模块，用于根据预设策略对所述源数据进行过滤；

所述标准化子模块，用于对所述源数据进行数据格式标准化。

9.如权利要求7所述的数据处理装置，其特征在于，所述数据处理装置还包括接收模块和动态配置模块，

所述接收模块，用于接收目标数据源调整信息；

所述动态配置模块，用于判断是否接收到目标数据源调整信息；

当判断结果为是时，所述确定模块用于根据所述目标数据源调整信息确定所述目标数据源；

当判断结果为否时，所述确定模块用于根据预存的目标数据源信息确定所述目标数据源。

10.如权利要求9所述的数据处理装置，其特征在于，还包括本地存储模块和存储中心，

所述本地存储模块，用于存储所述预存的目标数据源信息；

所述存储中心，用于存储标准目标数据。

11.一种传输设备，其特征在于，所述传输设备包括：收发器、存储器、处理器；

所述收发器用于收发报文；

所述存储器用于存储指令和数据；

所述处理器用于读取所述存储器中存储的指令和数据，以执行如权利要求1至6任一项所述的数据处理方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6任一项所述的数据处理方法。

Images