CN110134730A - 数据生产方法、装置、介质及电子设备 - Google Patents
数据生产方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN110134730A CN110134730A CN201910418806.5A CN201910418806A CN110134730A CN 110134730 A CN110134730 A CN 110134730A CN 201910418806 A CN201910418806 A CN 201910418806A CN 110134730 A CN110134730 A CN 110134730A
- Authority
- CN
- China
- Prior art keywords
- data
- production
- produced
- production requirement
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明的实施例提供了一种数据生产方法、装置、介质及电子设备。该方法包括:获取原始数据,并判断原始数据中是否包含目标对象的数据生产需求;其中数据生产需求包括待生产数据类型;响应于判定原始数据中包含数据生产需求,将待生产数据类型发送到注册数据库;接收注册数据库发送的待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;将数据生产需求发送到数据生产地址以使数据生产者根据数据生产需求生产目标对象对应的内容数据。本发明实施例的技术方案能够使数据生产过程与数据使用过程分开进行,提高数据生产效率,优化系统性能。
Description
技术领域
本发明的实施例涉及计算机技术领域,更具体地,本发明的实施例涉及数据生产方法、数据生产装置、计算机可读存储介质以及电子设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着互联网技术的发展,人们需要处理的数据量也越来越大,传统的数据生产方式已经不能满足人们的需求。
目前的技术方案中,一般是直接根据数据生产需求依次调用相关数据接口进行数据生产。
发明内容
但是,这种技术方案虽然能够满足大数据量的数据生产,并且该技术方案的数据生产过程与数据使用过程强耦合,需要直接依赖,导致数据生产效率较低。
因此在现有技术中,难以达到令人满意的高效率的数据生产方式。
为此,非常需要一种改进的数据生产方法,以使得数据生产过程以及数据使用过程能够分开进行,提升数据生产的效率。
在本上下文中,本发明的实施例期望提供一种数据生产方法、数据生产装置、计算机可读存储介质以及电子设备。
在本发明实施例的第一方面中,提供了一种数据生产方法,包括:获取原始数据,并判断所述原始数据中是否包含目标对象的数据生产需求;其中所述数据生产需求包括待生产数据类型;响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库;接收所述注册数据库发送的所述待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据。
在本发明的一些实施例中,基于前述方案,响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库还包括:响应于判定所述原始数据中不包含所述数据生成需求,结束所述目标对象的数据生产过程。
在本发明的一些实施例中,基于前述方案,响应于判定所述原始数据中包含所述数据生产需求之后,所述方法还包括:检测所述数据生产需求中是否包含相同的所述待生产数据类型的数据生产需求;响应于确定所述数据生成需求中包含相同的所述待生产数据类型的数据生成需求,合并所述包含相同的所述待生产数据类型的数据生成需求。
在本发明的一些实施例中,基于前述方案,将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据之后,所述方法还包括:获取所述内容数据,并判断所述内容数据中是否包含所述目标对象的第二数据生产需求;响应于判定所述内容数据中包含所述第二数据生产需求,将所述第二数据生产需求对应的第二待生产数据类型发送到所述注册数据库;接收所述注册数据库发送的所述第二待生产数据类型对应的第二数据生产地址;将所述其他数据生产需求发送到所述第二数据生产地址以使得所述第二数据生产地址对应的数据生产者根据所述其他数据生产需求生产所述目标对象对应的第二内容数据。
在本发明的一些实施例中,基于前述方案,在获取第二内容数据之后,所述方法还包括:将所述内容数据以及所述第二内容数据进行组装处理,以确定所述目标对象对应的完整数据。
在本发明的一些实施例中,基于前述方案,获取所述内容数据,并判断所述内容数据中是否包含所述目标对象的第二数据生产需求包括:获取所述内容数据的结构标识;根据所述结构标识,判断所述内容数据是否包含所述第二数据生产需求。
在本发明实施例的第二方面中,提供了一种数据生产方法,应用于注册数据库,所述方法包括:接收数据业务方发送的待生产数据类型;查询所述待生产数据类型对应的数据生产者,其中,所述数据生产者包含对应的数据生产地址;将所述数据生产地址发送给所述数据业务方,使得数据业务方将数据生产需求发送到所述数据生产地址以完成内容数据的生产过程。
在本发明的一些实施例中,基于前述方案,所述接收数据业务方发送的待生产数据类型之前,所述方法还包括:接收多个所述数据生产者发送的注册识别符,其中所述注册识别符包括所述数据生产者对应的生产数据类型;基于所述注册识别符,建立数据生产者列表,其中所述数据生产者列表包含所述数据生产者、所述数据生产者对应的生产数据类型以及所述数据生产者对应的数据生产地址。
在本发明的一些实施例中,基于前述方案,所述查询所述待生产数据类型对应的数据生产者包括:基于所述数据生产者列表,查询所述待生产数据类型对应的所述数据生产者,并将所述数据生产者对应的数据生产地址发送给所述数据业务方。
在本发明实施例的第三方面中,提供了一种数据生产装置,包括:数据判断单元,用于获取原始数据,并判断所述原始数据中是否包含目标对象的数据生产需求,其中所述数据生产需求包括待生产数据类型;数据判定单元,用于响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库;数据生产地址接收单元,用于接收所述注册数据库发送的所述待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;数据生产单元,用于将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据。
在本发明的一些实施例中,基于前述方案,所述数据判定单元被配置为:响应于判定所述原始数据中不包含所述数据生成需求,结束所述目标对象的数据生产过程。
在本发明的一些实施例中,基于前述方案,所述数据生产装置被配置为:检测所述数据生产需求中是否包含相同的所述待生产数据类型的数据生产需求;响应于确定所述数据生成需求中包含相同的所述待生产数据类型的数据生成需求,合并所述包含相同的所述待生产数据类型的数据生成需求。
在本发明的一些实施例中,基于前述方案,所述数据生产装置还包括:内容数据判断单元,用于获取所述内容数据,并判断所述内容数据中是否包含所述目标对象的第二数据生产需求;内容数据判定单元,用于响应于判定所述内容数据中包含所述第二数据生产需求,将所述第二数据生产需求对应的第二待生产数据类型发送到所述注册数据库;第二数据生产地址接收单元,接收所述注册数据库发送的所述第二待生产数据类型对应的第二数据生产地址;第二数据生产单元,用于将所述其他数据生产需求发送到所述第二数据生产地址以使得所述第二数据生产地址对应的数据生产者根据所述其他数据生产需求生产所述目标对象对应的第二内容数据。
在本发明的一些实施例中,基于前述方案,所述数据生产装置被配置为:将所述内容数据以及所述第二内容数据进行组装处理,以确定所述目标对象对应的完整数据。
在本发明的一些实施例中,基于前述方案,所述内容数据判断单元被配置为:获取所述内容数据的结构标识;根据所述结构标识,判断所述内容数据是否包含所述第二数据生产需求。
在本发明实施例的第四方面中,提供了一种数据生产装置,包括:数据类型接收单元,用于接收数据业务方发送的待生产数据类型;数据生产者查询单元,用于查询所述待生产数据类型对应的数据生产者,其中,所述数据生产者包含对应的数据生产地址;数据生产地址发送单元,用于将所述数据生产地址发送给所述数据业务方,使得数据业务方将数据生产需求发送到所述数据生产地址以完成内容数据的生产过程。
在本发明的一些实施例中,基于前述方案,所述数据生产装置被配置为:接收多个所述数据生产者发送的注册识别符,其中所述注册识别符包括所述数据生产者对应的生产数据类型;基于所述注册识别符,建立数据生产者列表,其中所述数据生产者列表包含所述数据生产者、所述数据生产者对应的生产数据类型以及所述数据生产者对应的数据生产地址。
在本发明的一些实施例中,基于前述方案,所述数据生产者查询单元被配置为:基于所述数据生产者列表,查询所述待生产数据类型对应的所述数据生产者,并将所述数据生产者对应的数据生产地址发送给所述数据业务方。
在本发明实施例的第五方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面或者第二方面所述的数据生产方法。
在本发明实施例的第六方面中,提供了一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上述第一方面或者第二方面所述的数据生产方法。
根据本发明实施例的技术方案,一方面,将数据生产需求中包含的待生产数据类型发送到注册数据库,并通过注册数据库查询合适的数据生产者进行数据生产,优化了对数据生产者的管理,能够准确地、快速地进行数据生产,提高数据生产速度;另一方面,将数据生产需求发送到注册数据库返回的数据生产地址,使数据生产者根据数据生产需求生产数据,能够使数据生产过程以及数据使用过程分开进行,互不影响,提高了数据生产的效率,优化了系统性能。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施例,其中:
图1示意性示出了根据本发明的一些实施例的示例性应用场景的示意框图;
图2示意性地示出了根据本发明的一些实施例的数据生产方法的流程示意图;
图3示意性地示出了根据本发明的另一些实施例的数据生产方法的流程示意图;
图4示意性地示出了根据本发明的一些实施例的数据生产过程的示意图;
图5示意性地示出了根据本发明的一些实施例的第一次数据生产得到的数据结构的流程示意图;
图6示意性地示出了根据本发明的一些实施例的数据并行生产的示意框图;
图7示意性地示出了根据本发明的一些实施例的第二次数据生产得到的数据结构的示意框图;
图8示意性地示出了根据本发明的一些实施例的第三次数据生产得到的数据结构的示意框图;
图9示意性地示出了根据本发明的一些实施例的数据生产装置的示意框图;
图10示意性地示出了根据本发明的另一些实施例的数据生产装置的示意框图;
图11示意性地示出了根据本发明的示例实施例的存储介质的示意图;以及
图12示意性地示出了根据发明的示例实施例的电子设备的方框图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施例来描述本发明的原理和精神。应当理解,给出这些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施例可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施例,提出了一种数据生产方法、数据生产装置、介质和电子设备。
在本文中,需要理解的是,所涉及的术语,比如数据可以是指计算机系统中的一些有效数据的集合;数据生产者可以是指生产数据的函数方法;注册数据库可以是指统一的信息管理中心,可以通过条件查询已注册的信息(例如数据生产者)。此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施例,详细阐释本发明的原理和精神。
发明概述
本发明人发现,一种技术方案中,对于数据生产一般是直接根据数据生产需求按顺序依次调用相关的数据接口进行数据生产。这种技术方案中数据生产过程以及数据使用过程强耦合,需要直接依赖,从而降低了数据生产的效率,而且实现该技术方案的后台程序代码容易出现重复,占用系统计算资源多,降低了系统性能。
基于上述内容,本发明的基本思想在于,判断原始数据中是否包含目标对象的数据生产需求,其中所述数据生产需求包括待生产数据类型;当判定原始数据中包含数据生产需求时,将待生产数据类型发送到注册数据库;接收注册数据库发送的待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;将数据生产需求发送到数据生产地址以使数据生产者根据数据生产需求生产目标对象对应的内容数据,从而能够实现使数据生产过程与数据使用过程分开进行,提高数据生产效率,优化系统性能。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施例。
应用场景总览
首先参考图1,图1示出了根据本发明的一些实施例的示例性应用场景的示意框图。如图1所示,该数据生产系统可以包括:注册数据库110、数据业务方120以及数据生产模块130。其中,注册数据库110用于根据待生产数据类型查询数据生产者并返回数据生产者对应的数据生产地址,数据业务方120用于判断原始数据中是否包含数据生产需求以及提取数据生产需求中的待生产数据类型,并将数据生产需求发送到注册数据库110以及接收注册数据库110返回的数据生产地址,数据生产模块130用于接收数据业务方120发送的数据生产地址以及数据生产需求,以使数据生产者根据数据生产地址以及数据生产需求生产数据。
应该理解的是,图1所示的应用场景仅是本发明的实施例可以在其中得以实现的一个示例。本发明实施例的适用范围不受到该应用场景任何方面的限制。
示例性方法
下面结合图1的应用场景,参考图2来描述根据本发明示例性实施例的数据生产方法。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施例在此方面不受任何限制。相反,本发明的实施例可以应用于适用的任何场景(例如可以应用于分布式数据结构,进行大规模集群计算)。
在本示例实施例中,首先提供了一种数据生产方法,该方法执行主体可以是数据业务方。参照图2所示,在步骤S210中,获取原始数据,并判断原始数据中是否包含目标对象的数据生产需求,其中数据生产需求包括待生产数据类型。
在示例实施例中,原始数据可以是指用户上传的数据,例如原始数据可以是用户上传的某商品的ID,当然,原始数据也可以是指能够启动数据生产过程的其他数据,本发明对此不做特殊限定。目标对象可以是指需要进行数据生产的对象,例如目标对象可以是某商品,也可以是其他需要进行数据生产的对象,本发明对此不做特殊限定。待生产数据类型可以是指数据生产需求中请求生产的数据对应的类型,例如待生产数据类型可以是商品类型、商品分类、商品品牌、商品型号等,需要说明的是,此处仅是示意性说明,并不应对本发明造成任何限定。
在步骤S220中,响应于判定原始数据中包含数据生产需求,将待生产数据类型发送到注册数据库。
在示例实施例中,注册数据库可以是指存储数据生产者对应的标识信息的数据库,可以通过相关条件在注册数据库中进行查询。当确定原始数据中包含数据生产需求时,提取数据生产需求中的待生产数据类型。
进一步地,数据业务方将待生产数据类型发送到注册数据库,此时注册数据库可以将待生产数据类型作为查询条件在注册数据库中查找对应生产数据类型的数据生产者。当注册数据库查询到与待生产类型对应的数据生产者时,注册数据库返回与数据生产者对应的数据生产地址。
在步骤S230中,接收注册数据库发送的待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者。
在示例实施例中,数据生产地址可以是指与数据生产者以及待生产数据类型对应的入口地址,数据生产者可以通过数据生产地址进行数据生产,且一个数据生产地址对应一个数据生产者。
在步骤S240中,将数据生产需求发送到数据生产地址以使数据生产者根据数据生产需求生产目标对象对应的内容数据。
在示例实施例中,内容数据可以是指目标对象进行数据装配时所需要的数据,例如内容数据可以是指某商品品牌的品牌标识图片,内容数据也可以是指目标对象进行数据装配时所需要的待生产结构数据,例如内容数据可以是商品图片、商品分类、商品品牌、商品型号等,本发明对此不做特殊限定。数据业务方将数据生产需求发送到数据生产地址以使数据生产者根据数据生产需求生产目标对象对应的内容数据。
根据图2示例实施例的技术方案,一方面,将数据生产需求中包含的待生产数据类型发送到注册数据库,并通过注册数据库查询对应的数据生产者进行数据生产,优化了对数据生产者的管理,能够准确地、快速地进行数据生产,提高数据生产速度;另一方面,将数据生产需求发送到注册数据库返回的数据生产地址,使数据生产者根据数据生产需求生产数据,能够使数据生产过程以及数据使用过程分开进行,互不影响,提高了数据生产的效率,优化了系统性能。
在另一示例实施例中,数据业务方响应于判定原始数据中不包含数据生成需求,结束目标对象的数据生产过程。当数据业务方没有在原始数据中识别到数据生产需求时,判定不需要进行数据生产,因此结束当前的数据生产过程。
在示例实施例中,响应于判定原始数据中包含数据生产需求之后,数据业务方检测数据生产需求中是否包含相同的待生产数据类型的数据生产需求;响应于确定数据生成需求中包含相同的待生产数据类型的数据生成需求,合并包含相同的待生产数据类型的数据生成需求。当数据业务方判定原始数据中包含数据生产需求之后,提取原始数据中的数据生产需求,其中数据生产需求可以是一个,也可以是多个,本发明对此不做特殊限定。数据业务方检测提取的多个数据生产需求中的待生产数据类型是否有相同的,当多个数据生产需求对应的待生产数据类型有相同类型时,将待生产数据类型相同的数据生产需求进行合并。通过合并包含相同的待生产数据类型的数据生成需求,能够进一步提高数据生产的效率,节省计算资源,提升系统的工作效率。
可选的,将数据生产需求发送到数据生产地址以使数据生产者根据数据生产需求生产目标对象对应的内容数据之后,数据业务方继续判断内容数据中是否包含目标对象的第二数据生产需求。在判定内容数据中包含第二数据生产需求时,将第二数据生产需求对应的第二待生产数据类型发送到注册数据库;接收注册数据库发送的第二待生产数据类型对应的第二数据生产地址;将第二数据生产需求发送到第二数据生产地址以使得第二数据生产地址对应的数据生产者根据第二数据生产需求生产目标对象对应的第二内容数据。第二数据生产需求可以是指内容数据中包含的数据生产需求,相对于原始数据中包含的数据生产需求。第二待生产数据类型可以是指对应第二数据生产需求中的待生产数据类型。第二内容数据可以是指目标对象进行数据装配时所需要的数据,相对于根据原始数据中的数据生产需求得到的内容数据。
进一步的,在获取第二内容数据之后,数据业务方将内容数据以及第二内容数据进行组装处理,确定目标对象对应的完整数据。完整数据可以是指实现目标对象数据组装过程所需的数据,完整数据可以通过一次数据生产过程得到(即一次数据生产过程得到的内容数据就是目标对象的完整数据),也可以通过多次数据生产过程得到(即将多次数据生产过程得到的多个内容数据组装起来就是目标对象的完整数据)。对第一次数据生产过程得到的内容数据以及第二次数据生产过程得到的第二内容数据进行组装得到目标对象的完整数据。当然,本示例实施例中,也可以进行第三次数据生产过程得到第三内容数据,通过内容数据、第二内容数据以及第三内容数据得到目标对象的完整数据,本发明对此不做特殊限定。
可选的,获取内容数据的结构标识,根据结构标识判断内容数据是否包含第二数据生产需求。结构标识可以是指内容数据中包含的与目标对象关联的结构数据,例如结构标识可以是某商品的商品品牌或者商品型号等数据。当然,结构标识也可以是内容数据本身配置的信息或者是内容数据本身的属性信息,本发明对此不做特殊限定。
可选的,当某次数据生产过程中需要多个数据生产者同时进行生产时,启动预设的并行策略以使多个不同的数据生产者同时进行数据生产。例如预设的并行策略可以是Fork/Join并行模式。基于预设的并行策略使多个不同的数据生产者同时进行数据生产,能够进一步提高数据生产的效率。
需要说明的是,本示例实施例中的“第二”仅是为了与相同类型的数据进行区分,当然,也可以是“第三”“第四”等,具体根据实际应用场景而定,不应对本发明造成任何限定。
在本示例实施例中,还提供了一种数据生产方法,该方法执行主体可以是注册数据库。参照图3所示,在步骤S310中,接收数据业务方发送的待生产数据类型。
在本示例实施例中,当数据业务方判定原始数据中包含数据生产需求时,提取数据生产需求中的待生产数据类型,并将待生产数据类型发送给注册数据库。注册数据库接收数据业务方发送的待生产数据类型。
在步骤S320中,查询待生产数据类型对应的数据生产者,其中,数据生产者包含对应的数据生产地址。
在本示例实施例中,注册数据库将待生产数据类型作为查询条件,查询已经在注册数据库注册的、与待生产数据类型对应的数据生产者,同时获取与数据生产者对应的数据生产地址。
在数据生产过程启动之前,所有数据生产者向注册数据库发送对应的注册识别符。注册数据库接收多个数据生产者发送的注册识别符,其中注册识别符可以包括数据生产者对应的生产数据类型。注册数据库根据注册识别符建立数据生产者列表以完成数据生产者的注册,其中数据生产者列表可以包括数据生产者、数据生产者对应的生产数据类型以及数据生产者对应的数据生产地址。
注册数据库通过数据生产者列表查询待生产数据类型对应的数据生产者,并将数据生产者对应的数据生产地址发送给数据业务方。通过在注册数据库创建数据生产者列表,能够使注册数据库更加快速准确地查询待生产数据类型对应的数据生产者,进一步提高数据生产的效率,提升系统的性能。
在步骤S330中,将数据生产地址发送给数据业务方,使得数据业务方将数据生产需求发送到数据生产地址以完成数据的生产过程。
在本示例实施例中,注册数据库将待生产数据类型对应的数据生产地址发送给数据业务方,数据业务方可以将数据生产需求发送到该生产地址以使数据生产者根据数据生产需求进行数据生产过程。
图4示意性地示出了根据本发明的一些实施例的数据生产过程的示意图。
参考图4所示,步骤S401,启动数据生产过程之前,所有数据生产者通过向注册数据库发送注册识别符进行注册(系统运行时注册数据库可以随时进行注册或者注销),注册数据库通过注册识别符(注册识别符包括数据生产者对应的生产数据类型)生成数据生产者队列;
步骤S402,数据业务方获取输入的原始数据;
步骤S403,数据业务方判断输入的原始数据中是否包含数据生产需求(数据生产需求包括待生产数据类型),若原始数据中包含数据生产需求则进行步骤S404,否则进行步骤S409;
步骤S404,数据业务方获取原始数据中包含的一个或者多个数据生产需求。若原始数据中仅包含一个数据生产需求,则进行下一步骤;若原始数据中包含多个数据生产需求,检测多个数据生产需求中包含相同的待生产数据类型的数据生产需求,并合并包含相同的待生产数据类型的数据生产需求;
步骤S405,数据业务方将数据生产需求对应的待生产数据类型发送到注册数据库;
步骤S406,注册数据库根据接收的待生产数据类型在数据生产者列表查询对应的数据生产者,并将数据生产者对应的数据生产地址返回给数据业务方;
步骤S407,数据业务方将数据生产需求发送到数据生产地址以使数据生产者根据数据生产需求进行数据生产,并接收数据生产者生成的数据;
步骤S408,将一个或者多个数据生产者生成的数据进行数据组装生成目标对象的内容数据,并将内容数据返回到步骤S403继续进行判断并执行后续步骤,直到得到的某个内容数据不包含数据生产需求,将得到的一个或者多个内容数据进行数据组装以确定目标对象的完整数据;
步骤S409,结束数据生产过程。
图5示意性地示出了根据本发明的一些实施例的第一次数据生产得到的数据结构的流程示意图。
参考图5所示,在系统启动前,所有数据生产者通过注册识别符在注册数据库进行注册,例如,在本示例实施例中,商品详情类型注册为商品详情信息生产者,商品分类类型注册为商品分类信息生产者,图片类型注册为图片信息生产者,商品品牌类型注册为商品品牌信息生产者以及商品型号注册为商品型号信息生产者等。
在本示例实施例中,原始数据可以是商品ID,进入第一次数据生产需求收集可以收集到一个数据生产需求:通过商品ID获得商品详情,待生产数据类型为商品详情类型。由于只有一个数据生产需求,因此略过数据生产需求合并过程。数据业务方将待生产数据类型发送注册数据库可以查询到商品详情信息生产者,商品详情信息生产者可以通过注册数据库返回的数据生产地址以及数据生产需求进行数据生产,得到第一次生产过程的内容数据。具体地,可以通过对数据的结构标识进行标注以完成内容数据的组装,标注后表示相应的数据组装已完成(也可以认为是通过得到的内容数据扩充原来的商品ID对应的数据结构,结构如图5所示)。
图6示意性地示出了根据本发明的一些实施例的第二次数据生产得到的数据结构的示意框图。
参考图6所示,基于第一次数据生产过程得到的数据,在判定需要继续生产时(第一次数据生产过程得到的数据中包含数据生产需求)继续第二次数据生产过程。在本示例实施例中,根据第一次数据生产过程已得到的数据的结构标识信息,可以收集到四类生产需求:图片生产、商品分类生产、商品品牌生产以及商品型号生产等。数据业务方检测得到的数据,检测到商品主图和商品型号的数据生产需求有多个,因此将相同类型的数据生产需求进行合并。接着从注册数据库查询对应的四个数据生产者,四个数据生产者通过预设的并行策略同时进行数据生产得到第二次数据生产过程的内容数据,并将得到的内容数据组装到对应的数据结构(结构如图6所示)。
图7示意性地示出了根据本发明的一些实施例的数据并行生产的示意框图。
参考图7所示,第二次数据生产过程中有四个数据生产者需要进行数据生产。通过预设的并行策略Fork/Join并发模型,四个数据生产者同时进行数据生产以提高数据生产的效率。
图8示意性地示出了根据本发明的一些实施例的第三次数据生产得到的数据结构的示意框图。
参考图8所示,基于第二次数据生产过程得到的内容数据,在判定需要继续生产时(第二次数据生产过程得到的数据中包含数据生产需求)进行第三次数据生产过程。例如可以收集到四个图片生产需求,同样在注册数据库查询数据生产者并生产内容数据,将得到的内容数据组装到对应的数据结构(结构如图8所示)。在本示例实施例中,通过数据生产需求合并,使得不同节点下的相同类型的数据生产得到了优化(例如商品主图集下的商品主图A、商品主图B与商品型号集下的商品主图A、商品主图B对应的数据生产需求相同,因此通过数据生产需求合并只需要生产一次就可以得到目标对象对应的完整数据),最终将多次生产得到数据进行数据装配得到目标对象的完整数据。
示例性装置
在介绍了本发明示例性实施例的方法之后,接下来,参考图5对本发明示例性实施例的数据处理装置。
在图9中,数据处理装置900可以包括:数据判断单元910、数据判定单元920、数据生产地址接收单元930以及数据生产单元940。其中:数据判断单元910用于获取原始数据,并判断所述原始数据中是否包含目标对象的数据生产需求,其中所述数据生产需求包括待生产数据类型;数据判定单元920用于响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库;数据生产地址接收单元930用于接收所述注册数据库发送的所述待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;数据生产单元940用于将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据。
在本发明的一些实施例中,基于前述方案,数据判定单元920被配置为:响应于判定所述原始数据中不包含所述数据生成需求,结束所述目标对象的数据生产过程。
在本发明的一些实施例中,基于前述方案,数据生产装置900被配置为:检测所述数据生产需求中是否包含相同的所述待生产数据类型的数据生产需求;响应于确定所述数据生成需求中包含相同的所述待生产数据类型的数据生成需求,合并所述包含相同的所述待生产数据类型的数据生成需求。
在本发明的一些实施例中,基于前述方案,数据生产装置900还包括:内容数据判断单元,用于获取所述内容数据,并判断所述内容数据中是否包含所述目标对象的第二数据生产需求;内容数据判定单元,用于响应于判定所述内容数据中包含所述第二数据生产需求,将所述第二数据生产需求对应的第二待生产数据类型发送到所述注册数据库;第二数据生产地址接收单元,接收所述注册数据库发送的所述第二待生产数据类型对应的第二数据生产地址;第二数据生产单元,用于将所述其他数据生产需求发送到所述第二数据生产地址以使得所述第二数据生产地址对应的数据生产者根据所述其他数据生产需求生产所述目标对象对应的第二内容数据。
在本发明的一些实施例中,基于前述方案,数据生产装置900被配置为:将所述内容数据以及所述第二内容数据进行组装处理,以确定所述目标对象对应的完整数据。
在本发明的一些实施例中,基于前述方案,内容数据判断单元被配置为:获取所述内容数据的结构标识;根据所述结构标识,判断所述内容数据是否包含所述第二数据生产需求。
在图10中,数据处理装置1000可以包括:数据类型接收单元1010、数据生产者查询单元1020以及数据生产地址发送单元1030。其中:数据类型接收单元1010用于接收数据业务方发送的待生产数据类型;数据生产者查询单元1020用于查询所述待生产数据类型对应的数据生产者,其中,所述数据生产者包含对应的数据生产地址;数据生产地址发送单元1030用于将所述数据生产地址发送给所述数据业务方,使得数据业务方将数据生产需求发送到所述数据生产地址以完成内容数据的生产过程。
在本发明的一些实施例中,基于前述方案,数据生产装置1000被配置为:接收多个所述数据生产者发送的注册识别符,其中所述注册识别符包括所述数据生产者对应的生产数据类型;基于所述注册识别符,建立数据生产者列表,其中所述数据生产者列表包含所述数据生产者、所述数据生产者对应的生产数据类型以及所述数据生产者对应的数据生产地址。
在本发明的一些实施例中,基于前述方案,数据生产者查询单元1020被配置为:基于所述数据生产者列表,查询所述待生产数据类型对应的所述数据生产者,并将所述数据生产者对应的数据生产地址发送给所述数据业务方。
在本发明实施例的第五方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面或者第二方面所述的数据生产方法。
示例性介质
在介绍了本发明示例性实施例的装置之后,接下来,对本发明示例性实施例的存储介质进行说明。
在一些实施例中,本发明的各个方面还可以实现为一种介质,其上存储有程序代码,当所述程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的数据生产方法中的步骤。
例如,所述设备的处理器执行所述程序代码时可以实现如图2中所述的步骤S210,获取原始数据,并判断所述原始数据中是否包含目标对象的数据生产需求,其中所述数据生产需求包括待生产数据类型;步骤S220,响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库;步骤S230,接收所述注册数据库发送的所述待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;步骤S240,将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据。
参考图11所示,描述了根据本发明的实施例的用于实现上述数据生产方法的程序产品1100,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备。
示例性计算设备
在介绍了本发明示例性实施例的数据生产方法、数据生产装置以及存储介质之后,接下来,介绍根据本发明的示例性实施例的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施例、完全的软件实施例(包括固件、微代码等),或硬件和软件方面结合的实施例,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施例中,根据本发明的电子设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中,所述存储单元存储有程序代码,当所述程序代码被所述处理单元执行时,使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的数据生产方法中的步骤。例如,所述处理单元可以执行如图2中所示的步骤S210,获取原始数据,并判断所述原始数据中是否包含目标对象的数据生产需求,其中所述数据生产需求包括待生产数据类型;步骤S220,响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库;步骤S230,接收所述注册数据库发送的所述待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;步骤S240,将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据。
下面参照图12来描述根据本发明的示例实施例的电子设备1200。图12所示的电子设备1200仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示,电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于:上述至少一个处理单元1201、上述至少一个存储单元1202、连接不同系统组件(包括存储单元1202和处理单元1201)的总线1203、显示单元1207。
总线1203表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元1202可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)1221和/或高速缓存存储器1222,还可以进一步包括只读存储器(ROM)1223。
存储单元1202还可以包括具有一组(至少一个)程序模块1224的程序/实用工具1225,这样的程序模块1224包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备1200也可以与一个或多个外部设备1204(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与电子设备1200交互的设备通信,和/或与使得电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1205进行。并且,电子设备1200还可以通过网络适配器1206与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1206通过总线1203与电子设备1200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了数据生产装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施例,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施例描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施例,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (10)
1.一种数据生产方法,其特征在于,包括:
获取原始数据,并判断所述原始数据中是否包含目标对象的数据生产需求,其中所述数据生产需求包括待生产数据类型;
响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库;
接收所述注册数据库发送的所述待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;
将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据。
2.根据权利要求1所述的方法,其特征在于,响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库还包括:
响应于判定所述原始数据中不包含所述数据生成需求,结束所述目标对象的数据生产过程。
3.根据权利要求1所述的方法,其特征在于,响应于判定所述原始数据中包含所述数据生产需求之后,所述方法还包括:
检测所述数据生产需求中是否包含相同的所述待生产数据类型的数据生产需求;
响应于确定所述数据生成需求中包含相同的所述待生产数据类型的数据生成需求,合并所述包含相同的所述待生产数据类型的数据生成需求。
4.根据权利要求1所述的方法,其特征在于,将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据之后,所述方法还包括:
获取所述内容数据,并判断所述内容数据中是否包含所述目标对象的第二数据生产需求;
响应于判定所述内容数据中包含所述第二数据生产需求,将所述第二数据生产需求对应的第二待生产数据类型发送到所述注册数据库;
接收所述注册数据库发送的所述第二待生产数据类型对应的第二数据生产地址;
将所述第二数据生产需求发送到所述第二数据生产地址以使得所述第二数据生产地址对应的数据生产者根据所述第二数据生产需求生产所述目标对象对应的第二内容数据。
5.根据权利要求4所述的方法,其特征在于,在获取第二内容数据之后,所述方法还包括:
将所述内容数据以及所述第二内容数据进行组装处理,以确定所述目标对象对应的完整数据。
6.根据权利要求4所述的方法,其特征在于,获取所述内容数据,并判断所述内容数据中是否包含所述目标对象的第二数据生产需求包括:
获取所述内容数据的结构标识;
根据所述结构标识,判断所述内容数据是否包含所述第二数据生产需求。
7.一种数据生产方法,应用于注册数据库,其特征在于,包括:
接收数据业务方发送的待生产数据类型;
查询所述待生产数据类型对应的数据生产者,其中,所述数据生产者包含对应的数据生产地址;
将所述数据生产地址发送给所述数据业务方,使得数据业务方将数据生产需求发送到所述数据生产地址以完成内容数据的生产过程。
8.一种数据生产装置,其特征在于,包括:
数据判断单元,用于获取原始数据,并判断所述原始数据中是否包含目标对象的数据生产需求;其中所述数据生产需求包括待生产数据类型;
数据判定单元,用于响应于判定所述原始数据中包含所述数据生产需求,将所述待生产数据类型发送到注册数据库;
数据生产地址接收单元,用于接收所述注册数据库发送的所述待生产数据类型对应的数据生产地址,其中一个数据生产地址对应于一个数据生产者;
数据生产单元,用于将所述数据生产需求发送到所述数据生产地址以使所述数据生产者根据所述数据生产需求生产所述目标对象对应的内容数据。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至6中任意一项所述的数据生产方法或者实现如权利要求7中所述的数据生产方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的数据生产方法或者实现如权利要求7中所述的数据生产方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910418806.5A CN110134730A (zh) | 2019-05-20 | 2019-05-20 | 数据生产方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910418806.5A CN110134730A (zh) | 2019-05-20 | 2019-05-20 | 数据生产方法、装置、介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110134730A true CN110134730A (zh) | 2019-08-16 |
Family
ID=67571720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910418806.5A Pending CN110134730A (zh) | 2019-05-20 | 2019-05-20 | 数据生产方法、装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110134730A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111076772A (zh) * | 2019-12-13 | 2020-04-28 | 红云红河烟草(集团)有限责任公司 | 一种卷烟制丝过程数据的处理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105553724A (zh) * | 2015-12-17 | 2016-05-04 | 北京奇虎科技有限公司 | 处理数据请求及获取服务器信息的方法及装置 |
CN106469196A (zh) * | 2016-08-31 | 2017-03-01 | 泰康保险集团股份有限公司 | 数据处理方法及其装置、投保方法及其投保系统 |
US20180337828A1 (en) * | 2017-05-19 | 2018-11-22 | Microsoft Technology Licensing, Llc | System and method for mapping a connectivity state of a network |
-
2019
- 2019-05-20 CN CN201910418806.5A patent/CN110134730A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105553724A (zh) * | 2015-12-17 | 2016-05-04 | 北京奇虎科技有限公司 | 处理数据请求及获取服务器信息的方法及装置 |
CN106469196A (zh) * | 2016-08-31 | 2017-03-01 | 泰康保险集团股份有限公司 | 数据处理方法及其装置、投保方法及其投保系统 |
US20180337828A1 (en) * | 2017-05-19 | 2018-11-22 | Microsoft Technology Licensing, Llc | System and method for mapping a connectivity state of a network |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111076772A (zh) * | 2019-12-13 | 2020-04-28 | 红云红河烟草(集团)有限责任公司 | 一种卷烟制丝过程数据的处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107256265B (zh) | 一种搜索引擎结果数据可视化展示方法及系统 | |
CN108038183A (zh) | 结构化实体收录方法、装置、服务器和存储介质 | |
CN103902535A (zh) | 获取联想词的方法、装置及系统 | |
CN106155769B (zh) | 一种工作流处理方法、装置及工作流引擎 | |
CN111562966B (zh) | 一种人机物融合云计算平台的资源编排方法 | |
US20210209162A1 (en) | Method for processing identity information, electronic device, and storage medium | |
US20190050435A1 (en) | Object data association index system and methods for the construction and applications thereof | |
CN110515896A (zh) | 模型资源管理方法、模型文件制作方法、装置和系统 | |
CN110442774A (zh) | 信息获取方法及装置 | |
CN102521332B (zh) | 基于强模拟的图模式匹配方法、装置及系统 | |
CN109636020A (zh) | 一种预测目的地地址的方法及系统 | |
CN103795758B (zh) | 内容浏览、生成及交互方法,内容浏览终端、服务器及系统 | |
CN103902543A (zh) | 数据库查询方法和装置及数据库系统 | |
CN106446289B (zh) | 基于Pinpoint的信息查询方法和装置 | |
CN109997123A (zh) | 用于改进空间-时间数据管理的方法、系统和装置 | |
CN105677745B (zh) | 一种通用高效自助数据查询系统及实现方法 | |
CN101495978B (zh) | 减少总线连接的消费者和产生者之间的消息流 | |
CN110134730A (zh) | 数据生产方法、装置、介质及电子设备 | |
CN104765763B (zh) | 一种基于概念格的异构空间信息服务分类的语义匹配方法 | |
CN105224394B (zh) | 一种应用程序的分类方法及装置 | |
CN110380902B (zh) | 拓扑关系生成方法、装置、电子设备及存储介质 | |
CN103713930A (zh) | 一种图形化定义流程地图的方法和装置 | |
CN111917848A (zh) | 基于边缘计算和云计算协同的数据处理方法及云服务器 | |
CN115858672A (zh) | 电力终端管理方法、装置、电子设备及存储介质 | |
CN113297274B (zh) | 一种签收数据查询方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20191107 Address after: 310012 G building, 10 floor, A building, Paradise Software Park, 3 West Road, Hangzhou, Xihu District, Zhejiang Applicant after: Alibaba (China) Co.,Ltd. Address before: Hangzhou City, Zhejiang province 310051 Binjiang District River Street No. 1786 Jianghan Road Longsheng Building Room 803 Applicant before: NETEASE KOALA (HANGZHOU) TECH CO.,LTD. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |