CN109886859B - 数据处理方法、系统、电子设备和计算机可读存储介质 - Google Patents
数据处理方法、系统、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109886859B CN109886859B CN201910091814.3A CN201910091814A CN109886859B CN 109886859 B CN109886859 B CN 109886859B CN 201910091814 A CN201910091814 A CN 201910091814A CN 109886859 B CN109886859 B CN 109886859B
- Authority
- CN
- China
- Prior art keywords
- data processing
- processing
- algorithm model
- data
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
Abstract
本发明实施例公开了一种数据处理方法、系统、电子设备和计算机可读存储介质,通过解析数据处理请求以获取该请求对应的处理任务,并通过加速处理器和CPU处理器以流水线的方式执行从预定的算法模型库中获取与所述处理任务匹配的算法模型,从而获取所述数据处理请求对应的数据处理结果,由此,可以扩大数据处理系统的适用范围,提高数据处理效率。
Description
技术领域
本发明涉及计算机技术领域,更具体地,涉及一种数据处理方法、系统、电子设备和计算机可读存储介质。
背景技术
随着计算机技术的逐步发展,数据处理的数据量增长速度日益加快,例如图片搜索、图像识别、人脸识别等图像处理技术。
数据处理涉及对大量数据进行复杂的分析和计算操作,需要巨大的计算能力作为支撑。目前以加速处理器(例如GPU处理器等)为代表的新型硬件为数据的计算和分析带来了新的思路,其强大的计算能力可以提高数据处理系统的性能,因此,如何利用加速处理器有效加速数据处理是目前亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供一种数据处理方法、系统、电子设备和计算机可读存储介质,以提高数据处理的适用范围和处理效率。
第一方面,本发明实施例提供一种数据处理方法,应用于数据处理系统,所述数据处理系统包括CPU处理器和加速处理器,所述方法包括:
接收数据处理请求;
对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务;
确定所述处理任务的执行顺序;
从预定的算法模型库中获取与所述处理任务匹配的算法模型;
控制所述CPU处理器和加速处理器以流水线的方式执行与所述处理任务匹配的算法模型以获取所述数据处理请求对应的数据处理结果。
进一步地,在控制所述CPU处理器和加速处理器以流水线的方式执行与所述处理任务匹配的算法模型之前,所述方法还包括:
根据所述处理任务的计算量及依赖关系进行任务调度,以分配计算资源。
进一步地,所述从预定的算法模型库中获取与所述处理任务匹配的算法模型包括:
比较所述处理任务在所述预定的算法模型库中对应的多个算法模型,以确定与所述被分配的处理任务匹配的算法模型。
进一步地,所述确定所述处理任务的执行顺序包括:
根据所述处理任务之间的依赖关系确定所述处理任务的执行顺序。
进一步地,所述方法还包括:
响应于所述数据处理结果,更新对应的数据库的数据索引。
进一步地,所述方法还包括:
获取数据访问热度,所述数据访问热度包括预定时间段的数据访问频率和/或数据的历史访问次数;
根据所述数据访问热度动态更新数据在所述数据库中的存储位置。
第二方面,本发明实施例提供一种数据处理系统,所述系统包括:
数据接收单元,被配置为接收数据处理请求;
语义解析单元,被配置为对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务;
执行规划单元,被配置为确定所述处理任务的执行顺序;
算法模型确定单元,被配置为从预定的算法模型库中获取与所述处理任务匹配的算法模型;
第一数据处理单元,被配置为以流水线的方式执行与分配给CPU处理器的处理任务匹配的算法模型;
第二数据处理单元,被配置为以流水线的方式执行与分配给所述加速处理器的处理任务匹配的算法模型;
其中,所述CPU处理器与所述加速处理器通信连接。
第三方面,本发明实施例提供一种电子设备,包括存储器、CPU处理器和加速处理器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述CPU处理器执行用以实现如下步骤:
接收数据处理请求;
对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务;
确定所述处理任务的执行顺序;
从预定的算法模型库中获取与所述处理任务匹配的算法模型;
以流水线的方式执行与分配给所述CPU处理器的处理任务匹配的算法模型;
所述一条或多条计算机指令被所述加速处理器执行用以实现如下步骤:
以流水线的方式执行与分配给所述加速处理器的处理任务匹配的算法模型。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储计算机程序指令,所述计算机程序指令在被处理器执行时实现如上所述的方法。
本发明实施例的技术方案通过解析数据处理请求以获取该请求对应的处理任务,并通过加速处理器和CPU处理器以流水线的方式执行从预定的算法模型库中获取与所述处理任务匹配的算法模型,从而获取所述数据处理请求对应的数据处理结果,由此,可以扩大数据处理系统的适用范围,提高数据处理效率。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是本发明第一实施例的数据处理方法的流程图;
图2是本发明第二实施例的图像存储方法的示意图;
图3是本发明第三实施例的图像搜索方法的示意图;
图4是本发明第四实施例的数据处理系统的示意图;
图5是本发明第五实施例的图像处理系统的示意图;
图6是本发明第六实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程、元件和电路并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
图1是本发明第一实施例的数据处理方法的流程图。如图1所示,本实施例的数据处理方法包括以下步骤:
步骤S110,接收数据处理请求。
步骤S120,对上述数据处理请求进行解析以获取该数据处理请求对应的处理任务。在本实施例中,通过为数据处理应用提供统一的接口,并通过丰富的语义支持对各类数据处理的描述,由此,可以对接收到的数据处理请求进行语义解析,从而将数据处理请求对应的处理逻辑分为多个在不同计算机硬件上执行的处理任务。例如,数据处理请求为图像搜索,也即根据指定的图像在图库中搜索与其相似的图像。通过语义解析可以将“图像搜索”分解为“特征计算”、“相似度匹配”、“结果筛选”、“读取结果”以及“返回结果”等处理任务。
步骤S130,确定数据处理请求对应的处理任务的执行顺序。在一种可选的实现方式中,根据各处理任务之间的依赖关系确定各处理任务的执行顺序,以提高数据处理的效率。例如,对“图像搜索”对应的“特征计算”、“相似度匹配”、“结果筛选”、“读取结果”以及“返回结果”等处理任务进行分配和调度。其中,可以通过将“特征计算”、“相似度匹配”、“结果筛选”等计算量较大的处理任务分配给加速处理器进行处理,将“读取结果”以及“返回结果”等处理任务分配给CPU处理器进行处理。在一种可选的实现方式中,加速处理器为GPU处理器。由于“特征计算”、“相似度匹配”、“结果筛选”具有前后依赖关系,因此,可以以流水线方法顺序执行“特征计算”、“相似度匹配”、“结果筛选”,从而进一步提高数据处理效率。
步骤S140,从预定的算法模型库中获取与处理任务匹配的算法模型。处理任务可能对应预定的算法模型库的多个算法模型,根据数据处理请求的类型,比较对应的多个算法模型,以获取与该处理任务匹配的算法模型,由此,可以选择最高效的方式来获取数据处理结果。其中,预定的算法模型库中包括各类数据处理任务对应的算法模型,由此,本实施例可以适用于各类数据处理方案,扩大了数据处理系统的适用范围。
步骤S150,控制CPU处理器和加速处理器以流水线的方式执行与处理任务匹配的算法模型以获取数据处理请求对应的数据处理结果。由此,通过加速处理器对数据处理任务中计算量较大的处理任务进行处理,由此,可以加速数据处理过程,并充分利用计算机硬件的计算能力,以流水线的方式执行各处理任务,从而进一步提高数据处理效率。
本实施例通过对接收到的数据处理请求进行解析以获取数据处理请求对应的处理任务,并确定各处理任务的执行顺序,从预定的算法模型库中获取与被分配的处理任务匹配的算法模型,并通过加速处理器以流水线的方式执行所述处理任务对应的算法模型,从而获取所述数据处理请求对应的数据处理结果,由此,可以扩大数据处理系统的适用范围,提高数据处理效率。
在一种可选的实现方式中,在步骤S150之前,本实施例的数据处理方法还包括:根据各处理任务的计算量、可用资源和依赖关系进行任务调度,以分配计算资源,由此,可以进一步提高数据处理效率。其中,可用资源包括CPU和加速处理器的数量以及内存空间的大小等。
在一种可选的实现方式中,本实施例的数据处理方法还包括:响应于数据处理结果,更新该数据库的数据索引。例如,在图像存储任务中,响应于图像存储至对应的图像库,更新该图像库的图像索引。可选的,通过获取数据访问热度,并根据该数据访问热度动态更新数据在所述数据库中的存储位置。其中,数据访问热度包括预定时间段的数据访问频率和/或数据的历史访问次数。由此,可以提高数据的搜索效率。
图2是本发明第二实施例的图像存储方法的示意图。在本实施例中,以数据处理请求为“图像存储”为例,对本发明第一实施例的数据处理方法做进一步描述。如图2所示,数据处理系统接收图像存储请求,并通过CPU处理器对该图像存储请求进行语义解析,得到“清洗”(如图像去噪处理)、“变换”、“压缩”、“特征计算”、“特征聚类”(对不同图像的相同图像特征的计算结果进行聚类)、“图像索引更新”、“图像存储”、“特征索引更新”及“特征存储”等处理任务。也就是说,对待存储的图像进行清洗、变换及压缩等处理,以将处理后的图像存储至对应的图像库中,同时更新图像索引。并对变换处理后的结果进行特征计算及特征聚类获取待存储图像对应的特征,将该特征存储至对应的特征库,同时,更新特征索引。在一种可选的实现方式中,可以根据图像库中的图像的访问热度来实时动态更新图像在图像库中的存储位置,以提高图像访问的效率。
根据上述各处理任务的依赖关系进行任务管理,确定各处理任务的执行顺序。在一种可选的实现方式中,如图2所示,将“清洗”、“变换”、“压缩”、“特征计算”、“特征聚类”等处理任务分配给加速处理器执行,将“图像索引更新”、“图像存储”、“特征索引更新”及“特征存储”等处理任务分配给CPU处理器执行。在一种可选的实现方式中,加速处理器可以为GPU处理器。由此,根据不同计算硬件的计算能力对处理任务进行分配和调度,提高了图像处理的效率。在一种可选的实现方式中,从预定的算法模型库中分别获取与“清洗”、“变换”、“压缩”、“特征计算”、“特征聚类”、“图像索引更新”、“图像存储”、“特征索引更新”及“特征存储”等处理任务匹配的算法模型,以使得CPU处理器和加速处理器分别执行对应的算法模型,从而以最高效的方式获取数据处理结果。应理解,上述图像存储请求对应的各处理任务仅仅是示例性的,本实施例不对此进行限制。
在一种可选的实现方式中,根据各处理任务之间的依赖关系确定各处理任务的执行顺序。如图2所示,在加速处理器执行的处理任务中,“清洗”、“变换”、“压缩”具有前后依赖关系,“清洗”、“变换”、“特征计算”、“特征聚类”也具有前后依赖关系,因此,在处理同一数据(如同一幅图像)时,可以以串行方式对该数据依次进行“清洗”、“变换”、“压缩”处理。处理任务“压缩”与“特征计算”、“特征聚类”没有前后依赖关系,因此,在处理同一数据(如同一幅图像)时,可以并行执行“压缩”与“特征计算”、“特征聚类”。同理,在CPU处理器执行的处理任务中,“图像索引更新”、“图像存储”具有前后依赖关系,“特征索引更新”、“特征存储”也具有前后依赖关系,在处理同一数据时,可以串行执行,“图像索引更新”、“图像存储”与“特征索引更新”、“特征存储”没有前后依赖关系,在处理同一数据时,可以并行执行。在一种可选的实现方式中,CPU处理器和加速处理器以流水线方式执行对应的处理任务,从而进一步提高图像处理效率。
在一种可选的实现方式中,根据各处理任务的计算量和依赖关系进行任务调度,以分配计算资源。例如,在加速处理器中,根据“清洗”、“变换”、“压缩”、“特征计算”、“特征聚类”等处理任务的计算量,分别分配对应的计算资源,以提高计算资源的利用率,并进一步提高图像处理效率。
图3是本发明第三实施例的图像搜索方法的示意图。如图3所示,在本实施例中,以数据处理请求为“图像搜索”(以图搜图)为例,对本发明第一实施例的数据处理方法做进一步描述。如图3所示,数据处理系统接收图像搜索请求,并通过CPU处理器对该图像存储请求进行语义解析,得到“特征计算”、“相似度匹配”、“结果筛选”、“读取结果”、“返回结果”等处理任务。也就是说,通过计算输入的图像的特征,并将输入的图像的特征计算结果与特征库中的特征进行逐一比较,在输入的图像的特征计算结果与特征库中的特征的相似度大于一个预定阈值时,判定筛选出的特征对应的图像与输入的图像相似,读取筛选出的特征对应的图像并返回。
根据上述各处理任务的依赖关系,对任务进行分配和调度。在一种可选的实现方式中,如图3所示,将“特征计算”、“相似度匹配”、“结果筛选”等处理任务分配给加速处理器执行,将“读取结果”、“返回结果”等处理任务分配给CPU处理器执行。由此,根据不同计算硬件的计算能力对处理任务进行分配和调度,提高了图像处理的效率。在一种可选的实现方式中,从预定的算法模型库中分别获取与“特征计算”、“相似度匹配”、“结果筛选”、“读取结果”等处理任务匹配的算法模型,以使得CPU处理器和加速处理器分别执行对应的算法模型,从而可以选择最高效的方式获取数据处理结果。应理解,上述图像存储请求对应的各处理任务仅仅是示例性的,本实施例不对此进行限制。
在一种可选的实现方式中,根据各处理任务之间的依赖关系设置各处理任务的执行顺序。如图3所示,在加速处理器执行的处理任务中,“特征计算”、“相似度匹配”、“结果筛选”具有前后依赖关系,同理,在CPU处理器执行的处理任务中,“读取结果”、“返回结果”具有前后依赖关系。因此,在处理同一数据时,可以以串行的方式依次执行“特征计算”、“相似度匹配”、“结果筛选”,以及“读取结果”、“返回结果”。在一种可选的实现方式中,CPU处理器和加速处理器以流水线方式执行对应的处理任务,从而进一步提高图像处理效率。
在一种可选的实现方式中,根据各处理任务的计算量、可用资源和依赖关系进行任务调度,以分配计算资源。其中,可用资源包括CPU和加速处理器的数量以及内存空间的大小等。例如,在加速处理器中,根据“特征计算”、“相似度匹配”、“结果筛选”等处理任务的计算量,并根据可用资源分别给各处理任务分配对应的计算资源,以提高计算资源的利用率,进一步提高图像处理效率。
图4是本发明第四实施例的数据处理系统的示意图。如图4所示,本实施例的数据处理系统4包括数据接收单元41、语义解析单元42、执行规划单元43、算法模型确定单元44、第一数据处理单元45和第二数据处理单元46。
数据接收单元41被配置为接收数据处理请求。语义解析单元42被配置为对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务。执行规划单元43被配置为确定各处理任务的执行顺序。在一种可选的实现方式中,执行规划单元43具体被配置为根据处理任务之间的依赖关系确定所述处理任务的执行顺序。算法模型确定单元44被配置为从预定的算法模型库中获取与所述处理任务匹配的算法模型。第一数据处理单元45被配置为以流水线的方式执行与分配给所述CPU处理器的处理任务匹配的算法模型。第二数据处理单元46被配置为以流水线的方式执行与分配给加速处理器的处理任务匹配的算法模型。在一种可选的实现方式中,加速处理器为GPU处理器,CPU处理器与加速处理器通信连接。在一种可选的实现方式中,CPU处理器执行第一数据处理单元45,加速处理器执行第二数据处理单元46。
本实施例通过语义解析单元42对接收到的数据处理请求进行解析以获取数据处理请求对应的处理任务,并通过算法模型确定单元44从预定的算法模型库中获取与被分配的处理任务匹配的算法模型,之后通过CPU处理器和加速处理器以流水线的方式执行处理任务对应的算法模型,从而获取所述数据处理请求对应的数据处理结果,由此,可以提高数据处理的适用范围和处理效率。
在一种可选的实现方式中,算法模型确定单元44还包括算法模型确定子单元441。算法模型确定子单元441被配置为比较处理任务在预定的算法模型库中对应的多个算法模型,以确定与处理任务匹配的算法模型,从而可以选择最高效的方式获取数据处理结果。
在一种可选的实现方式中,数据处理系统4还包括任务调度单元47被配置为根据被处理任务的计算量、可用资源及依赖关系进行任务调度,以分配计算资源。其中,可用资源包括CPU和加速处理器的数量以及内存空间的大小等。
在一种可选的实现方式中,数据处理系统4还包括第一索引更新单元48。第一索引更新单元48被配置为响应于数据处理结果被存储到对应的数据库中,更新所述数据库的数据索引。
在一种可选的实现方式中,数据处理系统4还包括热度获取单元49和第二索引更新单元40。热度获取单元49被配置为获取数据访问热度。其中,数据访问热度包括预定时间段的数据访问频率和/或数据的历史访问次数。第二索引更新单元40被配置为根据所述数据访问热度动态更新数据在所述数据库中的存储位置。由此,可以提高数据读取的效率。
图5是本发明第五实施例的图像处理系统的示意图。本实施例以图像处理为例,采用另一种模块分布方式来进行具体描述,如图5所示,图像处理系统5包括请求解析模块51、执行模块52、图库模块53和特征库模块54。
请求解析模块51包括语义描述单元511、语义解析单元512和执行规划单元513。语义描述单元511被配置为存储各类图像处理操作的描述。语义解析单元512根据各类图像处理操作的描述对接收到的图像处理请求进行解析以获取图像处理请求对应的处理任务。执行规划单元513被配置为根据处理任务之间的依赖关系确定处理任务的执行顺序。
执行模块52包括算法模型库521、算法模型确定单元522、执行调度单元523和加速处理单元524。其中,算法模型库用于521存储各类处理任务对应的算法模型。算法模型确定单元522被配置为比较处理任务在算法模型库521中对应的多个算法模型,以确定与处理任务匹配的算法模型。执行调度单元523被配置为根据处理任务的计算量、可用资源及依赖关系进行任务调度,以分配计算资源。加速处理单元524被配置为控制加速处理器以流水线方式执行与被分配给加速处理器的处理任务匹配的算法模型。由此,可以提高图像处理系统的处理效率。在一种可选的实现方式中,加速处理器可以为GPU处理器。
图库模块53包括图像存储单元531、图像索引单元532和第一访问热度获取单元533。其中,图像存储单元531被配置为存储图像。图像索引单元532被配置为存储图像索引,并实时更新图像索引。第一访问热度获取单元533被配置为获取图像访问的频率。由此,图像索引单元532还可以根据图像访问的频率动态更新图像索引,以提高图像访问的效率。
特征库模块54包括特征存储单元541、特征索引单元542和第二访问热度获取单元543。其中,特征存储单元541用于存储图像存储单元531存储的图像对应的图像特征。特征索引单元542被配置为存储特征索引,并实时更新特征索引。第二访问热度获取单元543被配置为获取图像特征访问的频率。由此,特征索引单元532还可以根据图像特征访问的频率动态更新特征索引,以提高图像特征访问的效率。
本实施例通过请求解析模块解析该请求对应的各处理任务,并在算法模型库中获取与各处理任务匹配的算法模型,之后控制加速处理器以流水线的方式处理分配给加速处理器的处理任务。由此,本实施例的图像处理系统可以适用于多类型的图像处理,适用范围广,同时通过加速处理器执行图像处理逻辑,提高了数据处理效率。
图6是本发明第六实施例的电子设备的示意图。如图6所示,该电子设备:包括至少一个CPU处理器61和至少一个加速处理器62,例如GPU处理器等;以及,与CPU处理器61和加速处理器62通信连接的存储器63;以及,与扫描装置通信连接的通信组件64,通信组件64在CPU处理器61的控制下接收和发送数据;其中,存储器63存储有可被至少一个CPU处理器61执行的指令,指令被至少一个CPU处理器61执行以实现:
接收数据处理请求;
对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务;
确定所述处理任务的执行顺序;
从预定的算法模型库中获取与所述处理任务匹配的算法模型。
以流水线的方式执行与被分配给所述CPU处理器的处理任务匹配的算法模型;
存储器63存储有可被至少一个加速处理器62执行的指令,指令被至少一个加速处理器62执行以实现:
以流水线的方式执行所述被分配的处理任务对应的算法模型。
具体地,该电子设备包括:一个或多个CPU处理器61、一个或多个加速处理器62以及存储器63,图6中以一个CPU处理器61和一个加速处理器62为例。CPU处理器61、加速处理器62、存储器63可以通过总线或者其他方式连接,图6中以通过总线连接为例。在一种可选的实现方式中,加速处理器可以为GPU处理器等。存储器63作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。CPU处理器61和加速处理器62通过运行存储在存储器63中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现本发明实施例的数据处理方法。
存储器63可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器63可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器63可选包括相对于处理器63远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器63中,当一个或者多个模块被一个或者多个CPU处理器61和加速处理器62执行时,执行上述任意方法实施方式中的数据处理方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施方式中详尽描述的技术细节,可参见本发明实施方式所提供的方法。
本实施例通过解析数据处理请求以获取该请求对应的处理任务,并通过加速处理器和CPU处理器以流水线的方式执行从预定的算法模型库中获取与所述处理任务匹配的算法模型,从而获取所述数据处理请求对应的数据处理结果,由此,可以提高数据处理的适用范围和处理效率。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据处理方法,应用于数据处理系统,所述数据处理系统包括CPU处理器和加速处理器,其特征在于,所述方法包括:
接收数据处理请求;
对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务;
确定所述处理任务的执行顺序;
从预定的算法模型库中获取与所述处理任务匹配的算法模型;
控制所述CPU处理器和加速处理器以流水线的方式执行与所述处理任务匹配的算法模型以获取所述数据处理请求对应的数据处理结果;
其中,所述从预定的算法模型库中获取与所述处理任务匹配的算法模型包括:
比较所述处理任务在所述预定的算法模型库中对应的多个算法模型,以确定与所述被分配的处理任务匹配的算法模型。
2.根据权利要求1所述的数据处理方法,其特征在于,在控制所述CPU处理器和加速处理器以流水线的方式执行与所述处理任务匹配的算法模型之前,所述方法还包括:
根据所述处理任务的计算量及依赖关系进行任务调度,以分配计算资源。
3.根据权利要求1所述的数据处理方法,其特征在于,所述确定所述处理任务的执行顺序包括:
根据所述处理任务之间的依赖关系确定所述处理任务的执行顺序。
4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
响应于所述数据处理结果,更新对应的数据库的数据索引。
5.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:
获取数据访问热度,所述数据访问热度包括预定时间段的数据访问频率和/或数据的历史访问次数;
根据所述数据访问热度动态更新数据在所述数据库中的存储位置。
6.一种数据处理系统,其特征在于,所述系统包括:
数据接收单元,被配置为接收数据处理请求;
语义解析单元,被配置为对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务;
执行规划单元,被配置为确定所述处理任务的执行顺序;
算法模型确定单元,被配置为从预定的算法模型库中获取与所述处理任务匹配的算法模型;
第一数据处理单元,被配置为以流水线的方式执行与分配给CPU处理器的处理任务匹配的算法模型;
第二数据处理单元,被配置为以流水线的方式执行与分配给加速处理器的处理任务匹配的算法模型;
其中,所述CPU处理器与所述加速处理器通信连接;
所述算法模型确定单元包括算法模型确定子单元,所述算法模型确定子单元被配置为比较所述处理任务在所述预定的算法模型库中对应的多个算法模型,以确定与所述被分配的处理任务匹配的算法模型。
7.一种电子设备,包括存储器、CPU处理器和加速处理器,其特征在于,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述CPU处理器执行用以实现如下步骤:
接收数据处理请求;
对所述数据处理请求进行解析以获取所述数据处理请求对应的处理任务;
确定所述处理任务的执行顺序;
从预定的算法模型库中获取与所述处理任务匹配的算法模型;
以流水线的方式执行与分配给所述CPU处理器的处理任务匹配的算法模型;
所述一条或多条计算机指令被所述加速处理器执行用以实现如下步骤:
以流水线的方式执行与分配给所述加速处理器的处理任务匹配的算法模型;
其中,所述从预定的算法模型库中获取与所述处理任务匹配的算法模型包括:
比较所述处理任务在所述预定的算法模型库中对应的多个算法模型,以确定与所述被分配的处理任务匹配的算法模型。
8.一种计算机可读存储介质,其上存储计算机程序指令,其特征在于,所述计算机程序指令在被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910091814.3A CN109886859B (zh) | 2019-01-30 | 2019-01-30 | 数据处理方法、系统、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910091814.3A CN109886859B (zh) | 2019-01-30 | 2019-01-30 | 数据处理方法、系统、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109886859A CN109886859A (zh) | 2019-06-14 |
CN109886859B true CN109886859B (zh) | 2023-06-13 |
Family
ID=66927433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910091814.3A Active CN109886859B (zh) | 2019-01-30 | 2019-01-30 | 数据处理方法、系统、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109886859B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028041B (zh) * | 2019-06-20 | 2020-11-06 | 拉扎斯网络科技(上海)有限公司 | 一种数据处理的方法、装置、可读存储介质和电子设备 |
CN110428453B (zh) * | 2019-07-30 | 2020-12-15 | 深圳云天励飞技术有限公司 | 数据处理方法、装置、数据处理设备及存储介质 |
CN111160546B (zh) * | 2019-12-31 | 2023-06-13 | 深圳云天励飞技术有限公司 | 一种数据处理系统 |
CN111338769B (zh) * | 2019-12-31 | 2023-08-29 | 深圳云天励飞技术有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
CN111274019B (zh) * | 2019-12-31 | 2023-05-12 | 深圳云天励飞技术有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
CN113326714B (zh) * | 2020-02-28 | 2024-03-22 | 杭州海康威视数字技术股份有限公司 | 目标比对方法、装置、电子设备及可读存储介质 |
CN111897639B (zh) * | 2020-07-29 | 2022-12-27 | 平安科技(深圳)有限公司 | 图像增广方法、装置、计算机设备及存储介质 |
CN115640370A (zh) * | 2022-12-08 | 2023-01-24 | 深圳市智多兴投控科技有限公司 | 一种数据分析方法及相关设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6803989B2 (en) * | 1997-07-15 | 2004-10-12 | Silverbrook Research Pty Ltd | Image printing apparatus including a microcontroller |
US7908259B2 (en) * | 2006-08-25 | 2011-03-15 | Teradata Us, Inc. | Hardware accelerated reconfigurable processor for accelerating database operations and queries |
GB2499885B (en) * | 2012-01-17 | 2014-03-05 | Mark Henrik Sandstrom | Application load and type adaptive manycore processor architecture |
-
2019
- 2019-01-30 CN CN201910091814.3A patent/CN109886859B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109886859A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886859B (zh) | 数据处理方法、系统、电子设备和计算机可读存储介质 | |
US11526799B2 (en) | Identification and application of hyperparameters for machine learning | |
CN110362611B (zh) | 一种数据库查询方法、装置、电子设备及存储介质 | |
CN108205469B (zh) | 一种基于MapReduce的资源分配方法及服务器 | |
CN110134738B (zh) | 分布式存储系统资源预估方法、装置 | |
US9612867B2 (en) | Apparatus and method for data partition and allocation in heterogeneous multi-processor environment | |
CN109597810B (zh) | 一种任务切分方法、装置、介质及电子设备 | |
CN113515672A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
CN112148468A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
CN111680085A (zh) | 数据处理任务分析方法、装置、电子设备和可读存储介质 | |
CN116467061A (zh) | 一种任务执行的方法、装置、存储介质及电子设备 | |
CN110389817B (zh) | 多云系统的调度方法、装置和计算机可读介质 | |
US8667008B2 (en) | Search request control apparatus and search request control method | |
KR102269271B1 (ko) | 오픈 컴퓨팅 언어 기반의 애플리케이션 실행 방법 및 장치 | |
CN113407343A (zh) | 一种基于资源分配的业务处理方法、装置及设备 | |
CN111898747B (zh) | 一种特征比对方法及电子设备 | |
CN111381946B (zh) | 任务处理方法、装置及相关产品 | |
US10909021B2 (en) | Assistance device, design assistance method, and recording medium storing design assistance program | |
CN113672500B (zh) | 深度学习算法的测试方法、装置、电子装置和存储介质 | |
US20080109202A1 (en) | Verification and reachability using an organic approach | |
CN111198766B (zh) | 数据库访问操作部署方法、数据库访问方法及装置 | |
CN115033616A (zh) | 一种基于多轮采样的数据筛查规则验证方法及其装置 | |
CN113835953A (zh) | 作业信息的统计方法、装置、计算机设备和存储介质 | |
CN110955497B (zh) | 一种基于任务分割的分布式图计算系统 | |
EP4120079A1 (en) | Configuring graph query parallelism for high system throughput |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |