CN108920281A - 大规模图片处理方法及系统 - Google Patents

大规模图片处理方法及系统 Download PDF

Info

Publication number
CN108920281A
CN108920281A CN201810802561.1A CN201810802561A CN108920281A CN 108920281 A CN108920281 A CN 108920281A CN 201810802561 A CN201810802561 A CN 201810802561A CN 108920281 A CN108920281 A CN 108920281A
Authority
CN
China
Prior art keywords
service logic
picture processing
picture
module
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810802561.1A
Other languages
English (en)
Inventor
魏颢
廖学聪
朱威
刘敬
刘敬一
马修·罗伯特·斯科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuepu Investment Center LP
Original Assignee
Shenzhen Malong Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Malong Technologies Co Ltd filed Critical Shenzhen Malong Technologies Co Ltd
Priority to CN201810802561.1A priority Critical patent/CN108920281A/zh
Priority to PCT/CN2018/104643 priority patent/WO2020015087A1/zh
Publication of CN108920281A publication Critical patent/CN108920281A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种大规模图片处理方法及系统，所述大规模图片处理方法包括以下步骤：接收来自用户的图片处理请求；根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中；从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；使用所述数据处理模块完成所述图片处理请求所请求的处理工作；保存所述图片处理请求所请求的处理工作的完成结果。

Description

大规模图片处理方法及系统
技术领域
本发明涉及多媒体数据处理技术领域，特别涉及一种大规模图片处理方法及系统。
背景技术
在现今的网络环境中，网络服务器经常需要处理用户提交的巨量多媒体数据，而且用户提交多媒体数据的数量、提交的时间、以及提交的频率都是不确定的。为了能够应对最极端的情况，例如多个用户在同一时间段同时提交大量多媒体数据请求处理，现有的用于多媒体数据的批量处理框架通常都要常备数量足够多的高性能服务器，时刻待命。但是这样就会导致在请求处理的数据较少或没有的时间段内，绝大部分甚至全部待命的服务器处于无用状态，造成资源浪费。另外，大量服务器的启动、升级、关闭以及重新分配角色都带来了极大的运维成本。
发明内容
本发明提供了一种大规模图片处理方法及系统，用于解决现有的多媒体数据处理技术中存在的上述问题。
根据本发明的实施方式，提供了一种大规模图片处理方法，所述方法包括以下步骤：
S1，接收来自用户的图片处理请求；
S2，根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中；
S3，从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；
S4，使用所述数据处理模块完成所述图片处理请求所请求的处理工作；
S5，保存所述图片处理请求所请求的处理工作的完成结果。
优选地，所述大规模图片处理方法还包括以下步骤：
S0，编写所述数据处理模块，将所述数据处理模块上传到所述无服务器计算设备中存储，以供在处理所述图片请求时进行调用。
优选地，所述数据处理模块包括机器学习算法模型、深度学习模型、以及可使用所述机器学习算法模型及深度学习模型的代码。
优选地，在所述步骤S0中，将所述数据处理模块上传到所述无服务器计算设备中存储的方式是：将所述数据处理模块以插件形式整合到所述无服务器计算设备中。
优选地，在所述步骤S1中，所述图片处理请求的数量为多个；在所述步骤S2中，所述业务逻辑消息队列的数量为多个；所述步骤S2包括：
根据每个图片处理请求的业务逻辑确定适用于该图片处理请求的业务逻辑消息队列；
分别将每个图片处理请求存储到适用于该图片处理请求的业务逻辑消息队列中。
优选地，所述步骤S3包括：
将所述图片处理请求的业务逻辑划分为多个业务逻辑部分；
根据所述多个业务逻辑部分，从所述公有云平台的所述无服务器计算设备中调用分别适用于处理所述多个业务逻辑部分的多个数据处理模块。
优选地，所述步骤S4包括：
使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作。
优选地，所述步骤S5包括：
在使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作之后，将所述多个业务逻辑部分所请求的处理工作的完成结果汇总为聚合结果；
保存所述聚合结果。
本发明的实施方式还提供一种大规模图片处理系统，所述大规模图片处理系统包括接收模块、暂存模块、执行模块、公有云平台和存储模块；所述暂存模块包括业务逻辑消息队列；所述执行模块包括业务逻辑执行器；所述公有云平台包括无服务器计算设备，所述无服务器计算设备包括数据处理模块；其中，
所述接收模块用于：接收来自用户的图片处理请求，以及根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到所述业务逻辑消息队列中；
所述暂存模块用于：通过所述业务逻辑消息队列暂存所述图片处理请求；
所述执行模块用于：通过所述业务逻辑执行器从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；
所述数据处理模块用于：完成所述图片处理请求所请求的处理工作；
所述存储模块用于：保存所述图片处理请求所请求的处理工作的完成结果。
本发明的实施方式还提供一种计算机设备，所述计算机设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行根据上述各个实施方式所述的大规模图片处理方法。
本发明的实施方式还提供一种计算机可读存储介质，其存储有上述计算机设备中存储及使用的所述计算机程序。
依照上述的实施方式，本发明实质上是基于公有云平台的无服务器计算设备实现了大规模图片处理方法以及相应的系统、计算机设备和计算机可读存储介质。而公有云平台上的无服务器计算的特点是：只有进行了实际计算，才会产生费用；没有计算则不会产生费用；同时可以随着调用量的不断加大，自行完成计算资源的增加；随着调用量的减少，自行完成计算资源的减少。因此，在本发明的技术方案中，当用户提交大量图片数据时，无服务器计算会自行增大计算资源，支持足够的数据处理量；当用户提交的图片数据处理完毕后，因为不会再有发送给无服务器计算的请求，此时就不会再有计算费用产生。这样，相比于现有的图片数据处理技术，本发明可以取得多方面的优势：不需要自己设置大量的服务器进行工作，有效地节约了框架费用和运维成本；能够方便灵活地扩展应用程序，获得更好的可用性和容错能力；能够方便地实现框架可定制化，而且不会受到平台类型和存储地点的限制；同时，本发明在取得这些优势的前提下依旧能稳定地支持用户调用峰值所需的工作量。显然，本发明对于处理大规模图片数据的技术作出了多方面的改善。由于多媒体数据中最主要的部分就是图片数据，因此本发明的大规模图片处理方法及系统对于多媒体数据处理技术领域而言是一个重大的改进，能够有效地解决现有技术中存在的问题。
附图说明
图1示出了本发明的一个实施方式提供的大规模图片处理系统的结构方框图。
图2示出了本发明的一个实施方式提供的大规模图片处理方法的主要步骤的流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图结合实施例，对本发明进一步详细说明。
为了解决现有的多媒体数据处理技术需要采用大量服务器，造成成本过高及资源浪费等问题，本发明的实施方式提供了一种大规模图片处理方法、以及相应的用于实现该大规模图片处理方法的大规模图片处理系统。由于多媒体数据中最主要的部分就是图片数据，因此本发明的大规模图片处理方法及系统对于多媒体数据处理技术领域而言是一个重大的改进，能够有效地解决现有技术中存在的问题。
由于介绍所述大规模图片处理方法时会涉及所述大规模图片处理系统的具体部件，为了使表述的顺序清晰，以下首先基于附图中的图1对所述大规模图片处理系统的实施方式进行介绍，之后再基于图2详细介绍所述大规模图片处理方法的实施方式。
请参阅图1，其示出了示出了本发明的一个实施方式提供的大规模图片处理系统100的结构方框图。所述大规模图片处理系统100包括接收模块10、暂存模块20、执行模块30、公有云平台40和存储模块50。
所述接收模块10可以包括例如现有的API(Application ProgrammingInterface,应用程序编程接口)网关，所述API网关与数量较多的具体的网络用户都建立有有线或无线的网络通信连接，可以从每个网络用户接收数据，例如接收来自网络用户的图片处理请求。API网关与具体网络用户建立网络通信连接以及从具体网络用户接收图片处理请求的方法都可以是现有技术，此处无需赘述。
所述暂存模块20可以是设置在本地的暂存器模块，也可以设置在云端(例如设置在所述公有云平台40上)以获得更大的存储容量。所述接收模块10可以通过例如现有的有线或无线的连接方式与所述暂存模块20建立网络通信连接，并可以将从具体网络用户接收到的数据，例如上述的图片处理请求，暂存到所述暂存模块20中。所述暂存模块20中可以包括多个业务逻辑消息队列21，这些业务逻辑消息队列21可以分别对应于不同的业务逻辑类型；所述接收模块10可以根据所接收到的每个图片处理请求的具体的业务逻辑类型确定适用于该图片处理请求的业务逻辑消息队列21，然后分别将每个图片处理请求暂存到适用于该图片处理请求的业务逻辑消息队列21，也就是与该图片处理请求的业务逻辑类型相对应的业务逻辑消息队列21中。所述每个业务逻辑消息队列21都可以存储多个具有对应的业务逻辑种类的图片处理请求。
所述执行模块30可以通过例如现有的有线或无线的连接方式与所述暂存模块20建立网络通信连接，并从所述暂存模块20中调取数据，例如调取暂存在所述暂存模块20的所述业务逻辑消息队列21中的图片处理请求。具体而言，所述执行模块30可以包括多个业务逻辑执行器31，这些业务逻辑执行器31可以被设置成分别对应于不同的业务逻辑类型，因此也就可以基于其对应的业务逻辑类型而进一步与上述的业务逻辑消息队列21建立对应关系。每个业务逻辑执行器31可以通过例如现有的有线或无线的连接方式和与其对应的业务逻辑消息队列21建立通信，并从与其对应的业务逻辑消息队列21中取出存储在该业务逻辑消息队列21中的图片处理请求。可以理解，所述执行模块30也可以设置在云端(例如设置在所述公有云平台40)上以节省本地的资源。
所述公有云平台40可以是当前市场上的第三方提供商为用户提供的能够使用的云，其中包括无服务器计算设备41。公有云一般可通过国际互联网(Internet)使用，通常是是免费或成本低廉的，其核心属性是共享资源服务。所述公有云平台40和其中的无服务器计算设备41的基本架构和基础工作原理都可以是本领域中应用较为广泛的已有技术，因此这里不再赘述。所述执行模块30可以通过例如现有的有线或无线的连接方式与所述公有云平台40建立网络通信连接。在本实施方式中，所述无服务器计算设备41中包含多个数据处理模块42，每个数据处理模块42可以包括例如机器学习算法模型、深度学习模型、以及可使用所述机器学习算法模型及深度学习模型的代码等等。这些数据处理模块42可以是以插件形式整合在所述无服务器计算设备41中的业务逻辑基础单元，它们可以分别对应于不同的业务逻辑类型，因此也就可以基于其对应的业务逻辑类型而进一步与上述的业务逻辑消息队列21及业务逻辑执行器31建立对应关系。每个业务逻辑执行器31在从与其对应的业务逻辑消息队列21中取出存储在该业务逻辑消息队列21中的图片处理请求后，可以根据相应的业务逻辑类型查询到对应的数据处理模块42，然后调用该数据处理模块42完成所述图片处理请求所请求的处理工作(也就是该图片处理请求所需要的计算工作)。这样就可以把所述图片处理请求所需要的计算工作都转移到公有云平台40上的无服务器计算设备41中来执行，而不需要在本地的服务器上进行这些计算工作。
所述存储模块50可以包括设置在本地的多种数据存储装置例如硬盘、移动硬盘等，也可以包括设置在云端(例如设置在所述公有云平台40上或者其他可获得的云端上)的一种或多种数据库(例如MangoDB数据库、MySQL数据库、HBase数据库等等)中的存储区域。所述执行模块30可以通过例如现有的有线或无线的连接方式与所述存储模块50建立网络通信连接。在每个所述数据处理模块42完成图片处理请求所请求的处理工作之后，所述执行模块30中相应的业务逻辑执行器31可以获取所述数据处理模块42做出的处理结果(例如图片处理请求所需的计算结果)，并将该处理结果存储到所述存储模块50中，供用户查询及使用。
请一并参阅图2，其示出了本发明的一个实施方式提供的大规模图片处理方法的主要步骤的流程示意图，该大规模图片处理方法可以用图1所示的大规模图片处理系统100来实现。以下详细介绍所述大规模图片处理方法的步骤：
S1，接收来自用户的图片处理请求。
在该步骤S1中，可以通过例如上述大规模图片处理系统100中的接收模块10接收来自用户的图片处理请求，所述图片处理请求的数量优选为多个。由于接收模块10中可以使用API网关，其能够同时接收巨量的图片数据，因此本发明的实施方式允许用户同时批量上传大量的图片处理请求，例如可以一次性地批量上传10万张、100万张、甚至1000万张图片的处理请求。
S2，根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中。
在该步骤S2中，接收模块10接收到图片处理请求(通常是大量的图片处理请求)之后，并不会立即将这些图片处理请求交给数据处理装置(例如本地服务器或云端)处理并返回处理结果，而是首先将这些图片处理请求存储到暂存模块20的业务逻辑消息队列21中进行异步处理。具体地，所述业务逻辑队列21的数量优选为多个，这些业务逻辑消息队列21可以被设置成分别对应于不同的业务逻辑类型；所述接收模块10可以根据所接收到的每个图片处理请求的具体的业务逻辑类型确定适用于该图片处理请求的业务逻辑消息队列21，然后分别将每个图片处理请求暂存到适用于该图片处理请求的业务逻辑消息队列21，也就是与该图片处理请求的业务逻辑类型相对应的业务逻辑消息队列21中。所述每个业务逻辑消息队列21都可以存储多个具有对应的业务逻辑种类的图片处理请求。
S3，从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块。
在该步骤S3中，所述业务逻辑执行器31从与其对应的业务逻辑消息队列21中按照预定顺序(例如该业务逻辑消息队列21中的图片处理请求的存储顺序)依次取出存储在该业务逻辑消息队列21中的每个图片处理请求，然后根据取出的图片处理请求的业务逻辑从所述公有云平台40的无服务器计算设备41中查询到与该业务逻辑类型相应的数据处理模块42，调用该数据处理模块42完成所述图片处理请求所请求的处理工作(也就是该图片处理请求所需要的计算工作)。这样就可以把所述图片处理请求所需要的计算工作都转移到公有云平台40上的无服务器计算设备41中来执行，而不需要在本地的服务器上进行这些计算工作。而且由于公有云平台40上的无服务器计算设备41可以包含数量足够多的数据处理模块42，因此可以同时处理大量的图片处理请求所请求的处理工作，处理能力非常强大，不会受到本地服务器容量的限制。
S4，使用所述数据处理模块完成所述图片处理请求所请求的处理工作。
在该步骤S4中，各个数据处理模块42基于其对应类型的业务逻辑，依照相应的业务逻辑执行器31安排的工作顺序，分别处理类型相应的图片处理请求所请求的处理工作。
S5，保存所述图片处理请求所请求的处理工作的完成结果。
在该步骤S5中，在每个所述数据处理模块42完成图片处理请求所请求的处理工作之后，所述执行模块30中相应的业务逻辑执行器31可以获取所述数据处理模块42做出的处理结果(例如图片处理请求所需的计算结果)，并将该处理结果存储到所述存储模块50中，供用户查询及使用。特别地，如果所述存储模块50包含有多种存储设备，例如设置在本地的多种存储装置和/或设置在云端上的多种数据库中的存储区域，所述执行模块30可以通过对应于不同业务逻辑类型的业务逻辑执行器31分别将对应于相应业务逻辑类型的数据处理模块42做出的处理结果存储到不同类型的存储设备中，例如，可以通过对应于第一种业务逻辑类型的业务逻辑执行器31将对应于相应业务逻辑类型的数据处理模块42做出的处理结果存储到MangoDB数据库中，通过对应于第二种业务逻辑类型的业务逻辑执行器31将对应于相应业务逻辑类型的数据处理模块42做出的处理结果存储到MySQL数据库中，通过对应于第三种业务逻辑类型的业务逻辑执行器31将对应于相应业务逻辑类型的数据处理模块42做出的处理结果存储到HBase数据库中，通过对应于第四种业务逻辑类型的业务逻辑执行器31将对应于相应业务逻辑类型的数据处理模块42做出的处理结果存储到本地存储装置中，等等。这样可以节省单种存储设备的存储量，提高存储处理结果的安全性，方便用户对处理结果进行归类整理。
优选地，在一个进一步的实施方式中，所述大规模图片处理方法还包括以下步骤：
S0，编写所述数据处理模块，将所述数据处理模块上传到所述无服务器计算设备中存储，以供在处理所述图片请求时进行调用。
该步骤S0优选在上述步骤S1-S5之前，至少在步骤S3之前执行。用户或者其他的系统开发者都可以根据实际工作中可能的需求编写具有预定义的业务逻辑的数据处理模块42，并将编写的数据处理模块42上传到所述公有云平台40的所述无服务器计算设备41中进行存储。当执行所述步骤S1-S5时，用户就可以查询和调用到自己或者他人预先编写和存储的数据处理模块42，用来处理具有相应的业务逻辑类型的图片处理请求所请求的处理工作。
优选地，在所述步骤S0中，将所述数据处理模块上传到所述无服务器计算设备中存储的方式是：将所述数据处理模块以插件形式整合到所述无服务器计算设备中。
优选地，在一个进一步的实施方式中，所述步骤S3包括：
将所述图片处理请求的业务逻辑划分为多个业务逻辑部分；
根据所述多个业务逻辑部分，从所述公有云平台的所述无服务器计算设备中调用分别适用于处理所述多个业务逻辑部分的多个数据处理模块。
所述步骤S4则包括：
使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作。
所述步骤S5则包括：
在使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作之后，将所述多个业务逻辑部分所请求的处理工作的完成结果汇总为聚合结果；
保存所述聚合结果。
具体而言，当某个图片处理请求的业务逻辑较为复杂时，为了提高数据处理效率，所述执行模块30可以将该图片处理请求的业务逻辑划分为多个业务逻辑部分，分别确定该多个业务逻辑部分的业务逻辑类型。根据所述多个业务逻辑部分的业务逻辑类型，所述执行模块30可以通过与所述多个业务逻辑部分的业务逻辑类型相应的多个业务逻辑执行器31，分别从所述公有云平台40的所述无服务器计算设备41中调用分别适用于处理所述多个业务逻辑部分的(即分别与所述多个业务逻辑部分的业务逻辑类型相应的)多个数据处理模块42，然后使用所述多个数据处理模块42分别完成所述多个业务逻辑部分所请求的处理工作。显然，这样的数据处理方式可以将一个图片处理请求的业务逻辑拆分成多个部分，然后多线程地同时处理该多个部分的计算工作，有利于提高数据处理效率。为了确保上述数据处理方式最后得到的数据处理结果仍然是完整的(即获得了整个图片处理请求的业务逻辑所要求的完整结果)，在该实施方式中，若是所述多个数据处理模块42中有一个或几个比其他的数据处理模块42更早地完成了其相应的业务逻辑部分所请求的处理工作，则此时并不立即输出和保存这部分数据处理模块42取得的数据处理结果；直到所述多个数据处理模块42分别都完成了其相应的业务逻辑部分所请求的处理工作之后，先将所述多个业务逻辑部分所请求的处理工作的完成结果汇总为聚合结果，再将所述聚合结果输出并保存到所述存储模块50中。这样就可以确保上述多线程处理方式所得到的数据处理结果是完整的。
本发明的实施方式还提供一种计算机设备，所述计算机设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行根据上述各个实施方式所述的大规模图片处理方法。
本发明的实施方式还提供一种计算机可读存储介质，其存储有上述计算机设备中存储及使用的所述计算机程序。
依照上述的实施方式，本发明实质上是基于公有云平台的无服务器计算设备实现了大规模图片处理方法以及相应的系统、计算机设备和计算机可读存储介质。而公有云平台上的无服务器计算的特点是：只有进行了实际计算，才会产生费用；没有计算则不会产生费用；同时可以随着调用量的不断加大，自行完成计算资源的增加；随着调用量的减少，自行完成计算资源的减少。因此，在本发明的技术方案中，当用户提交大量图片数据时，无服务器计算会自行增大计算资源，支持足够的数据处理量；当用户提交的图片数据处理完毕后，因为不会再有发送给无服务器计算的请求，此时就不会再有计算费用产生。这样，相比于现有的图片数据处理技术，本发明可以取得多方面的优势：不需要自己设置大量的服务器进行工作，有效地节约了框架费用和运维成本；能够方便灵活地扩展应用程序，获得更好的可用性和容错能力；能够方便地实现框架可定制化，而且不会受到平台类型和存储地点的限制；同时，本发明在取得这些优势的前提下依旧能稳定地支持用户调用峰值所需的工作量。显然，本发明对于处理大规模图片数据的技术作出了多方面的改善。由于多媒体数据中最主要的部分就是图片数据，因此本发明的大规模图片处理方法及系统对于多媒体数据处理技术领域而言是一个重大的改进，能够有效地解决现有技术中存在的问题。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种大规模图片处理方法，包括以下步骤：
S1，接收来自用户的图片处理请求；
S2，根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到业务逻辑消息队列中；
S3，从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；
S4，使用所述数据处理模块完成所述图片处理请求所请求的处理工作；
S5，保存所述图片处理请求所请求的处理工作的完成结果。
2.如权利要求1所述的大规模图片处理方法，其特征在于，还包括以下步骤：
S0，编写所述数据处理模块，将所述数据处理模块上传到所述无服务器计算设备中存储，以供在处理所述图片请求时进行调用。
3.如权利要求2所述的大规模图片处理方法，其特征在于，所述数据处理模块包括机器学习算法模型、深度学习模型、以及可使用所述机器学习算法模型及深度学习模型的代码。
4.如权利要求2所述的大规模图片处理方法，其特征在于，在所述步骤S0中，将所述数据处理模块上传到所述无服务器计算设备中存储的方式是：将所述数据处理模块以插件形式整合到所述无服务器计算设备中。
5.如权利要求1所述的大规模图片处理方法，其特征在于，在所述步骤S1中，所述图片处理请求的数量为多个；在所述步骤S2中，所述业务逻辑消息队列的数量为多个；所述步骤S2包括：
根据每个图片处理请求的业务逻辑确定适用于该图片处理请求的业务逻辑消息队列；
分别将每个图片处理请求存储到适用于该图片处理请求的业务逻辑消息队列中。
6.如权利要求5所述的大规模图片处理方法，其特征在于，所述步骤S3包括：
将所述图片处理请求的业务逻辑划分为多个业务逻辑部分；
根据所述多个业务逻辑部分，从所述公有云平台的所述无服务器计算设备中调用分别适用于处理所述多个业务逻辑部分的多个数据处理模块。
7.如权利要求6所述的大规模图片处理方法，其特征在于，所述步骤S4包括：
使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作。
8.如权利要求7所述的大规模图片处理方法，其特征在于，所述步骤S5包括：
在使用所述多个数据处理模块分别完成所述多个业务逻辑部分所请求的处理工作之后，将所述多个业务逻辑部分所请求的处理工作的完成结果汇总为聚合结果；
保存所述聚合结果。
9.一种大规模图片处理系统，所述大规模图片处理系统包括接收模块、暂存模块、执行模块、公有云平台和存储模块；所述暂存模块包括业务逻辑消息队列；所述执行模块包括业务逻辑执行器；所述公有云平台包括无服务器计算设备，所述无服务器计算设备包括数据处理模块；其中，
所述接收模块用于：接收来自用户的图片处理请求，以及根据所述图片处理请求的业务逻辑，将所述图片处理请求存储到所述业务逻辑消息队列中；
所述暂存模块用于：通过所述业务逻辑消息队列暂存所述图片处理请求；
所述执行模块用于：通过所述业务逻辑执行器从所述业务逻辑消息队列中取出所述图片处理请求，并根据所述图片处理请求的业务逻辑，从公有云平台的无服务器计算设备的数据处理模块中调用适用于处理所述图片处理请求的数据处理模块；
所述数据处理模块用于：完成所述图片处理请求所请求的处理工作；
所述存储模块用于：保存所述图片处理请求所请求的处理工作的完成结果。
10.一种计算机设备，其特征在于：所述计算机设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行如权利要求1-8中的任一项所述的大规模图片处理方法。
11.一种计算机可读存储介质，其特征在于：存储有如权利要求10中所述的计算机设备中存储及使用的所述计算机程序。
CN201810802561.1A 2018-07-20 2018-07-20 大规模图片处理方法及系统 Pending CN108920281A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810802561.1A CN108920281A (zh) 2018-07-20 2018-07-20 大规模图片处理方法及系统
PCT/CN2018/104643 WO2020015087A1 (zh) 2018-07-20 2018-09-07 大规模图片处理方法、系统、计算机设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810802561.1A CN108920281A (zh) 2018-07-20 2018-07-20 大规模图片处理方法及系统

Publications (1)

Publication Number Publication Date
CN108920281A true CN108920281A (zh) 2018-11-30

Family

ID=64414869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810802561.1A Pending CN108920281A (zh) 2018-07-20 2018-07-20 大规模图片处理方法及系统

Country Status (2)

Country Link
CN (1) CN108920281A (zh)
WO (1) WO2020015087A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111381977A (zh) * 2018-12-29 2020-07-07 北大方正集团有限公司 消息处理方法及设备
CN112702368A (zh) * 2019-10-22 2021-04-23 贵州白山云科技股份有限公司 服务请求的处理方法和装置
CN112732417A (zh) * 2019-10-28 2021-04-30 北京京东振世信息技术有限公司 一种处理应用请求的方法和装置
CN113269856A (zh) * 2021-05-12 2021-08-17 南京邮电大学 基于分布式云存储的数据并行可视化图形渲染方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098503A (zh) * 2009-12-14 2011-06-15 中兴通讯股份有限公司 一种多核处理器并行解码图像的方法和装置
CN104537682A (zh) * 2015-01-26 2015-04-22 四川众亿得科技有限责任公司 一种医学影像的分割与调度方法
CN105321201A (zh) * 2015-11-26 2016-02-10 郭小虎 基于云端光照烘焙的移动端3d实时渲染方法及系统
CN106201723A (zh) * 2016-07-13 2016-12-07 浪潮(北京)电子信息产业有限公司 一种数据中心的资源调度方法及装置
CN106502794A (zh) * 2016-10-24 2017-03-15 深圳市彬讯科技有限公司 一种基于云端渲染的三维效果图高效渲染方法
CN106897127A (zh) * 2015-12-21 2017-06-27 北京奇虎科技有限公司 一种对图片进行抓取处理的方法和服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5653151B2 (ja) * 2010-09-17 2015-01-14 キヤノン株式会社 クラウドコンピューティングシステム、クラウドコンピューティングシステムの制御方法、および管理アプリケーション
CN102523246B (zh) * 2011-11-23 2015-07-01 陈刚 一种云计算处理系统及方法
CN103106680B (zh) * 2013-02-16 2015-05-06 赞奇科技发展有限公司 基于云计算架构的三维图形渲染的实现方法及云服务系统
CN103559239B (zh) * 2013-10-25 2017-11-10 北京奇虎科技有限公司 图片的处理方法及系统和任务服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098503A (zh) * 2009-12-14 2011-06-15 中兴通讯股份有限公司 一种多核处理器并行解码图像的方法和装置
CN104537682A (zh) * 2015-01-26 2015-04-22 四川众亿得科技有限责任公司 一种医学影像的分割与调度方法
CN105321201A (zh) * 2015-11-26 2016-02-10 郭小虎 基于云端光照烘焙的移动端3d实时渲染方法及系统
CN106897127A (zh) * 2015-12-21 2017-06-27 北京奇虎科技有限公司 一种对图片进行抓取处理的方法和服务器
CN106201723A (zh) * 2016-07-13 2016-12-07 浪潮(北京)电子信息产业有限公司 一种数据中心的资源调度方法及装置
CN106502794A (zh) * 2016-10-24 2017-03-15 深圳市彬讯科技有限公司 一种基于云端渲染的三维效果图高效渲染方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111381977A (zh) * 2018-12-29 2020-07-07 北大方正集团有限公司 消息处理方法及设备
CN112702368A (zh) * 2019-10-22 2021-04-23 贵州白山云科技股份有限公司 服务请求的处理方法和装置
CN112702368B (zh) * 2019-10-22 2023-05-09 贵州白山云科技股份有限公司 服务请求的处理方法和装置
CN112732417A (zh) * 2019-10-28 2021-04-30 北京京东振世信息技术有限公司 一种处理应用请求的方法和装置
CN113269856A (zh) * 2021-05-12 2021-08-17 南京邮电大学 基于分布式云存储的数据并行可视化图形渲染方法及系统

Also Published As

Publication number Publication date
WO2020015087A1 (zh) 2020-01-23

Similar Documents

Publication Publication Date Title
US11762697B2 (en) Method and apparatus for scheduling resource for deep learning framework
CN108920281A (zh) 大规模图片处理方法及系统
CN113656179B (zh) 云计算资源的调度方法及装置、电子设备和存储介质
CN110221927A (zh) 异步消息处理方法和装置
CN110880100A (zh) 业务审批的处理方法、装置及系统
CN112948025B (zh) 数据加载方法、装置及存储介质、计算设备、计算系统
WO2023206889A1 (zh) 模型推理方法、装置、设备及存储介质
EP3242258A1 (en) Method and apparatus for processing virtual card
CN112948081B (zh) 延时处理任务的方法、装置、设备以及存储介质
CN110738509B (zh) 量化用户之间关联程度的方法和装置
CN116932147A (zh) 流式作业处理方法、装置、电子设备及介质
CN104735134B (zh) 一种用于提供计算服务的方法和装置
CN112667368A (zh) 一种任务数据处理方法和装置
CN111597200A (zh) 数据处理方法、装置及存储介质
CN110727666A (zh) 面向工业互联网平台的缓存组件、方法、设备及存储介质
CN115511085A (zh) 一种模型数据处理方法、装置、设备及存储介质
CN110909072A (zh) 一种数据表建立方法、装置及设备
CN113641670B (zh) 数据存储及数据检索方法、装置、电子设备及存储介质
CN115361382A (zh) 基于数据群组的数据处理方法、装置、设备和存储介质
CN116503005A (zh) 流程动态修改方法、装置、系统及存储介质
CN112988806A (zh) 一种数据处理的方法及装置
CN111581930A (zh) 在线表格数据处理方法、装置、电子设备和可读介质
CN112711588A (zh) 多表连接的方法和装置
CN117632443B (zh) 业务流程的流转控制方法及装置、设备、介质
CN111382193A (zh) 一种数据仓库主题模型的构建方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220704

Address after: Room 368, 302, 211 Fute North Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Shanghai Yuepu Investment Center (L.P.)

Address before: 518081 B, 5th floor, building 2, international creative port, industrial east street, Yantian District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN MALONG TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130