CN111782348A - 应用程序的处理方法、装置、系统和计算机可读存储介质 - Google Patents

应用程序的处理方法、装置、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN111782348A
CN111782348A CN201910271384.3A CN201910271384A CN111782348A CN 111782348 A CN111782348 A CN 111782348A CN 201910271384 A CN201910271384 A CN 201910271384A CN 111782348 A CN111782348 A CN 111782348A
Authority
CN
China
Prior art keywords
application program
processing
processed
data
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910271384.3A
Other languages
English (en)
Other versions
CN111782348B (zh
Inventor
魏秀利
范振
石磊
吴国晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN201910271384.3A priority Critical patent/CN111782348B/zh
Publication of CN111782348A publication Critical patent/CN111782348A/zh
Application granted granted Critical
Publication of CN111782348B publication Critical patent/CN111782348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种应用程序的处理方法、装置、系统和计算机可读存储介质，涉及计算机技术领域。该方法包括：响应于用户递交的应用程序开始运行，确定应用程序的各待处理数据之间的相关性；根据相关性，对各待处理数据进行划分；根据划分结果，将应用程序划分为多个任务分片；将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取各任务分片的处理结果。本公开的技术方案能够提高并行处理效率。

Description

应用程序的处理方法、装置、系统和计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种应用程序的处理方法、应用程序的处理装置、应用程序的处理系统和计算机可读存储介质。
背景技术
随着计算机技术及大数据技术的不断发展，基于单台物理计算机的图像处理模型算法，正逐步向大数据及分布式并行计算发展。例如，Apache Spark作为一个围绕速度、易用性和复杂分析构建的大数据处理框架，其强大的迭代计算能力已在图像处理方面成为佼佼者，并受国内外各大科技公司、相关科研机构及开源社区所青睐。
在相关技术中，基于分布式处理系统的集群资源对属于一个应用程序的各任务进行并行处理。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：对集群资源的分配不合理，导致并行处理效率低。
鉴于此，本公开提出了一种应用程序的处理技术方案，能够提高并行处理效率。
根据本公开的一些实施例，提供了一种应用程序的处理方法，包括：响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；根据所述相关性，对所述各待处理数据进行划分；根据划分结果，将所述应用程序划分为多个任务分片；将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。
在一些实施例中，所述确定所述应用程序的各待处理数据之间的相关性包括：获取所述应用程序的各待处理数据的存储路径；根据所述存储路径，确定所述各待处理数据之间的相关性。
在一些实施例中，所述将各任务分片分配给执行器节点集群中的各执行器节点并行处理包括：向所述执行器节点集群申请与所述各任务分片的大小相匹配的运行资源；根据所述运行资源，将所述多个任务分片分配给所述各执行器节点并行处理。
在一些实施例中，所述的处理方法还包括：在接收到所述各执行器节点返回的所述各任务分片的处理结果后，将所述处理结果发送给数据库集群进行存储。
在一些实施例中，所述的处理方法还包括：接收所述各执行器节点定期返回的相应任务分片的处理情况。
在一些实施例中，所述应用程序在PySpark on k8s系统中递交，所述PySpark onk8s系统的源代码支持用户在非集群计算机上递交所述应用程序。
在一些实施例中，所述应用程序根据用户开发的图像处理方法生成；所述待处理数据为待处理图片。
在一些实施例中，所述根据所述相关性，对所述各待处理数据进行划分包括：根据所述各待处理图片所属的SKU(Stock Keeping Unit，物品库存量单位)，对所述各待处理图片进行划分。
根据本公开的另一些实施例，提供一种应用程序的处理装置，包括：确定单元，响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；划分单元，用于根据所述相关性，对所述各待处理数据进行划分，根据划分结果，将所述应用程序划分为多个任务分片；分配单元，用于将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。
根据本公开的又一些实施例，提供一种应用程序的处理系统包括：驱动器节点，用于实现上述任一个实施例中的应用程序的处理方法；执行器节点集群，用于并行处理所述应用程序的各任务分片。
在一些实施例中，所述的处理系统还包括：数据服务器，用于向所述驱动器节点提供所述应用程序的各待处理数据的存储路径。
在一些实施例中，所述的处理系统还包括：数据库集群，用于存储所述驱动器节点发来的所述应用程序的处理结果。
根据本公开的又一些实施例，提供一种应用程序的处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的应用程序的处理方法。
根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的应用程序的处理方法。
在上述实施例中，根据应用程序的相关数据之间的相关性，挖掘分析相关数据之间的关系特性。以相关性为基础分配集群资源，能够提高系统并行处理的效率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开的应用程序的处理方法的一些实施例的流程图；
图2示出图1中步骤110的一些实施例的流程图；
图3示出图1中步骤140的一些实施例的流程图；
图4示出本公开的应用程序的处理方法的一些实施例的信令图；
图5示出本公开的应用程序的处理装置的一些实施例的框图；
图6示出本公开的应用程序的处理系统的一些实施例的框图；
图7示出本公开的应用程序的处理装置的另一些实施例的框图；
图8示出本公开的应用程序的处理装置的又一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出本公开的应用程序的处理方法的一些实施例的流程图。
如图1所示，该方法包括：步骤110，确定各待处理数据之间的相关性；步骤120，对各待处理数据进行划分；步骤130，划分任务分片；和步骤140，分配任务分片。
在步骤110中，响应于用户递交的应用程序开始运行，确定应用程序的各待处理数据之间的相关性。
在一些实施例中，业务人员可以将开发的图像处理方法封装成应用程序。例如，业务人员想要在PySpark on k8s(Kubrnetes)系统中实现开发的图像处理方法，可以将图像处理方法封装成pySpark应用程序。
在一些实施例中，业务人员可以在PySpark on k8s系统中递交应用程序，该PySpark on k8s系统的源代码支持用户在非集群计算机上递交该应用程序。例如，可以开发PySpark on k8s系统中关于client模式外部递交的源代码，使业务用户能够在非集群客户机(如普通开发客户机)上进行pySpark任务递交。
这样，可以解决业务人员递交任务场景受限的问题(相关技术业务人员通过需要通过跳板机跳到集群客户机递交应用程序)，从而提高操作灵活性和工作效率。
在一些实施例中，可以通过图2中的实施例确定各待处理数据之间的相关性。
图2示出图1中步骤110的一些实施例的流程图。
如图2所示，步骤110包括：步骤1110，获取存储路径；和步骤1120，确定相关性。
在步骤1110中，获取应用程序的各待处理数据的存储路径。例如，可以通过数据服务器获取数据的存储路径。
在一些实施例中，待处理数据可以为待处理图片，数据服务器可以为图片服务器。例如，pySpark应用程序运行后，驱动器节点(Driver端)可以通过图片服务器获取待处理图片的url(Uniform Resource Locator，统一资源定位符)，并加载至内存。
在步骤1120中，根据存储路径，确定各待处理数据之间的相关性。
在一些实施例中，各待处理图片属于不同品类的物品，可以通过url确定各待处理图片属于的SKU。可以确定同一SKU下的待处理图片具有相关性。
在确定了各待处理数据之间的相关性后，可以继续利用图1中的其余步骤处理应用程序。
在步骤120中，根据相关性，对所待处理数据进行划分。在一些实施例中，可以根据相关性将各待处理数据划分到多个数据集合中。例如，可以根据SKU标签将相同SKU标签下的url聚合成一个数据集合。
在步骤130中，根据划分结果，将应用程序划分为多个任务分片。在一些实施例中，可以根据多个数据集合，将应用程序划分为多个任务分片。例如，可以根据确定的SKU标签的数量，设置RDD(Resilient Distributed Dataset，弹性分布式数据集)中Partition(分区)的数量，以实现自适应动态分区设置
在步骤140中，将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取各任务分片的处理结果。例如，可以通过图3中的实施例实现步骤140。
图3示出图1中步骤140的一些实施例的流程图。
如图3所示，步骤140包括：步骤1410，申请运行资源；和步骤1420，分配任务分片。
在步骤1410中，向执行器节点集群申请与各任务分片的大小相匹配的运行资源。例如，Driver端根据自适应的分区大小，通过Kubrnetes执行器节点集群的Api(Application Programming Interface，应用程序编程接口)server(服务器)申请运行资源。
在步骤1420中，根据运行资源，将多个任务分片分配给各执行器节点并行处理。例如，Driver端将图像处理任务，按照自适应的分区情况和运行资源申请情况，分发到执行器节点集群中各Executor(执行器节点)上面执行。
在一些实施例中，各Executor接收到Driver端发送的任务信息，执行相应的图像处理。Driver端可以接收各执行器节点定期返回的相应任务分片的处理情况。
在一些实施例中，在接收到各执行器节点返回的各任务分片的处理结果后，将处理结果发送给数据库集群进行存储。例如，Driver端接收各个Executor的图像处理结果并进行汇总，直至整个任务执行完毕再将处理结果批量插入数据库集群(如Mysql集群)。这种统一存储方法避免了频繁读写操作数据库造成的存储效率低下和系统处理速度下降的问题。
图4示出本公开的应用程序的处理方法的一些实施例的信令图。
如图4所示，在事件410中，响应于应用程序执行，驱动器节点从数据服务器获取待处理数据的存储地址。
在事件420中，驱动器节点根据数据相关性划分各待处理数据。
在事件430中，驱动器节点根据划分结果，将应用程序划分为多个任务分片。
在事件440中，驱动器节点根据任务分片的划分情况向数据服务器申请运行资源。
在事件450中，驱动器节点根据申请的运行资源和任务分片，为执行器节点集群中的各执行器节点分配任务。
在事件460中，执行器节点集群中的各执行器节点并行处理各自的任务分片。
在事件470中，各执行器节点定期向驱动器节点返回各自的处理情况。
在事件480中，各执行器节点定期向驱动器节点返回各自的处理结果。
在事件490中，驱动器节点汇总各执行器节点的处理结果后统一发给数据库集群存储。
在上述实施例中，根据应用程序的相关数据之间的相关性，挖掘分析相关数据之间的关系特性。以相关性为基础分配集群资源，能够提高系统并行处理的效率。
图5示出本公开的应用程序的处理装置的一些实施例的框图。
如图5所示，应用程序的处理装置5包括确定单元51、划分单元52和分配单元53。
确定单元51响应于用户递交的应用程序开始运行，确定应用程序的各待处理数据之间的相关性。划分单元52根据相关性对各待处理数据进行划分，根据划分结果将应用程序划分为多个任务分片。分配单元53将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取各任务分片的处理结果。
在一些实施例中，确定单元51获取应用程序的各待处理数据的存储路径。确定单元51根据存储路径，确定各待处理数据之间的相关性。
在一些实施例中，分配单元53向执行器节点集群申请与各任务分片的大小相匹配的运行资源分配单元53根据运行资源将多个任务分片分配给各执行器节点并行处理。
在一些实施例中，处理装置5还包括接收单元54和发送单元55。接收单元54接收各执行器节点定期返回的相应任务分片的处理情况和处理结果。发送单元55在接收单元54接收到各执行器节点返回的各任务分片的处理结果后，将处理结果发送给数据库集群进行存储。
在一些实施例中，应用程序在PySpark on k8s系统中递交，PySpark on k8s系统的源代码支持用户在非集群计算机上递交应用程序。
在一些实施例中，应用程序根据用户开发的图像处理方法生成，待处理数据为待处理图片。划分单元52根据各待处理图片所属的SKU，对各待处理图片进行划分。
在上述实施例中，根据应用程序的相关数据之间的相关性，挖掘分析相关数据之间的关系特性。以相关性为基础分配集群资源，能够提高系统并行处理的效率。
图6示出本公开的应用程序的处理系统的一些实施例的框图。
如图6所示，应用程序的处理系统6包括：驱动器节点61，用于实现上述任一个实施例中的应用程序的处理方法；执行器节点集群62，用于并行处理应用程序的各任务分片。
在一些实施例中，处理系统6还包括数据服务器63，用于向驱动器节点提供应用程序的各待处理数据的存储路径。
在一些实施例中，处理系统6还包括数据库集群64，用于存储驱动器节点发来的应用程序的处理结果。
在上述实施例中，根据应用程序的相关数据之间的相关性，挖掘分析相关数据之间的关系特性。以相关性为基础分配集群资源，能够提高系统并行处理的效率。
图7示出本公开的应用程序的处理装置的另一些实施例的框图。
如图7所示，该实施例的应用程序的处理装置7包括：存储器71以及耦接至该存储器71的处理器72，处理器72被配置为基于存储在存储器71中的指令，执行本公开中任意一个实施例中的应用程序的处理方法。
其中，存储器71例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图8示出本公开的应用程序的处理装置的又一些实施例的框图。
如图8所示，该实施例的应用程序的处理装置8包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中的应用程序的处理方法。
存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
应用程序的处理装置8还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830、840、850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的应用程序的处理方法、应用程序的处理装置、应用程序的处理系统和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (13)

1.一种应用程序的处理方法，包括：
响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；
根据所述相关性，对所述各待处理数据进行划分；
根据划分结果，将所述应用程序划分为多个任务分片；
将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。
2.根据权利要求1所述的处理方法，其中，所述确定所述应用程序的各待处理数据之间的相关性包括：
获取所述应用程序的各待处理数据的存储路径；
根据所述存储路径，确定所述各待处理数据之间的相关性。
3.根据权利要求1所述的处理方法，其中，所述将各任务分片分配给执行器节点集群中的各执行器节点并行处理包括：
向所述执行器节点集群申请与所述各任务分片的大小相匹配的运行资源；
根据所述运行资源，将所述多个任务分片分配给所述各执行器节点并行处理。
4.根据权利要求1所述的处理方法，还包括：
在接收到所述各执行器节点返回的所述各任务分片的处理结果后，将所述处理结果发送给数据库集群进行存储。
5.根据权利要求1所述的处理方法，还包括：
接收所述各执行器节点定期返回的相应任务分片的处理情况。
6.根据权利要求1-5任一项所述的处理方法，其中，
所述应用程序在PySpark on k8s系统中递交，所述PySpark on k8s系统的源代码支持用户在非集群计算机上递交所述应用程序。
7.根据权利要求1-5任一项所述的处理方法，其中，
所述应用程序根据用户开发的图像处理方法生成；
所述待处理数据为待处理图片；
所述根据所述相关性，对所述各待处理数据进行划分包括：
根据所述各待处理图片所属的物品库存量单位SKU，对所述各待处理图片进行划分。
8.一种应用程序的处理装置，包括：
确定单元，用于响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；
划分单元，用于根据所述相关性，对所述各待处理数据进行划分，根据划分结果，将所述应用程序划分为多个任务分片；
分配单元，用于将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。
9.一种应用程序的处理系统，包括：
驱动器节点，用于实现权利要求1-7任一项所述的应用程序的处理方法；
执行器节点集群，用于并行处理所述应用程序的各任务分片。
10.根据权利要求9所述的处理系统，还包括：
数据服务器，用于向所述驱动器节点提供所述应用程序的各待处理数据的存储路径。
11.根据权利要求9所述的处理系统，还包括：
数据库集群，用于存储所述驱动器节点发来的所述应用程序的处理结果。
12.一种应用程序的处理装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行权利要求1-7任一项所述的应用程序的处理方法。
13.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的应用程序的处理方法。
CN201910271384.3A 2019-04-04 2019-04-04 应用程序的处理方法、装置、系统和计算机可读存储介质 Active CN111782348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910271384.3A CN111782348B (zh) 2019-04-04 2019-04-04 应用程序的处理方法、装置、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910271384.3A CN111782348B (zh) 2019-04-04 2019-04-04 应用程序的处理方法、装置、系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111782348A true CN111782348A (zh) 2020-10-16
CN111782348B CN111782348B (zh) 2024-09-20

Family

ID=72755636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910271384.3A Active CN111782348B (zh) 2019-04-04 2019-04-04 应用程序的处理方法、装置、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111782348B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833200A (zh) * 2012-06-27 2012-12-19 中兴通讯股份有限公司 基于对称多处理器的dpd自适应方法及装置
CN102929723A (zh) * 2012-11-06 2013-02-13 无锡江南计算技术研究所 基于异构众核处理器的并行程序段划分方法
CN105677486A (zh) * 2016-01-08 2016-06-15 上海交通大学 数据并行处理方法及系统
CN105975331A (zh) * 2016-04-26 2016-09-28 浪潮(北京)电子信息产业有限公司 一种数据并行处理方法及装置
CN106202209A (zh) * 2016-06-28 2016-12-07 北京信息科技大学 面向商品筛选应用的分布式结构化数据存储及查询方法
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统
CN107515952A (zh) * 2017-09-21 2017-12-26 北京星闪世图科技有限公司 点云数据存储、并行计算和实时检索的方法及其系统
CN107679127A (zh) * 2017-09-21 2018-02-09 北京星闪世图科技有限公司 基于地理位置的点云信息并行提取方法及其系统
CN107807845A (zh) * 2017-10-16 2018-03-16 昆仑智汇数据科技(北京)有限公司 一种增量式数据并行处理装置与方法
CN108009214A (zh) * 2017-11-15 2018-05-08 中国地质大学（武汉） 基于ArcGIS的矢量数据并行处理方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833200A (zh) * 2012-06-27 2012-12-19 中兴通讯股份有限公司 基于对称多处理器的dpd自适应方法及装置
CN102929723A (zh) * 2012-11-06 2013-02-13 无锡江南计算技术研究所 基于异构众核处理器的并行程序段划分方法
CN105677486A (zh) * 2016-01-08 2016-06-15 上海交通大学 数据并行处理方法及系统
CN105975331A (zh) * 2016-04-26 2016-09-28 浪潮(北京)电子信息产业有限公司 一种数据并行处理方法及装置
CN106202209A (zh) * 2016-06-28 2016-12-07 北京信息科技大学 面向商品筛选应用的分布式结构化数据存储及查询方法
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统
CN107515952A (zh) * 2017-09-21 2017-12-26 北京星闪世图科技有限公司 点云数据存储、并行计算和实时检索的方法及其系统
CN107679127A (zh) * 2017-09-21 2018-02-09 北京星闪世图科技有限公司 基于地理位置的点云信息并行提取方法及其系统
CN107807845A (zh) * 2017-10-16 2018-03-16 昆仑智汇数据科技(北京)有限公司 一种增量式数据并行处理装置与方法
CN108009214A (zh) * 2017-11-15 2018-05-08 中国地质大学（武汉） 基于ArcGIS的矢量数据并行处理方法及系统

Also Published As

Publication number Publication date
CN111782348B (zh) 2024-09-20

Similar Documents

Publication Publication Date Title
US10915449B2 (en) Prioritizing data requests based on quality of service
US11275622B2 (en) Utilizing accelerators to accelerate data analytic workloads in disaggregated systems
CN109684065B (zh) 一种资源调度方法、装置及系统
US9489231B2 (en) Selecting provisioning targets for new virtual machine instances
US10585806B2 (en) Associating cache memory with a work process
Guo et al. Moving hadoop into the cloud with flexible slot management and speculative execution
US20180246765A1 (en) System and method for scheduling jobs in distributed datacenters
US20150199214A1 (en) System for distributed processing of stream data and method thereof
US20150074216A1 (en) Distributed and parallel data processing systems including redistribution of data and methods of operating the same
CN102365626A (zh) 用于虚拟机的虚拟非一致存储器体系结构
US9063918B2 (en) Determining a virtual interrupt source number from a physical interrupt source number
KR101460062B1 (ko) 동영상 파일을 하둡 분산 파일 시스템에 분산 저장하는 시스템, 동영상 맵리듀스 시스템 및 그 제공방법
US20160352821A1 (en) Method and system for allocating resources for virtual hosts
US10387395B2 (en) Parallelized execution of window operator
US10334028B2 (en) Apparatus and method for processing data
KR101640231B1 (ko) 자동 분산병렬 처리 하둡 시스템의 지원을 위한 클라우드 구동 방법
US20170371707A1 (en) Data analysis in storage system
US9009713B2 (en) Apparatus and method for processing task
US20150220442A1 (en) Prioritizing shared memory based on quality of service
US20140095718A1 (en) Maximizing resources in a multi-application processing environment
CN111782348B (zh) 应用程序的处理方法、装置、系统和计算机可读存储介质
US20160266932A1 (en) Allocation of large scale processing job processes to host computing systems
US11663026B2 (en) Allocation of accelerator resources based on job type
US9176910B2 (en) Sending a next request to a resource before a completion interrupt for a previous request
KR101508273B1 (ko) 클라우드 ａｐｉ 키를 이용한 자원 할당 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant