CN112486912A - 一种文件转换系统、方法、电子设备及存储介质 - Google Patents

一种文件转换系统、方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112486912A
CN112486912A CN202011414721.9A CN202011414721A CN112486912A CN 112486912 A CN112486912 A CN 112486912A CN 202011414721 A CN202011414721 A CN 202011414721A CN 112486912 A CN112486912 A CN 112486912A
Authority
CN
China
Prior art keywords
task
conversion
subtasks
file conversion
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011414721.9A
Other languages
English (en)
Inventor
谢岱峰
姚依林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Puredeli Technology Co ltd
Original Assignee
Beijing Puredeli Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Puredeli Technology Co ltd filed Critical Beijing Puredeli Technology Co ltd
Priority to CN202011414721.9A priority Critical patent/CN112486912A/zh
Publication of CN112486912A publication Critical patent/CN112486912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种文件转换系统、方法、电子设备及存储介质。文件转换系统包括任务管理设备、消息队列设备以及任务处理设备；任务管理设备，用于对用户端发送的文件转换任务进行管理，并将根据文件转换任务拆分得到的多个子任务发送至消息队列设备中，消息队列设备将多个子任务发送至任务处理设备，消息队列设备将任务处理设备处理得到的各个子任务的转换结果发送至任务管理设备，任务管理设备将文件转换任务的转换结果发送至用户端。本方案将任务处理逻辑和任务管理逻辑分离，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。

Description

一种文件转换系统、方法、电子设备及存储介质
技术领域
本申请涉及文件处理技术领域，尤其是涉及一种文件转换系统、方法、电子设备及存储介质。
背景技术
随着科学的进步和社会的发展，现有方案中，大多数对文件的转换处理方式使用的是单进程多线程的处理模式，也就是说，在文件处理的过程中，接受文件任务和处文件理任务的逻辑是运行在同一服务器中的同一进程进行通信的，但这种方式，会使得处理逻辑在执行转换的过程中将消耗所在服务器的大量资源造成在转换过程中出现新任务提交缓慢甚至无法提交的情况，且通过直接升级硬件的方式来加快处理速率的方式的也会带来成本高、效益底的情况。
发明内容
有鉴于此，本申请实施例至少提供一种文件转换系统、方法、电子设备及存储介质，本申请通过使用任务管理设备以及任务处理设备来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种文件转换系统，所述文件转换系统包括任务管理设备、消息队列设备以及任务处理设备；
所述任务管理设备，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中，以及接收所述消息队列设备发送的所述文件转换任务的转换结果；
所述消息队列设备，用于将所述多个子任务发送至所述任务处理设备，并将所述任务处理设备处理得到的各个子任务的所述转换结果发送至所述任务管理设备；
所述任务处理设备，用于对接收到的所述消息队列设备发送的所述多个子任务进行处理，并将处理得到的各个子任务的转换结果发送至所述消息队列设备。
在一种可能的实施方式中，所述任务管理设备包括：
获取模块，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中；
接收模块，用于接收所述消息队列设备发送的所述文件转换任务的转换结果。
在一种可能的实施方式中，所述获取模块包括：
存储单元，用于对用户端发送的文件转换任务进行存储；
拆分单元，用于对所述文件转换任务进行拆分，得到多个子任务，并发布针对所述多个子任务的任务处理请求；
发送单元，用于将所述多个子任务发送至所述消息队列设备中。
在一种可能的实施方式中，所述接收模块包括：
第一拉取单元，用于监听并拉取所述消息队列设备中所述多个子任务的转换结果；
监控单元，用于监控所述多个子任务的完成程度；
合并单元，用于当所述文件转换任务对应的所有所述子任务全部完成转换后，将所述文件转换任务对应的所有所述子任务的转换结果进行合并，得到所述文件转换任务的转换结果；
通知单元，用于将所述文件转换任务的转换结果发送至所述用户端。
在一种可能的实施方式中，所述任务处理设备包括：
转换处理模块，用于对接收到的所述消息队列设备发送的所述多个子任务进行转换处理，并生成所述多个子任务的转换结果；
发送模块，用于将所述转换结果发送至所述消息队列设备。
在一种可能的实施方式中，所述转换处理模块包括：
第二拉取单元，用于监听并拉取所述消息队列设备中的所述多个子任务的任务信息；
转换单元，用于对所述多个子任务进行转换处理，生成所述多个子任务的转换结果。
在一种可能的实施方式中，所述发送模块包括：
封装单元，用于将所述多个子任务的任务信息和所述多个子任务的转换结果进行封装，并将封装后的目标文件确定为所述文件转换任务的转换结果；
发送单元，用于将所述文件转换任务的所述转换结果发送至所述消息队列设备。
第二方面，本申请实施例还提供文件转换方法，应用于如第一方面任一所述的文件转换转换系统，所述终端通信设备包括：
所述文件转换方法包括：
接收文件转换任务；
将所述文件转换任务拆分成多个子任务，并对每个所述子任务进行处理，得到每个所述子任务对应的转换结果；
根据多个所述子任务对应的所述转换结果，得到转换文件的转换结果。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的文件转换方法的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的文件转换方法的步骤。
本申请实施例中，通过将任务接收和任务处理拆分为任务管理设备和任务处理设备，并通过消息队列设备来对文件转换任务进行接收和发布的方式，使得任务管理进程能够独立的运行在服务器中，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，同时消息队列设备够有效的平衡任务管理进程和任务处理进程之间的运行效率，且本申请的处理逻辑进程能部署在多台服务器上进行横向拓展，使得可以使用多台基础的服务器来构建高性能的分布式文件转换处理方式。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种文件转换系统的结构图；
图2示出了本申请实施例所提供的另一种文件转换系统的结构图；
图3示出了本申请实施例所提供的一种文件转换系统中任务管理设备的结构图；
图4示出了本申请实施例所提供的一种文件转换系统中任务处理设备的结构图；
图5示出了本申请实施例所提供的一种文件转换方法的流程图；
图6示出了本申请实施例所提供的一种电子设备的结构示意图。
主要元件符号说明：
图中：10-文件转换系统；100-任务管理设备；110-获取模块；111-存储单元；112-拆分单元；113-第一发送单元；120-接收模块；121-第一拉取单元；122-监控单元；123-合并单元；124-通知单元；200-消息队列设备；300-任务处理设备；310-转换处理模块；311-第二拉取单元；312-转换单元；320-发送模块；321-封装单元；322-第二发送单元；600-电子设备；610-处理器；620-存储器；630-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“文件转换”给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下所述文件转换系统、方法、电子设备及存储介质可以应用于任何文件转换的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的文件转换方法及装置的方案均在本申请保护范围内。
值得注意的是，经研究发现，在本申请提出之前，大多数对文件的转换处理方式使用的是单进程多线程的处理模式，也就是说，在文件处理的过程中，接受文件任务和处文件理任务的逻辑是运行在同一服务器中的同一进程进行通信的，但这种方式，会使得处理逻辑在执行转换的过程中将消耗所在服务器的大量资源造成在转换过程中出现新任务提交缓慢甚至无法提交的情况，且通过直接升级硬件的方式来加快处理速率的方式的也会带来成本高、效益底的情况。
针对上述问题，本申请实施例提供了一种文件转换系统、方法、电子设备及存储介质，所述本申请通过使用任务管理设备以及任务处理设备来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。
为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。
请参阅图1，图1为本申请实施例所提供的文件转换系统的结构图。如图1中所示，本申请实施例提供的文件转换系统，所述文件转换系统10包括任务管理设备、消息队列设备200以及任务处理设备。
所述任务管理设备100，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备200中，以及接收所述消息队列设备200发送的所述文件转换任务的转换结果。
其中，所述任务管理设备100在接收到用户通过所述用户端发送的文件转换任务时，首先对所述文件转换任务进行储存，然后将储存后的所述文件转换任务发布到所述消息队列设备200中等待所述任务处理设备300处理，并根据所述任务处理设备300当前在线的处理服务节点数量将所述文件转换任务拆分成多个子任务发送至所述消息队列设备200中，并接收所述消息队列设备200发送的所述文件转换任务的转换结果。
所述消息队列设备200，用于将所述多个子任务发送至所述任务处理设备300，并将所述任务处理设备300处理得到的各个子任务的所述转换结果发送至所述任务管理设备100。
其中，消息队列设备200为用于接收和发送所述多个子任务以及所述子任务转换结果的中间设备，作用是降低了所述任务管理设备100的监控所需要的时间和功能，大大的提升了所述任务管理设备100的工作效率。
所述任务处理设备300，用于对接收到的所述消息队列设备200发送的所述多个子任务进行处理，并将处理得到的各个子任务的转换结果发送至所述消息队列设备200。
其中，所述任务处理设备300用于使用当前在线的处理服务节点，将从所述消息队列设备200中的多个所述子任务的任务描述信息进行相应的转换处理，并将转换处理后的所述各个子任务的转换结果发送至所述消息队列设备200。
本申请实施例提供的文件转换系统10，与现有技术中的文件转换系统10相比，本申请通过将任务接收和任务处理进行拆分为任务管理设备100和任务处理设备300，并通过消息队列设备200来对文件转换任务进行接收和发布的方式，使得任务管理进程能够独立的运行在服务器中，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，同时消息队列设备200够有效的平衡任务管理进程和任务处理进程之间的运行效率，且本申请的处理逻辑进程能部署在多台服务器上进行横向拓展，使得可以使用多台基础的服务器来构建高性能的分布式文件转换处理方式。
请参阅图2，图2为本申请实施例所提供的另一种文件转换系统的结构图。如图2中所示，本申请实施例提供的文件转换系统，所述文件转换系统10包括任务管理设备100、消息队列设备200以及任务处理设备300。
所述任务管理设备100，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备200中，以及接收所述消息队列设备200发送的所述文件转换任务的转换结果。
所述消息队列设备200，用于将所述多个子任务发送至所述任务处理设备300，并将所述任务处理设备300处理得到的各个子任务的所述转换结果发送至所述任务管理设备100。
所述任务处理设备300，用于对接收到的所述消息队列设备200发送的所述多个子任务进行处理，并将处理得到的各个子任务的转换结果发送至所述消息队列设备200。
所述任务管理设备100包括：
获取模块110，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备200中。
其中，所述获取模块110为将将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备200的对于文件进行管理的获取模块110。
接收模块120，用于接收所述消息队列设备200发送的所述文件转换任务的转换结果。
其中，用于接收所述消息队列设备200发送的所述任务处理设备300中对于所述文件进行所述文件转换任务的转换结果，所述接收模块120在接收到所述文件转换任务的转换结果后，会对所述转换结果进行合并处理，用于更清晰直接的显示和传递所述转换结果给用户，在大大的增强了运行效率的同时，进一步的提高了工作效率。
所述任务处理设备300包括：
转换处理模块310，用于对接收到的所述消息队列设备200发送的所述多个子任务进行转换处理，并生成所述多个子任务的转换结果；
其中，所述转换处理模块310在对所述多个子任务进行转换处理后，会将转换处理后的所述转换结果进行封装，并在封装结果上附加转换前的子任务以及所述子任务的拆分前的文件转换任务的信息，将封装结果以及附加信息一起作为所述转换结果。
发送模块320，用于将所述转换结果发送至所述消息队列设备200。
其中，所述发送模块320用于发送由所述封装结果以及所述附加信息一起作为的所述转换结果至所述消息队列设备200。
本申请实施例提供的文件转换系统10，通过使用任务管理设备100以及任务处理设备300来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。
请参阅图3，图3为本申请实施例所提供的一种文件转换系统中任务管理设备的结构图。如图3所示，本申请实施例提供的文件转换系统，所述任务管理设备100包括：
获取模块110，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备200中。
所述获取模块110包括：存储单元111，用于对用户端发送的文件转换任务进行存储。
拆分单元112，用于对所述文件转换任务进行拆分，得到多个子任务，并发布针对所述多个子任务的任务处理请求。
其中，所述拆分单元112根据所述任务处理设备300当前在线的处理服务节点数量将所述文件转换任务拆分成多个子任务发送至所述消息队列设备200中，并对所述多个子任务的任务处理请求进行发布。
第一发送单元113，用于将所述多个子任务发送至所述消息队列设备200中。
接收模块120，用于接收所述消息队列设备200发送的所述文件转换任务的转换结果。
其中，所述消息队列设备200用于实时接收以及监控所述任务管理拆分后的所述多个子任务的任务信息。
所述接收模块120包括：第一拉取单元121，用于监听并拉取所述消息队列设备200中所述多个子任务的转换结果。
其中，所述第一拉取单元121用于监听并拉取所述消息队列设备200中的由所述任务管理设备100拆分完成后的所述多个子任务的任务处理请求信息。
监控单元122，用于监控所述多个子任务的完成程度。
其中，若所述文件转换任务对应的所有所述子任务全部完成转换时，所述完成程度为全部转换成功，若所述文件转换任务对应的所有所述子任务部分完成转换时，所述完成程度为部分转换成功，需要对所述子任务进行继续的监控，直至所述文件转换任务对应的所有所述子任务完成转换。
合并单元123，用于当所述文件转换任务对应的所有所述子任务全部完成转换后，将所述文件转换任务对应的所有所述子任务的转换结果进行合并，得到所述文件转换任务的转换结果。
其中，当所述文件转换任务对应的所有所述子任务全部完成转换后，将所述文件转换任务对应的所有所述子任务的转换结果与所述子任务对应的文件转换任务进行合并，并将所述合并结果确定为文件转换任务的转换结果，这样更加的有利与用户通过所述用户端进行提取以及查看。
通知单元124，用于将所述文件转换任务的转换结果发送至所述用户端。
其中，将所述文件转换任务的转换结果通过所述用户端发送给用户，用户即可提取、使用或查看所述转换结果。
本申请实施例提供的文件系统，通过使用任务管理设备100以及任务处理设备300来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。
请参阅图4，图4为本申请实施例所提供的一种文件转换系统中任务处理设备300的结构图。如图4示，本申请实施例提供的文件转换系统，所述任务处理设备300包括：
转换处理模块310，用于对接收到的所述消息队列设备200发送的所述多个子任务进行转换处理，并生成所述多个子任务的转换结果。
所述转换处理模块310包括：第二拉取单元311，用于监听并拉取所述消息队列设备200中的所述多个子任务的任务信息。
转换单元312，用于对所述多个子任务进行转换处理，生成所述多个子任务的转换结果。
其中，所述转换单元312在对所述多个子任务进行转换处理后，会将转换处理后的所述转换结果进行封装，并在封装结果上附加转换前的子任务以及所述子任务的拆分前的文件转换任务的信息，将封装结果以及附加信息一起作为所述转换结果。
发送模块320，用于将所述转换结果发送至所述消息队列设备200。
其中，所述发送模块320将转换结果的结果转换信息进行本地存储，方便用户或开发人员进行后续的追溯。
所述发送模块320包括：封装单元321，用于将所述多个子任务的任务信息和所述多个子任务的转换结果进行封装，并将封装后的目标文件确定为所述文件转换任务的转换结果。
其中，所述封装单元321用来将转换处理后的所述转换结果进行封装，并在封装结果上附加转换前的子任务以及所述子任务的拆分前的文件转换任务的信息，将封装结果以及附加信息一起作为所述转换结果。
第二发送单元322，用于将所述文件转换任务的所述转换结果发送至所述消息队列设备200。
其中，所述第一发送单元113将所述文件转换任务的所述转换结果先提交给所述消息队列设备200，并发送至所述消息队列设备200。
本申请实施例提供的文件系统，通过使用任务管理设备100以及任务处理设备300来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。
请参阅图5，图5为本申请实施例所提供的一种文件转换方法的流程图。如图5，本申请实施例提供的文件转换系统，所述文件转换方法包括：
S101、接收文件转换任务。
S102、该步骤中，通过任务管理设备100接收用户端发送的文件转换任务，并对所述文件转换任务进行管理。
S103、将所述文件转换任务拆分成多个子任务，并对每个所述子任务进行处理，得到每个所述子任务对应的转换结果。
该步骤中，通过任务管理设备100中的拆分单元112将所述文件转换任务根据任务处理设备300中的处理服务节点数量进行拆分，并将拆分后的所述多个子任务根据所述子任务的描述信息进行相应的转换处理，确定所述子任务的对应的所述转换结果。
根据多个所述子任务对应的所述转换结果，得到转换文件的转换结果。
本申请实施例提供的文件系统，通过使用任务管理设备100以及任务处理设备300来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。
基于同一申请构思，请参阅图6，图6本申请实施例提供的一种电子设备的结构示意图，包括：处理器610、存储器620和总线630，所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过所述总线630进行通信，所述机器可读指令被所述处理器610运行时执行如上述实施例中任一所述的文件转换的步骤。
具体地，所述机器可读指令被所述处理器610执行时可以执行如下处理：
接收文件转换任务。
将所述文件转换任务拆分成多个子任务，并对每个所述子任务进行处理，得到每个所述子任务对应的转换结果。
根据多个所述子任务对应的所述转换结果，得到转换文件的转换结果。
本申请实施例提供的文件转换发方法，与现有技术中的文件转换方法相比，本申请通过使用任务管理设备100以及任务处理设备300来将任务处理逻辑和任务管理逻辑分离，解决了处理转换逻辑消耗大量资源并影响处理任务提交的问题，通过消息队列来进行任务分发、处理负载均衡、任务结果回收的方式避免了因为转换过程占用大量计算资源影响同一进程的任务提交导致的提交任务卡顿甚至不可用的现象，从而能够将对计算资源需求巨大的转换处理程序进行横向拓展，且仅需要使用廉价服务器集群就能有效的提升文件转换效率。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的文件转换方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述检测方法，可使得终端通信设备可以在休眠时快速的做出反应，在降低了终端通信设备休眠反应时间的同时，大大的提高了休眠的反应速率，进一步的降低了终端通信设备的功率消耗。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种文件转换系统，其特征在于，所述文件转换系统包括任务管理设备、消息队列设备以及任务处理设备；
所述任务管理设备，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中，以及接收所述消息队列设备发送的所述文件转换任务的转换结果；
所述消息队列设备，用于将所述多个子任务发送至所述任务处理设备，并将所述任务处理设备处理得到的各个子任务的所述转换结果发送至所述任务管理设备；
所述任务处理设备，用于对接收到的所述消息队列设备发送的所述多个子任务进行处理，并将处理得到的各个子任务的转换结果发送至所述消息队列设备。
2.根据权利要求1所述的文件转换系统，其特征在于，所述任务管理设备包括：
获取模块，用于对用户端发送的文件转换任务进行管理，并将根据所述文件转换任务拆分得到的多个子任务发送至所述消息队列设备中；
接收模块，用于接收所述消息队列设备发送的所述文件转换任务的转换结果。
3.根据权利要求2所述的文件转换系统，其特征在于，所述获取模块包括：
存储单元，用于对用户端发送的文件转换任务进行存储；
拆分单元，用于对所述文件转换任务进行拆分，得到多个子任务，并发布针对所述多个子任务的任务处理请求；
发送单元，用于将所述多个子任务发送至所述消息队列设备中。
4.根据权利要求2所述的文件转换系统，其特征在于，所述接收模块包括：
第一拉取单元，用于监听并拉取所述消息队列设备中所述多个子任务的转换结果；
监控单元，用于监控所述多个子任务的完成程度；
合并单元，用于当所述文件转换任务对应的所有所述子任务全部完成转换后，将所述文件转换任务对应的所有所述子任务的转换结果进行合并，得到所述文件转换任务的转换结果；
通知单元，用于将所述文件转换任务的转换结果发送至所述用户端。
5.根据权利要求1所述的文件转换系统，其特征在于，所述任务处理设备包括：
转换处理模块，用于对接收到的所述消息队列设备发送的所述多个子任务进行转换处理，并生成所述多个子任务的转换结果；
发送模块，用于将所述转换结果发送至所述消息队列设备。
6.根据权利要求5所述的文件转换系统，其特征在于，所述转换处理模块包括：
第二拉取单元，用于监听并拉取所述消息队列设备中的所述多个子任务的任务信息；
转换单元，用于对所述多个子任务进行转换处理，生成所述多个子任务的转换结果。
7.根据权利要求5所述的文件转换系统，其特征在于，所述发送模块包括：
封装单元，用于将所述多个子任务的任务信息和所述多个子任务的转换结果进行封装，并将封装后的目标文件确定为所述文件转换任务的转换结果；
发送单元，用于将所述文件转换任务的所述转换结果发送至所述消息队列设备。
8.一种文件转换方法，应用于如权利要求1-7任一所述的文件转换系统，其特征在于，所述文件转换方法包括：
接收文件转换任务；
将所述文件转换任务拆分成多个子任务，并对每个所述子任务进行处理，得到每个所述子任务对应的转换结果；
根据多个所述子任务对应的所述转换结果，得到转换文件的转换结果。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的权利要求8所述的文件转换方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的权利要求8所述的文件转换方法的步骤。
CN202011414721.9A 2020-12-03 2020-12-03 一种文件转换系统、方法、电子设备及存储介质 Pending CN112486912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011414721.9A CN112486912A (zh) 2020-12-03 2020-12-03 一种文件转换系统、方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011414721.9A CN112486912A (zh) 2020-12-03 2020-12-03 一种文件转换系统、方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112486912A true CN112486912A (zh) 2021-03-12

Family

ID=74939935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414721.9A Pending CN112486912A (zh) 2020-12-03 2020-12-03 一种文件转换系统、方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112486912A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448734A (zh) * 2021-07-15 2021-09-28 中国银行股份有限公司 Spark SQL交互式场景下SQL中断系统及方法
CN113688098A (zh) * 2021-08-20 2021-11-23 北京数码大方科技股份有限公司 文件转换系统、方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613025A (zh) * 2017-10-31 2018-01-19 武汉光迅科技股份有限公司 一种基于消息队列顺序回复的实现方法和装置
CN108848060A (zh) * 2018-05-17 2018-11-20 上海哔哩哔哩科技有限公司 一种多媒体文件处理方法、处理系统及计算机可读存储介质
CN109062697A (zh) * 2018-08-07 2018-12-21 北京超图软件股份有限公司 一种提供空间分析服务的方法和装置
CN110162666A (zh) * 2019-06-26 2019-08-23 银河水滴科技（北京）有限公司 一种检索任务的执行方法及执行装置
CN111104330A (zh) * 2019-12-20 2020-05-05 广州品唯软件有限公司 分布式测试方法、服务器及分布式测试系统
CN111813758A (zh) * 2020-07-02 2020-10-23 深圳乐信软件技术有限公司 数据库文件分布式分析方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613025A (zh) * 2017-10-31 2018-01-19 武汉光迅科技股份有限公司 一种基于消息队列顺序回复的实现方法和装置
CN108848060A (zh) * 2018-05-17 2018-11-20 上海哔哩哔哩科技有限公司 一种多媒体文件处理方法、处理系统及计算机可读存储介质
CN109062697A (zh) * 2018-08-07 2018-12-21 北京超图软件股份有限公司 一种提供空间分析服务的方法和装置
CN110162666A (zh) * 2019-06-26 2019-08-23 银河水滴科技（北京）有限公司 一种检索任务的执行方法及执行装置
CN111104330A (zh) * 2019-12-20 2020-05-05 广州品唯软件有限公司 分布式测试方法、服务器及分布式测试系统
CN111813758A (zh) * 2020-07-02 2020-10-23 深圳乐信软件技术有限公司 数据库文件分布式分析方法、装置、服务器及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448734A (zh) * 2021-07-15 2021-09-28 中国银行股份有限公司 Spark SQL交互式场景下SQL中断系统及方法
CN113448734B (zh) * 2021-07-15 2024-02-23 中国银行股份有限公司 Spark SQL交互式场景下SQL中断系统及方法
CN113688098A (zh) * 2021-08-20 2021-11-23 北京数码大方科技股份有限公司 文件转换系统、方法及装置

Similar Documents

Publication Publication Date Title
EP2524277B1 (en) Methods and apparatus for coordinated energy management in virtualized data centers
CN106155811B (zh) 资源服务装置、资源调度方法和装置
WO2012033909A2 (en) Method and system of simulating a data center
CN112486912A (zh) 一种文件转换系统、方法、电子设备及存储介质
CN111506434B (zh) 一种任务处理方法、装置及计算机可读存储介质
CN114328098B (zh) 一种慢节点检测方法、装置、电子设备及存储介质
CN111240806B (zh) 一种分布式容器镜像构建调度方法
CN114124968B (zh) 基于行情数据的负载均衡方法、装置、设备及介质
CN111090511A (zh) 任务处理方法、装置及计算机可读存储介质
CN111338785A (zh) 资源调度方法及装置、电子设备、存储介质
CN112905334A (zh) 资源管理方法、装置、电子设备和存储介质
CN112631800A (zh) 面向kafka的数据传输方法、系统、计算机设备及存储介质
CN115150471A (zh) 数据处理方法、装置、设备、存储介质及程序产品
CN113971098A (zh) 一种RabbitMQ消费管理方法及系统
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN113986534A (zh) 任务调度方法、装置、计算机设备和计算机可读存储介质
CN111835809B (zh) 工单消息分配方法、装置、服务器及存储介质
CN112631994A (zh) 数据迁移方法及系统
CN116776980A (zh) 一种预测推理系统及方法
CN116032932A (zh) 针对边缘服务器的集群管理方法、系统、设备及介质
CN112764837B (zh) 数据上报方法、装置、存储介质及终端
CN115374949A (zh) 分布式量子计算系统和资源管理方法
CN113965563B (zh) 基于模型的业务处理方法及装置、服务器
CN114021052A (zh) 一种推理服务方法、设备及系统
CN113703982A (zh) 使用kafka的数据消费方法、装置、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination