CN105933131A - 多媒体任务处理方法及装置 - Google Patents

多媒体任务处理方法及装置 Download PDF

Info

Publication number
CN105933131A
CN105933131A CN201610513678.9A CN201610513678A CN105933131A CN 105933131 A CN105933131 A CN 105933131A CN 201610513678 A CN201610513678 A CN 201610513678A CN 105933131 A CN105933131 A CN 105933131A
Authority
CN
China
Prior art keywords
subtask
circuit
proxy
mapping relations
fault type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610513678.9A
Other languages
English (en)
Other versions
CN105933131B (zh
Inventor
程海员
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610513678.9A priority Critical patent/CN105933131B/zh
Publication of CN105933131A publication Critical patent/CN105933131A/zh
Application granted granted Critical
Publication of CN105933131B publication Critical patent/CN105933131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/185Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with management of multicast group membership
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种多媒体任务处理方法及装置,所述方法包括:当检测到proxy入口点的数据库出现故障后,判断该故障的故障类型,并从proxy入口点的本地缓存中查找是否已存有该故障类型;如果未存有故障类型,向所有生产线路发送广播查询请求;根据接收到的多媒体任务反馈结果确定失败生产线路以及正常生产线路,并确定子任务与生产线路的映射关系;根据子映射关系,将失败子任务的处理信息,广播到其它proxy节点,使其它proxy节点对该失败子任务的处理信息进行复制;通知其它proxy节点下的生产线路对失败子任务进行生产。本实施例可在proxy入口点的数据库出现故障时,保证多媒体任务的稳定运行,提高proxy的高可用性。

Description

多媒体任务处理方法及装置
技术领域
本发明涉及数据处理技术领域,特别是涉及一种多媒体任务处理方法及装置。
背景技术
现有技术中,在对多媒体任务进行处理时,通常会将该多媒体任务分成多个子任务进行处理。例如,视频任务通常包括转码、审核、分发和封面图等多个子任务。用户终端在需要进行某一个多媒体任务时,需要通过proxy(代理服务器)连接到网络服务器,网络服务器对该多媒体任务进行处理后通过proxy反馈给用户终端。
具体地,proxy上会带有proxy入口点,一个proxy入口点连接多个proxy节点,每个proxy节点连接多个子任务的外部接口,每个子任务的外部接口与一个网络服务器连接,每个子任务的外部接口与对应的网络服务器之间为一条生产线路。因此,一个proxy入口点通常会映射多条生产线路,在进行某一个多媒体任务时,proxy将该任务分成多个子任务,并分配给多条生产线路,各生产线路对各子任务进行同步或异步的处理后,再原路返回,通过proxy入口点反馈给用户终端。由上述可知,proxy入口点是子任务的外部接口的唯一接口,子任务的分发和处理将严重依赖proxy入口点的数据。
现有技术中,proxy入口点的数据库经常会出现故障。虽然整个网络系统带有自我调节能力,proxy入口点的数据库出现故障一定时间后,会自动修复,但在数据库出现故障的时间段内,进行多媒体任务的某一个或几个生产线路可能会出现数据访问失败的现象,这将导致生产线路对应的子任务的生产失败,最终导致整个多媒体任务的生产失败。
发明内容
本发明实施例提供了一种多媒体任务处理方法及装置,在proxy入口点的数据库出现故障时,以保证多媒体任务的稳定运行。
为达到上述目的,本发明实施例提供了一种多媒体任务处理方法,所述方法包括:
A1、当检测到proxy入口点的数据库出现故障后,判断该故障的故障类型,并从proxy入口点的本地缓存中查找是否已存有该故障类型;
A2、如果所述proxy入口点的本地缓存中未存有所述故障类型,向所述proxy入口点映射的所有生产线路发送广播查询请求;
A3、根据接收到的已查询生产线路对广播查询请求的多媒体任务反馈结果确定失败生产线路以及正常生产线路,并确定子任务与生产线路的映射关系;
A4、根据子任务与生产线路的映射关系,将失败子任务的处理信息,从其所在失败生产线路对应的proxy节点广播到其它proxy节点,使所述其它proxy节点对该失败子任务的处理信息进行复制;
A5、通知所述其它proxy节点下的生产线路,根据复制的所述失败子任务的处理信息对失败子任务进行生产。
较优地,所述多媒体任务反馈结果包括子任务文件ID信息,所述步骤A3包括:
如果接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为失败生产线路,如果未接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为正常生产线路;
根据所述多媒体任务反馈结果中的子任务文件ID信息确定对应的子任务,并建立子任务与所述多媒体任务反馈结果对应的生产线路的映射关系。
较优地,所述方法还包括:
将所述故障类型及其对应的子任务与生产线路的映射关系缓存到proxy入口点的本地缓存中;
在所述步骤A1之后,所述方法还包括:
如果所述proxy入口点的本地缓存中已存有所述故障类型,根据proxy入口点的本地缓存中已存有所述故障类型,获取与该故障类型对应的子任务与生产线路的映射关系。
较优地,在所述步骤A3之后,所述方法还包括:
停止发送广播查询请求,并且停止接收多媒体任务反馈结果。
较优地,在所述步骤A1之前,所述方法还包括:
根据带权重的负载均衡round robin算法,对多个生产线路进行子任务分配。
本发明实施例还提供了一种多媒体任务处理装置,所述装置包括:
故障类型判断模块,用于当检测到proxy入口点的数据库出现故障后,判断该故障的故障类型,并从proxy入口点的本地缓存中查找是否已存有该故障类型;
广播查询请求发送模块,用于如果所述proxy入口点的本地缓存中未存有所述故障类型,向所述proxy入口点映射的所有生产线路发送广播查询请求;
映射关系确定模块,用于根据接收到的已查询生产线路对广播查询请求的多媒体任务反馈结果确定失败生产线路以及正常生产线路,并确定子任务与生产线路的映射关系;
信息复制模块,用于根据子任务与生产线路的映射关系,将失败子任务的处理信息,从其所在失败生产线路对应的proxy节点广播到其它proxy节点,使所述其它proxy节点对该失败子任务的处理信息进行复制;
子任务生产模块,用于通知所述其它proxy节点下的生产线路,根据复制的所述失败子任务的处理信息对失败子任务进行生产。
较优地,所述多媒体任务反馈结果包括子任务文件ID信息,所述映射关系确定模块,包括:
生产线路判断单元,用于如果接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为失败生产线路,如果未接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为正常生产线路;
映射关系建立单元,用于根据所述多媒体任务反馈结果中的子任务文件ID信息确定对应的子任务,并建立子任务与所述多媒体任务反馈结果对应的生产线路的映射关系。
较优地,所述装置还包括:
缓存模块,用于将所述故障类型及其对应的子任务与生产线路的映射关系缓存到proxy入口点的本地缓存中;
映射关系获取模块,用于如果所述proxy入口点的本地缓存中已存有所述故障类型,根据proxy入口点的本地缓存中已存有所述故障类型,获取与该故障类型对应的子任务与生产线路的映射关系。
较优地,所述装置还包括:
广播查询请求关闭模块,用于停止发送广播查询请求,并且停止接收多媒体任务反馈结果。
较优地,所述装置还包括:
子任务分配模块,用于根据带权重的负载均衡round robin算法,对多个生产线路进行子任务分配。
本发明实施例提供的多媒体任务处理方法及装置,通过利用广播查询机制,找到子任务与生产线路映射关系,并根据该映射关系,将失败子任务从失败生产线路广播到正常生产线路上,使其对失败子任务进行再次生产。该方法可在proxy入口点的数据库出现故障时,保证多媒体任务的稳定运行,提高proxy的高可用性。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多媒体任务处理方法的流程图;
图2为本发明实施例提供的多媒体任务处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,为本发明实施例提供的多媒体任务处理方法的流程图,该方法可应用于proxy中的控制器,其原理为:在proxy入口点的数据库出现故障后,利用广播查询机制快速找出生产线路的映射关系,并根据本地缓存机制,利用正常生产线路复制并继续生产失败的多媒体任务,以保证多媒体任务的稳定运行。
所述方法包括:
S110)当检测到proxy入口点的数据库出现故障后,判断该故障的故障类型,并从proxy入口点的本地缓存中查找是否已存有该故障类型。
在本实施例中,多媒体任务可以为视频任务、音频任务和图像任务等。
具体地,以视频任务为例,在proxy进行视频任务时,proxy会将该视频任务分成转码、审核、分发和封面图等多个子任务。当这些子任务中的某一个或多个子任务出现无法继续运行的情况时,proxy中的控制器会主动检测proxy入口点的数据库是否出现故障。
当检测到proxy入口点的数据库出现故障后,控制器会主动判断该故障的故障类型。现有的故障类型的种类并不是很多,如由于木马攻击导致的故障、由于系统中某处发生断电导致的故障、由于防火墙开启导致的故障或由于网络掉线发生的故障等等。每一种故障会对应一个故障代码,如由于木马攻击导致的故障的故障代码为0001或由于防火墙开启导致的故障的故障代码为0002等。
当控制器获知proxy入口点的数据库出现故障的故障代码后,会从proxy入口点的本地缓存中查找是否已存有该故障代码。
值得注意的是,proxy入口点的本地缓存中保存有各种故障类型、以及视频文件ID、与各种故障类型相对应的生产线路映射关系、视频任务的生产地区信息和生产线路入口信息等必要的路由信息,以便于后续从本地缓存直接调用。
其中,视频文件ID为视频文件的标识号码;视频任务的生产地区信息为生产过程中配置的视频任务的生产地区,例如北京、上海等等;为了保证每个地区每条产线的高可用性,需要使用nginx服务器来维持这种高可用性,生产线路入口信息即为nginx服务器的配置,nginx服务器可通过keepalive实现。
S120)如果所述proxy入口点的本地缓存中未存有所述故障类型,向所述proxy入口点映射的所有生产线路发送广播查询请求。
具体地,所谓广播查询即不管接收方是否同意,发起方都会将接收方发送一个广播(如发送消息或指令等),接收方可以选择回复或不回复该发送方的广播。
具体地,如果proxy入口点的本地缓存中已经存储了此时对应的故障类型,则说明该故障为旧故障;如果proxy入口点的本地缓存中没有存储该故障类型,则说明该故障为新故障。
在本实施例中,对于新故障,控制器需要向proxy入口点映射的所有生产线路依次发送广播查询请求,以查询所有生产线路处于的正常或失败状态。
S130)根据接收到的已查询生产线路对广播查询请求的多媒体任务反馈结果确定失败生产线路以及正常生产线路,并确定子任务与生产线路的映射关系。
生产线路中包含运行视频子任务的生产线路和无任务的生产线路,失败生产线路由正在运行视频子任务的生产线路以及与这些生产线路处于同一个proxy节点的其它生产线路组成,正常生产线路为proxy下所有生产线路中除了失败生产线路以外其它的生产线路。定义正常状态下的生产线路为正常生产线路,定义失败状态的生产线路为失败生产线路。
具体地,控制器向所有生产线路发现广播查询请求后,各生产线路会根据该请求返回给控制器一个多媒体任务反馈结果,控制器根据该反馈结果判断对应该生产线路处于正常或失败状态,进而确定所有生产线路中的失败生产线路以及正常生产线路。同时,根据某个多媒体反馈结果中的信息(如视频文件ID信息、视频文件大小信息、视频文件格式、存储位置,反显信息,用户级别以及任务的进度信息等)确定对应的子任务,并进一步确定该子任务与对应生产线路的映射关系。
S140)根据子任务与生产线路的映射关系,将失败子任务的处理信息,从其所在失败生产线路对应的proxy节点广播到其它proxy节点,使所述其它proxy节点对该失败子任务的处理信息进行复制。
本实施例中,由于proxy自身支持横向扩展,各proxy节点之间可以实现映射同步。举例而言,假设proxy中包含有两个proxy节点,每个proxy节点对应两条生产线路。其中,第一个proxy节点中的第一条生产线路运行转码子任务的时候中断,第一个proxy节点中的第二条生产线路运行审核子任务的时候中断。控制器将第一个proxy下的两条生产线路上的子任务广播到第二个proxy节点上,由该节点下的两条正常生产线路分别对转码和审核这两个失败子任务的处理信息进行复制。
优选地,proxy也可以存在多个proxy节点,可实现多个proxy节点之间的同步。
具体地,失败子任务的处理信息中包含有失败子任务的任务信息和任务进度信息。任务信息中包含对应子任务的原文件数据信息、文件ID信息等,子任务进度信息为对应子任务数据处理失败时刻的处理进度。
S150)通知所述其它proxy节点下的生产线路,根据复制的失败子任务的处理信息对失败子任务进行生产。
具体地,当控制器检测到某一个或多个其它proxy节点完成失败子任务的处理信息的复制后,通知已经完成复制的proxy节点,使其映射下的正常生产线路,根据该失败子任务的处理信息中的任务信息和任务进度信息,从该失败子任务的进度处,再次进行生产,直到完成该子任务。
进一步地,当proxy数据库回复之后,控制器将完成视频任务回写到proxy数据库中,并将子任务写入冗余表,以便用户查看,之后停止发送广播查询请求。
本发明实施例提供的多媒体任务处理方法,通过利用广播查询机制,找到子任务与生产线路映射关系,并根据该映射关系,将失败子任务从失败生产线路广播到正常生产线路上,使其对失败子任务进行再次生产。该方法可在proxy入口点的数据库出现故障时,保证多媒体任务的稳定运行,提高proxy的高可用性。
实施例二
作为上述实施例一的优选方案,与实施例一的不同之处为:
所述步骤S130可包括如下细化步骤:
A1)如果接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为失败生产线路,如果未接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为正常生产线路。
本实施例中,为了便于确定生产线路的状态,控制器可根据生产线路是否返回多媒体反馈结果进行判断。具体地,如果生产线路为失败生产线路,则对于失败的多媒体任务,会返回多媒体任务反馈结果;如果生产线路为正常生产线路,则对多媒体任务进行正常的生产,不会返回多媒体任务反馈结果。
A2)根据所述多媒体任务反馈结果中的子任务文件ID信息确定对应的子任务,并建立子任务与所述多媒体任务反馈结果对应的生产线路的映射关系。
具体地,子任务文件ID是子任务的标识信息,即每个子任务对应一个子任务文件ID。例如,转码的子任务文件ID可以为G003,审核的子任务文件ID可以为G004。如果反馈结果中的子任务文件ID信息为G003,则可以确定该子任务为转码;如果反馈结果中的子任务文件ID信息为G004,则可以确定该子任务为审核。
举例而言,假设存在2条失败生产线路,如果第一条生产线路返回的多媒体任务反馈结果中的子任务文件ID为转码的子任务文件ID,则可以确定第一条生产线路运行的子任务为转码;如果第二条生产线路返回的多媒体任务反馈结果中的子任务文件ID为审核的子任务文件ID,则可以确定第二条生产线路运行的子任务为审核。
本实施例提供的多媒体任务处理方法,在上述实施例一所述方法的基础上,根据生产线路是否返回多媒体任务反馈结果,可快速判断生产线路的状态;根据多媒体任务反馈结果中的子任务文件ID信息,可准确建立子任务与生产线路的映射关系。
实施例三
作为上述实施例一的优选方案,与实施例一的不同之处为:
所述方法还包括:
将所述故障类型及其对应的子任务与生产线路的映射关系缓存到proxy入口点的本地缓存中。
具体地,当判断proxy入口点的数据库故障为新故障后,控制器向所有生产线路发送广播查询请求,失败生产线路会返回多媒体任务反馈结果,根据该多媒体任务反馈结果获知对应的子任务与生产线路映射关系,控制器将该多媒体任务反馈结果缓存到proxy入口点的本地缓存中,以作为旧故障;同时,定义将该故障的故障类型(如故障代码为1000),将该故障类型以及该故障类型相对应的子任务与生产线路映射关系一并缓存到本地缓存中,以便于后续从本地缓存直接调用。
在所述步骤S110之后,所述方法还包括:
如果所述proxy入口点的本地缓存中已存有所述故障类型,根据proxy入口点的本地缓存中已存有所述故障类型,获取与该故障类型对应的子任务与生产线路的映射关系。
具体地,proxy入口点的数据库出现故障后,确定该故障的故障代码,并从proxy入口点的本地缓存中查找是否存有该故障代码,如果所述proxy入口点的本地缓存中已存有该故障代码,说明该故障为旧故障,且proxy入口点的本地缓存中已经保存了相应故障代码对应的子任务与生产线路的映射关系。此时,控制器直接从proxy入口点的本地缓存中获取与该故障代码对应的子任务与生产线路的映射关系。
根据子任务与生产线路的映射关系,控制器将失败子任务的处理信息,从其所在失败生产线路对应的proxy节点广播到其它proxy节点,使其它proxy节点对该失败的子任务处理信息进行复制;之后,控制器通知已完成复制的proxy节点下的正常生产线路,从失败子任务的进度处,再次进行生产,直到完成该子任务。
本实施例提供的多媒体任务处理方法,在实施例一所述方法的基础上,通过将新故障缓存到proxy入口点的本地缓存,以为后续再次出现该故障时,直接从proxy入口点的本地缓存中调用该故障类型对应的子任务与生产线路的映射关系,无需再启动广播查询机制,既节省了时间和资源,又提高了数据访问速度,进一步提高了proxy的高可用性。
实施例四
作为上述实施例一或二的优选方案,与实施例一或二的不同之处为:
在所述步骤S130之后,所述方法还包括:
停止发送广播查询请求,并且停止接收多媒体任务反馈结果。
具体地,控制器在检测到proxy入口点的数据库的故障为新故障后,会发送广播查询请求,轮询所有生产线路。实际上,在广播查询请求在发出后,生产线路返回的多媒体任务反馈结果是需要一定时间的,而且失败生产线路能否真正返回多媒体任务反馈结果也不确定。因此,控制器经常会发出多次广播查询请求,轮询多次生产线路,以保证每条失败生产线路都能够返回多媒体任务反馈结果,从而准确确定子任务与生产线路的映射关系。
但是,多次轮询生产线路存在一个问题,即会产生大量多余的广播查询请求,以及大量多余的多媒体任务反馈结果。因此,控制器在建立完成子任务与生产线路之间的映射关系后,停止发送广播查询请求,并且停止接收多媒体任务反馈结果,以节省资源和时间,提高数据访问速度。
实施例五
作为上述实施例一的优选方案,与实施例一的不同之处为:
在所述步骤S110之前,所述方法还包括:
根据带权重的负载均衡round robin算法,对多个生产线路进行子任务分配。
具体地,现有的round robin算法是一种较为均匀的子任务分配方法。例如,假设视频任务分为5个子任务,proxy下有5个proxy节点,且每个proxy节点下存在多条生产线路,现有的round robin算法会将这5个子任务均匀分配给5个proxy节点下的生产线路。
采用现有的round robin算法分配子任务时存在一个问题,即控制器发送广播查询请求时,需要轮询所有proxy节点下的所有生产线路,广播查询请求命中率较低,因此浪费了大量的广播查询请求。本实施例采用带权重的round robin算法,将子任务尽量分配给5个proxy节点中的第一个proxy节点下的前5个生产线路,当控制器发送广播查询请求时,轮询前几条生产线路后,这几条生产线路就有可能返回多媒体反馈结果,广播查询请求命中率高,节省了信息资源,提高了广播查询的效率。
优选地,控制器在发送广播查询请求时,也可采用带权重的round robin算法,对最有可能运行子任务的生产线路(如5个proxy节点中第一个proxy节点下的前5个生产线路)发送广播查询请求,可进一步提高广播查询的命中率,提高了广播查询的效率。
实施例六
如图2所示,为本发明实施例提供的多媒体任务处理装置的结构示意图,该装置用于执行图1所示的方法,所述装置包括:故障类型判断模块210、广播查询请求发送模块220、映射关系确定模块230、信息复制模块240和子任务生产模块250。
故障类型判断模块210,用于当检测到proxy入口点的数据库出现故障后,判断该故障的故障类型,并从proxy入口点的本地缓存中查找是否已存有该故障类型;
广播查询请求发送模块220,连接故障类型判断模块210,用于如果所述proxy入口点的本地缓存中未存有所述故障类型,向所述proxy入口点映射的所有生产线路发送广播查询请求;
映射关系确定模块230,连接广播查询请求发送模块220,用于根据接收到的已查询生产线路对广播查询请求的多媒体任务反馈结果确定失败生产线路以及正常生产线路,并确定子任务与生产线路的映射关系;
信息复制模块240,连接映射关系确定模块230,用于根据子任务与生产线路的映射关系,将失败子任务的处理信息,从其所在失败生产线路对应的proxy节点广播到其它proxy节点,使所述其它proxy节点对该失败子任务的处理信息进行复制;
子任务生产模块250,连接信息复制模块240,用于通知所述其它proxy节点下的生产线路,根据复制的所述失败子任务的处理信息对失败子任务进行生产。
本发明实施例提供的多媒体任务处理装置,通过利用广播查询机制,找到子任务与生产线路映射关系,并根据该映射关系,将失败子任务从失败生产线路广播到正常生产线路上,使其对失败子任务进行再次生产。该方法可在proxy入口点的数据库出现故障时,保证多媒体任务的稳定运行,提高proxy的高可用性。
实施例七
作为上述实施例六的优选方案,与实施例六的不同之处为:
所述多媒体任务反馈结果包括子任务文件ID信息,所述映射关系确定模块230包括:生产线路判断单元和映射关系建立单元(图中未示出)。
生产线路判断单元,用于如果接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为失败生产线路,如果未接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为正常生产线路;
映射关系建立单元,连接生产线路判断单元,用于根据所述多媒体任务反馈结果中的子任务文件ID信息确定对应的子任务,并建立子任务与所述多媒体任务反馈结果对应的生产线路的映射关系。
本实施例提供的多媒体任务处理装置,在上述实施例六所述装置的基础上,根据生产线路是否返回多媒体任务反馈结果,可快速判断生产线路的状态;根据多媒体任务反馈结果中的子任务文件ID信息,可准确建立子任务与生产线路的映射关系。
实施例八
作为上述实施例六的优选方案,与实施例六的不同之处为:
所述装置还包括:缓存模块和映射关系获取模块(图中未示出)。
缓存模块,用于将所述故障类型及其对应的子任务与生产线路的映射关系缓存到proxy入口点的本地缓存中;
映射关系获取模块,连接缓存模块,用于如果所述proxy入口点的本地缓存中已存有所述故障类型,根据proxy入口点的本地缓存中已存有所述故障类型,获取与该故障类型对应的子任务与生产线路的映射关系。
本实施例提供的多媒体任务处理装置,在实施例六所述装置的基础上,通过将新故障缓存到proxy入口点的本地缓存,以为后续再次出现该故障时,直接从proxy入口点的本地缓存中调用该故障类型对应的子任务与生产线路的映射关系,无需再启动广播查询机制,既节省了时间和资源,又提高了数据访问速度,进一步提高了proxy的高可用性。
实施例九
作为上述实施例六或七的优选方案,与实施例六或七的不同之处为:
所述装置还包括:
广播查询请求关闭模块(图中未示出),用于停止发送广播查询请求,并且停止接收多媒体任务反馈结果。
本实施例提供的多媒体任务处理装置,在实施例六所述装置的基础上,既节省资源和时间,又提高数据访问速度。
实施例十
作为上述实施例六的优选方案,与实施例六的不同之处为:
所述装置还包括:
子任务分配模块(图中未示出),用于根据带权重的负载均衡round robin算法,对多个生产线路进行子任务分配。
本发明实施例提供的多媒体任务处理装置,在实施例六所述装置的基础上,可提高广播查询的命中率和广播查询的效率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种多媒体任务处理方法,其特征在于,所述方法包括:
A1、当检测到proxy入口点的数据库出现故障后,判断该故障的故障类型,并从proxy入口点的本地缓存中查找是否已存有该故障类型;
A2、如果所述proxy入口点的本地缓存中未存有所述故障类型,向所述proxy入口点映射的所有生产线路发送广播查询请求;
A3、根据接收到的已查询生产线路对广播查询请求的多媒体任务反馈结果确定失败生产线路以及正常生产线路,并确定子任务与生产线路的映射关系;
A4、根据子任务与生产线路的映射关系,将失败子任务的处理信息,从其所在失败生产线路对应的proxy节点广播到其它proxy节点,使所述其它proxy节点对该失败子任务的处理信息进行复制;
A5、通知所述其它proxy节点下的生产线路,根据复制的所述失败子任务的处理信息对失败子任务进行生产。
2.根据权利要求1所述的方法,其特征在于,所述多媒体任务反馈结果包括子任务文件ID信息,所述步骤A3包括:
如果接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为失败生产线路,如果未接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为正常生产线路;
根据所述多媒体任务反馈结果中的子任务文件ID信息确定对应的子任务,并建立子任务与所述多媒体任务反馈结果对应的生产线路的映射关系。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述故障类型及其对应的子任务与生产线路的映射关系缓存到proxy入口点的本地缓存中;
在所述步骤A1之后,所述方法还包括:
如果所述proxy入口点的本地缓存中已存有所述故障类型,根据proxy入口点的本地缓存中已存有所述故障类型,获取与该故障类型对应的子任务与生产线路的映射关系。
4.根据权利要求1或2所述的方法,其特征在于,在所述步骤A3之后,所述方法还包括:
停止发送广播查询请求,并且停止接收多媒体任务反馈结果。
5.根据权利要求1所述的方法,其特征在于,在所述步骤A1之前,所述方法还包括:
根据带权重的负载均衡round robin算法,对多个生产线路进行子任务分配。
6.一种多媒体任务处理装置,其特征在于,所述装置包括:
故障类型判断模块,用于当检测到proxy入口点的数据库出现故障后,判断该故障的故障类型,并从proxy入口点的本地缓存中查找是否已存有该故障类型;
广播查询请求发送模块,用于如果所述proxy入口点的本地缓存中未存有所述故障类型,向所述proxy入口点映射的所有生产线路发送广播查询请求;
映射关系确定模块,用于根据接收到的已查询生产线路对广播查询请求的多媒体任务反馈结果确定失败生产线路以及正常生产线路,并确定子任务与生产线路的映射关系;
信息复制模块,用于根据子任务与生产线路的映射关系,将失败子任务的处理信息,从其所在失败生产线路对应的proxy节点广播到其它proxy节点,使所述其它proxy节点对该失败子任务的处理信息进行复制;
子任务生产模块,用于通知所述其它proxy节点下的生产线路,根据复制的所述失败子任务的处理信息对失败子任务进行生产。
7.根据权利要求6所述的装置,其特征在于,所述多媒体任务反馈结果包括子任务文件ID信息,所述映射关系确定模块,包括:
生产线路判断单元,用于如果接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为失败生产线路,如果未接收到生产线路返回的多媒体任务反馈结果,则判断该生产线路为正常生产线路;
映射关系建立单元,用于根据所述多媒体任务反馈结果中的子任务文件ID信息确定对应的子任务,并建立子任务与所述多媒体任务反馈结果对应的生产线路的映射关系。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
缓存模块,用于将所述故障类型及其对应的子任务与生产线路的映射关系缓存到proxy入口点的本地缓存中;
映射关系获取模块,用于如果所述proxy入口点的本地缓存中已存有所述故障类型,根据proxy入口点的本地缓存中已存有所述故障类型,获取与该故障类型对应的子任务与生产线路的映射关系。
9.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
广播查询请求关闭模块,用于停止发送广播查询请求,并且停止接收多媒体任务反馈结果。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
子任务分配模块,用于根据带权重的负载均衡round robin算法,对多个生产线路进行子任务分配。
CN201610513678.9A 2016-06-30 2016-06-30 多媒体任务处理方法及装置 Active CN105933131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610513678.9A CN105933131B (zh) 2016-06-30 2016-06-30 多媒体任务处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610513678.9A CN105933131B (zh) 2016-06-30 2016-06-30 多媒体任务处理方法及装置

Publications (2)

Publication Number Publication Date
CN105933131A true CN105933131A (zh) 2016-09-07
CN105933131B CN105933131B (zh) 2019-03-15

Family

ID=56830107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610513678.9A Active CN105933131B (zh) 2016-06-30 2016-06-30 多媒体任务处理方法及装置

Country Status (1)

Country Link
CN (1) CN105933131B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463427A (zh) * 2020-11-17 2021-03-09 中国建设银行股份有限公司 一种故障信息处理方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055799A (zh) * 2010-12-09 2011-05-11 北京云快线软件服务有限公司 内容刷新系统
CN103780640A (zh) * 2012-10-18 2014-05-07 中国科学院声学研究所 一种多媒体云计算仿真方法
CN104199912A (zh) * 2014-08-28 2014-12-10 无锡天脉聚源传媒科技有限公司 一种任务处理的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055799A (zh) * 2010-12-09 2011-05-11 北京云快线软件服务有限公司 内容刷新系统
CN103780640A (zh) * 2012-10-18 2014-05-07 中国科学院声学研究所 一种多媒体云计算仿真方法
CN104199912A (zh) * 2014-08-28 2014-12-10 无锡天脉聚源传媒科技有限公司 一种任务处理的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463427A (zh) * 2020-11-17 2021-03-09 中国建设银行股份有限公司 一种故障信息处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN105933131B (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
US11018980B2 (en) Data-interoperability-oriented trusted processing method and system
US7890460B2 (en) Method and apparatus for performing real-time update transactions between a database system and remote database clients
JP2008514067A (ja) ネットワークのノード間でデータ・コンポーネントをコピーする方法およびシステム
CN109729129A (zh) 存储集群的配置修改方法、存储集群及计算机系统
CN101888331B (zh) 用于提供单播分组的快速重新路由的方法和装置
CN114301972B (zh) 一种基于云边协同的区块链节点分级部署方法和系统
WO2010027394A1 (en) Method and system for message processing
CN112328421B (zh) 一种系统故障处理方法、装置、计算机设备和存储介质
CN101969468A (zh) 查询服务器集群系统及查询方法
CN108846745B (zh) 区块链交易处理辅助系统、区块链数据处理系统及方法
JP4459999B2 (ja) 投票を活用した無停止サービスシステム及びそのシステムにおける情報更新及び提供方法
CN105812161B (zh) 一种控制器故障备份方法和系统
CN105897507A (zh) 节点设备的状态检测方法和装置
CN111711526A (zh) 一种区块链节点的共识方法及系统
CN102025783A (zh) 集群系统及其消息处理方法和协议转发网关
CN106209411A (zh) 分布式网络系统容错方法、装置及容错式分布式网络系统
CN106790563A (zh) 分布式存储系统和方法
CN108282396B (zh) 一种im集群中的多级消息广播方法及系统
CN110012111B (zh) 一种数据服务集群系统及数据处理方法
CN105933131A (zh) 多媒体任务处理方法及装置
CN107395406B (zh) 在线系统的在线状态数据处理方法、装置及系统
CN104794026A (zh) 一种集群实例多数据源绑定的故障转移方法
CN113518126A (zh) 一种面向联盟链的交叉容错方法
CN104301240B (zh) 数据传输方法及系统
CN109144781B (zh) 一种提升基于区块链技术实现的应用系统单园区部署灾备能力的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant