CN113918298B - 多媒体数据的处理方法、系统及设备 - Google Patents

多媒体数据的处理方法、系统及设备 Download PDF

Info

Publication number
CN113918298B
CN113918298B CN202111188642.5A CN202111188642A CN113918298B CN 113918298 B CN113918298 B CN 113918298B CN 202111188642 A CN202111188642 A CN 202111188642A CN 113918298 B CN113918298 B CN 113918298B
Authority
CN
China
Prior art keywords
node
processing
manager
multimedia data
input manager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111188642.5A
Other languages
English (en)
Other versions
CN113918298A (zh
Inventor
王少飞
张清源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111188642.5A priority Critical patent/CN113918298B/zh
Publication of CN113918298A publication Critical patent/CN113918298A/zh
Priority to PCT/CN2022/118790 priority patent/WO2023061137A1/zh
Application granted granted Critical
Publication of CN113918298B publication Critical patent/CN113918298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开实施例提供一种多媒体数据的处理方法、系统及设备,涉及计算机处理技术领域。该方法包括:在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,第一处理任务中包括所述第一多媒体数据;调用第一处理节点执行第一处理任务,得到第二多媒体数据,第二多媒体数据是对第一处理任务中的第一多媒体数据处理得到的数据;将第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,第二输入管理器是与第一处理节点的第一输出管理器关联的输入管理器。本公开实施例可以通过处理任务和下游节点的输入管理器,实现正在处理的数据和待处理的数据之间的解耦合,实现了不暂停处理任务的情况下,更新处理系统的结构。

Description

多媒体数据的处理方法、系统及设备
技术领域
本公开实施例涉及计算机处理技术领域,尤其涉及一种多媒体数据的处理方法、系统及设备。
背景技术
随着电子设备的迅速发展,电子设备的功能日益强大,可以对多媒体数据进行处理。具体地,可以通过一个处理系统对多媒体数据进行处理。其中,该处理系统可以包括多个顺序排列的处理节点,以按照该顺序对多媒体数据进行处理。该处理可以包括:调整多媒体数据的播放速度、声道、频率等。
如何在上述处理系统进行数据处理的同时,对上述处理系统进行更新是亟待解决的问题。
发明内容
本公开实施例提供一种多媒体数据的处理方法、系统及设备,可以在上述处理系统进行数据处理的同时,对上述处理系统进行更新。
第一方面,本公开实施例提供一种多媒体数据的处理方法,应用于所述多媒体数据的处理系统中,所述处理系统包括顺序排列的至少两个处理节点,每个所述处理节点对应有输入管理器和输出管理器,相邻两个所述处理节点分别为上游节点和下游节点,所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系,所述上游节点为所述下游节点生成多媒体数据,所述方法包括:
在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,所述第一处理任务中包括所述第一多媒体数据;
调用所述第一处理节点执行所述第一处理任务,得到第二多媒体数据,所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据;
将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
第二方面,本公开实施例提供一种多媒体数据的处理装置,应用于所述多媒体数据的处理系统中,所述处理系统包括顺序排列的至少两个处理节点,每个所述处理节点对应有输入管理器和输出管理器,相邻两个所述处理节点分别为上游节点和下游节点,所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系,所述上游节点为所述下游节点生成多媒体数据,所述装置包括:
第一处理任务生成模块,用于在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,所述第一处理任务中包括所述第一多媒体数据;
第一处理任务执行模块,用于调用所述第一处理节点执行所述第一处理任务,得到第二多媒体数据,所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据;
第二数据写入模块,用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
第三方面,本公开实施例提供一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述电子设备实现如第一方面所述的方法。
第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,使计算设备实现如第一方面所述的方法。
第五方面,本公开实施例提供一种计算机程序,所述计算机程序用于实现如第一方面所述的方法。
本公开实施例提供了一种多媒体数据的处理方法、系统及设备,该方法包括:在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,第一处理任务中包括所述第一多媒体数据;调用第一处理节点执行第一处理任务,得到第二多媒体数据,第二多媒体数据是对第一处理任务中的第一多媒体数据处理得到的数据;将第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,第二输入管理器是与第一处理节点的第一输出管理器关联的输入管理器。本公开实施例可以通过处理任务和下游节点的输入管理器,实现正在处理的数据和待处理的数据之间的解耦合,实现了不暂停处理任务的情况下,更新处理系统的结构。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术提供的多媒体数据的处理系统的一种结构示意图;
图2是本公开实施例提供的向图1所示的处理系统添加处理节点之后的处理系统结构示意图;
图3是本公开实施例提供的从图2所示的处理系统中删除处理节点之后的处理系统结构示意图;
图4是本公开实施例提供的多媒体数据的处理系统的一种结构示意图;
图5是本公开实施例提供的一种多媒体数据的处理方法的步骤流程图;
图6是本公开实施例提供的处理任务的一种结构示意图;
图7是本公开实施例提供的对处理任务的调度过程示意图;
图8是本公开实施例提供的一种添加第四处理节点之后的处理系统结构示意图;
图9是为本公开实施例提供的一种多媒体数据的处理装置的结构框图;
图10、图11是为本公开实施例提供的两种电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开实施例可以应用于多媒体数据的处理系统中。数据处理系统可以包括顺序排列的多个处理节点,处理节点的数量可以根据实际应用场景设定。,每个处理节点用于对多媒体数据进行处理,不同处理节点的处理逻辑可以相同,也可以不同。相邻两个处理节点可以称为上游节点和下游节点,上游节点输出的多媒体数据是下游节点输入的多媒体数据,也就是说,上游节点对多媒体数据处理之后,再由下游节点对其进行处理。
图1是现有技术提供的多媒体数据的处理系统的一种结构示意图。参照图1所示,处理系统包括顺序排列的五个处理节点:ND1至ND5。其中,ND1是ND2的上游节点,ND2是ND1的下游节点,依次类推。从而,ND1对输入到处理系统的多媒体数据D1进行处理得到多媒体数据D2,ND1输出的多媒体数据D2输入到ND2中进行处理得到多媒体数据D3,ND2输出的多媒体数据D3输入到ND3中进行处理得到多媒体数据D4,ND3输出的多媒体数据D4输入到ND4中进行处理得到多媒体数据D5,ND4输出的多媒体数据D5输入到ND5中进行多媒体处理得到数据D6。如此,相当于将D1通过处理系统处理得到D6。
上述每个处理节点可以是开源多媒体处理框架提供的多媒体处理器,其中,开源多媒体处理框架可以例如为Ffmpeg、Gstreamer。当开源多媒体处理框架为Ffmpeg时,多媒体处理器可以是Ffmpeg提供的avfilter。
上述每个处理节点的功能可以不同。当上述ND1用于拉取视频流,ND2用于进行视频解码,ND3用于进行图像锐化,ND4用于合流布局,ND5用于解码时。
上述处理系统的结构可以变更,包括:向处理系统中添加节点、从处理系统中删除节点。
图2是本公开实施例提供的向图1所示的处理系统添加处理节点之后的处理系统结构示意图。参照图2所示,添加的处理节点包括ND6和ND7。ND6的上游节点为ND1,ND6的下游节点为ND7,ND7的下游节点为ND4。如此,ND6和ND7构成了一条新的处理线。新增的ND6和ND7的功能可以不同于图1中的各个处理节点的功能,也可以与图1中的部分节点的功能相同。例如,ND6用于进行解码,ND7用于进行图像分割。
图3是本公开实施例提供的从图2所示的处理系统中删除处理节点之后的处理系统结构示意图。参照图2和图3所示,被删除的处理节点包括:ND2和ND3。
现有技术中,相邻两个处理节点之间共用数据队列。也就是说,上游节点向该数据队列中写入数据的同时,下游节点从该数据队列中取数据。在这种情况下,下游节点待处理的数据和正在处理的数据是不区分的,均在该数据队列中。从而,为了保证下游处理节点的处理过程不报错,在更新处理系统的结构之前,需要暂停上述处理系统中的各个处理节点的处理过程。在更新处理系统的结构之后,继续执行处理系统中的各个处理节点的处理过程。
可以看出,上述方案需要暂停处理系统,降低了处理系统的处理效率。
为了解决上述技术问题,本公开实施例可以在不需要暂停处理系统的前提下,更新处理系统的结构。考虑到需要暂停处理系统的原因是下游节点待处理的数据和正在处理的数据不区分,本公开实施例可以通过处理任务和下游节点的输入管理器,实现正在处理的数据和待处理的数据之间的解耦合。其中,处理任务中包括下游节点正在处理的数据,下游节点的输入管理器中包括下游节点待处理的数据。如此,更新处理系统的结构,不会影响处理任务的执行,从而实现了不暂停处理任务的情况下,更新处理系统的结构,提高了处理系统的处理效率。
下面以具体地实施例对本公开实施例的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开实施例进行描述。
与图1所示的处理系统相同,本公开实施例提供的处理系统也包括顺序排列的至少两个处理节点。但区别在于,本公开实施例中的每个处理节点对应有输入管理器和输出管理器,相邻两个处理节点分别为上游节点和下游节点,上游节点的输出管理器和下游节点的输入管理器具有关联关系,上游节点为下游节点生成多媒体数据。
图4是本公开实施例提供的多媒体数据的处理系统的一种结构示意图。参照图4所示,处理系统包括顺序排列的三个处理节点ND1至ND3。
其中,ND1和ND2为两个相邻处理节点,ND1是ND2的上游节点,ND2是ND1的下游节点。ND1的输出管理器OM1和ND2的输入管理器IM2具有关联关系。
ND2和ND3为两个相邻处理节点,ND2是ND3的上游节点,ND3是ND2的下游节点。ND2的输出管理器OM2和ND3的输入管理器IM3具有关联关系。
可以看出,第一个处理节点ND1的输入管理器IM1没有相关联的输出管理器。第一个处理节点通常可以为接收数据的节点,第一个处理节点可以按照时间周期启动,例如,每隔1分钟启动一次。
此外,最后一个处理节点ND3的输出管理器OM3没有相关联的输入管理器。最后一个处理节点通常没有输出数据,其通常用于将数据进行存储。
上述输入管理器用于存储处理节点的输入数据,输出管理器用于指示处理节点的输出数据输入到哪个输入管理器中,也就是用于指定该处理节点的下游节点。
图5是本公开实施例提供的一种多媒体数据的处理方法的步骤流程图。图5所示的方法可以应用在电子设备中,该电子设备可以理解为上述处理系统的调度器、或控制器、或引擎。参照图5所示,该多媒体数据的处理方法包括:
S101:在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,第一处理任务中包括所述第一多媒体数据。
其中,第一处理节点是上述图4所示的处理系统中的任一处理节点。第一输入管理器是第一处理节点的输入管理器,第一多媒体数据是第一处理节点待处理的多媒体数据,第一处理任务是第一处理节点的处理任务。一个处理节点可以对应一个或多个处理任务。
处理任务可以理解为一个存储任务信息的结构,其中可以包括以下至少一种信息:处理节点的标识信息、输入到处理节点的输入管理器中的多媒体数据、输出到处理节点的输出管理器中的多媒体数据、处理任务的生成时间。
图6是本公开实施例提供的处理任务的一种结构示意图。参照图6所示,输入队列中存储输入到处理节点的输入管理器中的多媒体数据,输出队列中存储输出到处理节点的输出管理器中的多媒体数据。
需要说明的是,在生成处理任务之后,输入队列中的多媒体数据可以理解为处理节点正在处理的多媒体数据,输出队列为空。在处理任务执行完成之后,输出队列中存储有多媒体数据。
S102:调用第一处理节点执行第一处理任务,得到第二多媒体数据,第二多媒体数据是对第一处理任务中的第一多媒体数据处理得到的数据。
其中,在第一处理任务执行完成时,第二多媒体数据存储于第一处理任务的输出队列中。
S103:将第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,第二输入管理器是与第一处理节点的第一输出管理器关联的输入管理器。
其中,第二处理节点是第一处理节点的下游节点。可以理解的是,一个第一处理节点可以对应有一个或多个下游节点。
在第一处理任务执行完成时,可以从第一处理任务的输出队列中提取出第二多媒体数据,并将第二多媒体数据写入到第二输入管理器中。
基于上述S101至S103的过程,图7是本公开实施例提供的对处理任务的调度过程示意图。
参照图7所示,对于第一个处理节点ND1,可以包括通过以下步骤进行调度:
S11:引擎从处理节点ND1的输入管理器IM1中取出多媒体数据D11。
S12:引擎根据D11生成ND1的处理任务TSK1,TSK1中包括D11、空的输出队列、ND1的标识信息、时间戳t1。
S13:引擎根据TSK1中的ND1的标识信息,调用ND1执行TSK1,得到的多媒体数据D12存储于TSK1中的输出队列中。
S14:在TSK1执行完成之后,引擎从TSK1的输出队列中取出D12。
S15:引擎根据TSK1中的ND1的标识信息,先确定ND1的输出管理器OM1,再确定与OM1关联的输入管理器IM2,并将D12写入到IM2中。
参照图7所示,对于第二个处理节点ND2,可以包括通过以下步骤进行调度:
S21:引擎从处理节点ND2的输入管理器IM2中取出多媒体数据D21。
S22:引擎根据D21生成ND2的处理任务TSK2,TSK2中包括D21、空的输出队列、ND2的标识信息、时间戳t2。
S23:引擎根据TSK2中的ND2的标识信息,调用ND2执行TSK2,得到的多媒体数据D22存储于TSK2中的输出队列中。
S24:在TSK2执行完成之后,引擎从TSK2的输出队列中取出D22。
S25:引擎根据TSK2中的ND2的标识信息,先确定ND2的输出管理器OM2,再确定与OM2关联的输入管理器IM3,并将D22写入到IM3中。
参照图7所示,对于第三个处理节点ND3,可以包括通过以下步骤进行调度:
S31:引擎从处理节点ND3的输入管理器IM3中取出多媒体数据D31。
S32:引擎根据D31生成ND3的处理任务TSK3,TSK2中包括D31、空的输出队列、ND3的标识信息、时间戳t3。
S33:引擎根据TSK3中的ND3的标识信息,调用ND3执行TSK3。
S34:引擎确定TSK3中的输出队列中不存在数据,代表ND3是最后一个处理节点。
需要说明的是,上述过程对于一个处理节点仅示出了一个处理任务。而在实际应用中,一个处理节点可以包括多个这样的处理任务,一个处理节点的不同处理任务中的处理节点的标识信息相同,但以下内容不同:输入队列中的多媒体数据、输出队列中的多媒体数据、时间戳。
基于上述处理系统,本公开实施例可以在不暂停处理系统的情况下,更新处理系统的结构。其中,更新处理系统的结构可以包括:删除第三处理节点、添加第四处理节点。第三处理节点是处理系统中待删除的任一处理节点。第四处理节点是待添加的任一处理节点。
下面详细说明从处理系统中删除第三处理节点的过程。
在本公开实施例中,删除第三处理节点的过程可以包括:首先,确定处理系统中待删除的第三处理节点、第三处理节点的第一相邻节点,第一相邻处理节点可以包括以下至少一种:第一上游节点、第一下游节点;然后,删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系,和/或,删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。
当第三处理节点为处理系统中的第一个处理节点时,第三处理节点存在第一下游节点,但不存在第一上游节点。此时,只需要删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。
当第三处理节点为处理系统中的最后一个处理节点时,第三处理节点存在第一上游节点,但不存在第一下游节点。此时,只需要删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
其中,第一上游节点是第三处理节点的上游节点,第一下游节点是第三处理节点的下游节点。
可以理解的是,处理系统中的节点是相互关联的,如果一个节点和其余节点不关联,则代表该处理节点被从处理系统中删除。从而本公开实施例可以通过删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系,以及删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系,实现删除第三处理节点的目的。
可以理解的是,当第三处理节点在处理系统中的位置不同时,删除第三处理节点之后处理系统的结构不同。
当第三处理节点是第一个处理节点或最后一个处理节点时,删除第三处理节点之后,处理系统中剩余的各个处理节点之间的关联关系未被破坏,通过上述关联关系仍构成一个完整的处理系统。此时,不需要对处理系统进行修复。
当第三处理节点是中间处理节点时,删除第三处理节点之后,第一上游节点和第一下游节点之间断开。此时,需要根据第一上游节点是否有下游节点,和/或,第一下游节点是否有上游节点,确定是否需要对处理系统进行修复。
当第一上游节点有下游节点,且,第一下游节点有上游节点时,不对处理系统进行修复。如图8所示,当ND4为第三处理节点时,删除ND4之后,第一上游节点ND1具有下游节点ND2,第一下游节点ND2具有上游节点ND1。此时,可以不对处理系统进行修复。
当第一上游节点没有下游节点,和/或,第一下游节点没有上游节点时,对处理系统进行修复,也就是建立第一上游节点的输出管理器和第一下游节点的输入管理器之间的关联关系。这样,可以保证整个处理系统的链路是通的。如果8所示,当ND2为第三处理节点时,删除ND2之后,第一上游节点ND1和ND4均没有下游节点,第一下游节点ND3没有上游节点。此时,可以建立第一上游节点ND1的输出管理器OM1和第一下游节点ND3之间的输入管理器IM3之间的关联关系,并且建立第一上游节点ND4和第一下游节点ND3的输入管理器IM3之间的关联关系。
当然,在删除上述两种关联关系之后,还可以释放第三处理节点,以节约第三处理节点占用的计算机资源。
在删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系之前,可以在第一上游节点的输出管理器中设置第一标记,第一标记用于指示第一上游节点的处理任务停止对第三处理节点的输入管理器生成多媒体数据。
具体地,当第一上游节点的输入管理器与至少两个下游节点的输入管理器相关联时,仅对第三处理节点的输入管理器设置第一标记,其余下游节点的输入管理器不设置第一标记。如此,仅停止为第三处理节点生成数据的处理任务,不停止对其余下游节点生成数据的处理任务。这样可以使第一上游节点不会继续为第三处理节点生成数据,再等待已生成的存储在第三处理节点的输入管理器中的数据被第三处理节点处理完,即可删除第一上游节点的输出管理器和第三处理节点的输入管理器之间的关联关系。
可选地,在删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系之前,需要判断是否满足第一预设条件。如果满足第一预设条件,则删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。如果不满足第一预设条件,则不删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
其中,上述第一预设条件可以包括以下至少一种:不存在目标处理任务、第三处理节点的输入管理器中不存在第四多媒体数据。目标处理任务是第一上游节点正在执行的处理任务,目标处理任务用于为第三处理节点的输入管理器生成多媒体数据。
上述第四多媒体数据是第三处理节点的输入管理器中的多媒体数据,也就是第三处理节点待处理的多媒体数据。
当第三处理节点为图4所示的处理系统中的ND2时,第一上游节点为ND1,第一下游节点为ND3。目标处理任务是ND1正在执行的,并且为ND2生成多媒体数据的处理任务。第三处理节点的输入管理器为IM2。
可以理解的是,第三处理节点的输入管理器中不存在第四多媒体数据,代表第三处理节点不存在待处理的多媒体数据。不存在目标处理任务代表不存在正在未第三处理节点生成待处理的多媒体数据的处理任务。在这种情况下,删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系,避免第四多媒体数据被丢弃和/或目标处理任务输出的多媒体数据被丢弃。进而避免多媒体数据在播放过程中缺失部分片段,有助于提高多媒体数据的播放平滑性。
当然,如果第三处理节点的输入管理器中存在第四多媒体数据时,首先,生成第二处理任务,第二处理任务中包括第四多媒体数据;然后,删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
可以理解的是,在生成第二处理任务时,第四多媒体数据被装载到第二处理任务中,第三处理节点的输入管理器中不再存储第四多媒体数据。此时,可以删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
需要说明的是,如果满足上述所有第一预设条件,则可以最大的保证多媒体数据的播放平滑性。
在生成第二处理任务之后,可以通过引擎调用第三处理节点执行第二处理任务,并在第二处理任务执行完成之后,释放第三处理节点占用的计算机资源。
相应地,在删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系之前,还需要判断是否满足第二预设条件。如果满足第二预设条件,则删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。如果不满足第二预设条件,则不删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。
其中,上述第二预设条件可以包括:第三处理节点的输入管理器中不存在多媒体数据,和/或不存在第三处理节点正在运行的处理任务。代表第三处理节点不会为第二下游节点生成多媒体数据,从而,可以避免第三处理节点的输入管理器中的多媒体数据被处理完之后,或正在运行的处理任务被执行完之后,得到的多媒体数据没有输入管理器可输入,而导致处理完的数据被丢弃。进而避免多媒体数据在播放过程中缺失部分片段,有助于提高多媒体数据的播放平滑性。
下面详细说明向处理系统中添加第四处理节点的过程。
在本公开实施例中,添加第四处理节点的过程可以包括:首先,确定待添加的第四处理节点、第四处理节点的第二相邻节点,第二相邻节点包括第二上游节点和/或第二下游节点,第二上游节点和第二下游节点是处理系统中已有的处理节点;然后,建立第二上游节点的输出管理器和第四处理节点的输入管理器之间的关联关系,和/或,建立第四处理节点的输出管理器和第二下游节点的输入管理器之间的关联关系。
其中,第四处理节点是待添加的具有任意功能的处理节点,第四处理节点被添加到现有的处理系统中的第二上游节点和第二下游节点之间。第二上游节点和第二下游节点可以是相邻的两个处理节点,也可以是不相邻的两个节处理节点。
基于图4所示的处理系统,图8是本公开实施例提供的一种添加第四处理节点之后的处理系统结构示意图。参照图8所示,ND4是第四处理节点,其第二上游节点为ND1,其第二下游节点为ND2。从而在添加ND4时,先建立第二上游节点ND1的输出管理器OM1和第四处理节点ND4的输入管理器IM4之间的关联关系,再建立第四处理节点ND4的输出管理器OM4和第二下游节点ND2的输入管理器IM2之间的关联关系。如此,实现了将第四处理节点ND4添加到图4所示的处理系统中ND1和ND2之间的目的,得到如图8所示的处理系统。
当然,在实际应用中,第四处理节点可以不存在第二上游节点或第二下游节点。
当第四处理节点被添加到图4所示的第一个处理节点ND1之前时,第四处理节点不存在第二上游节点,存在第二下游节点ND1。添加之后,第四处理节点是处理系统的新的第一个处理节点。
当第四处理节点被添加到图4所示的最后一个处理节点ND3之后时,第四处理节点不存在第二下游节点,存在第二上游节点ND3。添加之后,第四处理节点是处理系统的新的最后一个处理节点。
可以看出,在添加第四处理节点时,处理系统中已有的各处理节点都不需要停止运行,也就是其处理任务均可以继续执行。
对应于上文实施例的多媒体数据的处理方法,图9是本公开实施例提供的一种多媒体数据的处理装置的结构框图,应用于前述多媒体数据的处理系统中。为了便于说明,仅示出了与本公开实施例相关的部分。参照图9,上述多媒体数据的处理装置200包括:第一处理任务生成模块201、第一处理任务执行模块202和第二数据写入模块203。
其中,第一处理任务生成模块201,用于在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,所述第一处理任务中包括所述第一多媒体数据。
第一处理任务执行模块202,用于调用所述第一处理节点执行所述第一处理任务,得到第二多媒体数据,所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据。
第二数据写入模块203,用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
可选地,所述装置还包括:
第三节点确定模块,用于确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点,所述第一相邻节点包括:第一上游节点和/或第一下游节点。
关系删除模块,用于删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,和/或,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
可选地,所述装置还包括:
标记模块,用于在删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前,在所述第一上游节点的输出管理器中设置第一标记,所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
可选地,所述关系删除模块,还用于:
在不存在目标处理任务时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,所述目标处理任务是所述第一上游节点正在执行的处理任务,所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
可选地,关系删除模块,还用于:
在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
可选地,关系删除模块,还用于:
在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时,生成第二处理任务,所述第二处理任务中包括所述第四多媒体数据;删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
可选地,关系删除模块,还用于:
在所述第三处理节点的输入管理器中不存在多媒体数据,和/或不存在所述第三处理节点正在运行的处理任务时,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
可选地,当所述第三处理节点具有所述第一上游节点和所述第一下游节点时,还包括:
关系修复模块,用于在删除两种所述关联关系之后,若所述第一上游节点没有下游节点,和/或,所述第一下游节点没有上游节点,则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
可选地,所述装置还包括:
第四节点确定模块,用于确定待添加的第四处理节点、所述第四处理节点的第二相邻节点,所述第二相邻节点包括第二上游节点和/或第二下游节点,所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点。
关系建立模块,用于建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系,和/或,建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
可选地,每个所述处理节点的处理任务中包括以下至少一种信息:所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理任务的生成时间。
本实施例提供的多媒体数据的处理装置,可用于执行上述图5所示的方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
图10是本公开实施例提供的一种电子设备600的结构框图。该电子设备600包括存储器602和至少一个处理器601;
其中,存储器602存储计算机执行指令;
至少一个处理器601执行存储器602存储的计算机执行指令,使得电子设备601实现前述图5中的方法。
此外,该电子设备还可以包括接收器603和发送器604,接收器603用于接收从其余装置或设备的信息,并转发给处理器601,发送器604用于将信息发送到其余装置或设备。
进一步地,参考图11,其示出了适于用来实现本公开实施例的电子设备900的结构示意图,该电子设备900可以为终端设备。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑(Portable Android Device,简称PAD)、便携式多媒体播放器(Portable MediaPlayer,简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901,其可以根据存储在只读存储器(Read Only Memory,简称ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory,简称RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常,以下装置可以连接至I/O接口905:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906;包括例如液晶显示器(Liquid CrystalDisplay,简称LCD)、扬声器、振动器等的输出装置907;包括例如磁带、硬盘等的存储装置908;以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的电子设备900,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置909从网络上被下载和安装,或者从存储装置908被安装,或者从ROM902被安装。在该计算机程序被处理装置901执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network,简称LAN)或广域网(Wide Area Network,简称WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
在第一方面的第一种示例中,本公开实施例提供了一种多媒体数据的处理方法,应用于所述多媒体数据的处理系统中,所述处理系统包括顺序排列的至少两个处理节点,每个所述处理节点对应有输入管理器和输出管理器,相邻两个所述处理节点分别为上游节点和下游节点,所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系,所述上游节点为所述下游节点生成多媒体数据,所述方法包括:
在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,所述第一处理任务中包括所述第一多媒体数据;
调用所述第一处理节点执行所述第一处理任务,得到第二多媒体数据,所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据;
将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
基于第一方面的第一种示例,在第一方面的第二种示例中,所述方法还包括:确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点,所述第一相邻节点包括:第一上游节点和/或第一下游节点;删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,和/或,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第一方面的第二种示例,在第一方面的第三种示例中,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前,还包括:
在所述第一上游节点的输出管理器中设置第一标记,所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
基于第一方面的第二种示例,在第一方面的第四种示例中,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,包括:
在不存在目标处理任务时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,所述目标处理任务是所述第一上游节点正在执行的处理任务,所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
基于第一方面的第二种示例,在第一方面的第五种示例中,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,包括:
在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第一方面的第二种示例,在第一方面的第六种示例中,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,包括:
在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时,生成第二处理任务,所述第二处理任务中包括所述第四多媒体数据;删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第一方面的第二至第六任一种示例,在第一方面的第七种示例中,所述删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系,包括:
在所述第三处理节点的输入管理器中不存在多媒体数据,和/或不存在所述第三处理节点正在运行的处理任务时,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第一方面的第二至第六任一种示例,在第一方面的第八种示例中,当所述第三处理节点具有所述第一上游节点和所述第一下游节点时,还包括:
在删除两种所述关联关系之后,若所述第一上游节点没有下游节点,和/或,所述第一下游节点没有上游节点,则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第一方面的第一至第六任一种示例,在第一方面的第九种示例中,还包括:
确定待添加的第四处理节点、所述第四处理节点的第二相邻节点,所述第二相邻节点包括第二上游节点和/或第二下游节点,所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点;建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系,和/或,建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
基于第一方面的第一至第六任一种示例,在第一方面的第十种示例中,每个所述处理节点的处理任务中包括以下至少一种信息:所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理任务的生成时间。
在第二方面的第一种示例中,提供了一种多媒体数据的处理装置,应用于所述多媒体数据的处理系统中,所述处理系统包括顺序排列的至少两个处理节点,每个所述处理节点对应有输入管理器和输出管理器,相邻两个所述处理节点分别为上游节点和下游节点,所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系,所述上游节点为所述下游节点生成多媒体数据,所述装置包括:
第一处理任务生成模块,用于在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,所述第一处理任务中包括所述第一多媒体数据。
第一处理任务执行模块,用于调用所述第一处理节点执行所述第一处理任务,得到第二多媒体数据,所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据。
第二数据写入模块,用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
基于第二方面的第一种示例,在第二方面的第二种示例中,所述装置还包括:
第三节点确定模块,用于确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点,所述第一相邻节点包括:第一上游节点和/或第一下游节点。
关系删除模块,用于删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,和/或,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第二方面的第二种示例,在第二方面的第三种示例中,所述装置还包括:
标记模块,用于在删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前,在所述第一上游节点的输出管理器中设置第一标记,所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
基于第二方面的第二种示例,在第二方面的第四种示例中,所述关系删除模块,还用于:
在不存在目标处理任务时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,所述目标处理任务是所述第一上游节点正在执行的处理任务,所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
基于第二方面的第二种示例,在第二方面的第五种示例中,关系删除模块,还用于:
在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第二方面的第二种示例,在第二方面的第六种示例中,关系删除模块,还用于:
在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时,生成第二处理任务,所述第二处理任务中包括所述第四多媒体数据;删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第二方面的第二至第六任一种示例,在第二方面的第七种示例中,关系删除模块,还用于:
在所述第三处理节点的输入管理器中不存在多媒体数据,和/或不存在所述第三处理节点正在运行的处理任务时,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第二方面的第二至第六任一种示例,在第二方面的第八种示例中,当所述第三处理节点具有所述第一上游节点和所述第一下游节点时,还包括:
关系修复模块,用于在删除两种所述关联关系之后,若所述第一上游节点没有下游节点,和/或,所述第一下游节点没有上游节点,则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第二方面的第一至第六任一种示例,在第二方面的第九种示例中,所述装置还包括:
第四节点确定模块,用于确定待添加的第四处理节点、所述第四处理节点的第二相邻节点,所述第二相邻节点包括第二上游节点和/或第二下游节点,所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点。
关系建立模块,用于建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系,和/或,建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
基于第二方面的第一至第六任一种示例,在第二方面的第十种示例中,每个所述处理节点的处理任务中包括以下至少一种信息:所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理任务的生成时间。
第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述电子设备实现第一方面任一项所述的方法。
第四方面,根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,使计算设备实现第一方面任一项所述的方法。
第五方面,根据本公开的一个或多个实施例,提供了一种计算机程序,所述计算机程序用于实现第一方面任一项所述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种多媒体数据的处理方法,其特征在于,应用于所述多媒体数据的处理系统中,所述处理系统包括顺序排列的至少两个处理节点,每个所述处理节点对应有输入管理器和输出管理器,相邻两个所述处理节点分别为上游节点和下游节点,所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系,所述上游节点为所述下游节点生成多媒体数据,所述方法包括:
在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,所述第一处理任务中包括所述第一多媒体数据;
调用所述第一处理节点执行所述第一处理任务,得到第二多媒体数据,所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据;
将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点,所述第一相邻节点包括:第一上游节点和/或第一下游节点;
删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系;和/或,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
3.根据权利要求2所述的方法,其特征在于,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前,还包括:
在所述第一上游节点的输出管理器中设置第一标记,所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
4.根据权利要求2所述的方法,其特征在于,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,包括:
在不存在目标处理任务时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,所述目标处理任务是所述第一上游节点正在执行的处理任务,所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
5.根据权利要求2所述的方法,其特征在于,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,包括:
在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时,删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
6.根据权利要求2所述的方法,其特征在于,所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系,包括:
在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时,生成第二处理任务,所述第二处理任务中包括所述第四多媒体数据;
删除所述第三处理节点的输入管理器与所述第一上游节点的输出管理器之间的关联关系。
7.根据权利要求2至6任一项所述的方法,其特征在于,所述删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系,包括:
在所述第三处理节点的输入管理器中不存在多媒体数据,和/或不存在所述第三处理节点正在运行的处理任务时,删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
8.根据权利要求2至6任一项所述的方法,其特征在于,当所述第三处理节点具有所述第一上游节点和所述第一下游节点时,还包括:
在删除两种所述关联关系之后,若所述第一上游节点没有下游节点,和/或,所述第一下游节点没有上游节点,则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
9.根据权利要求1至6任一项所述的方法,其特征在于,还包括:
确定待添加的第四处理节点、所述第四处理节点的第二相邻节点,所述第二相邻节点包括第二上游节点和/或第二下游节点,所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点;
建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系;和/或,建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
10.根据权利要求1至6任一项所述的方法,其特征在于,每个所述处理节点的处理任务中包括以下至少一种信息:所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理任务的生成时间。
11.一种多媒体数据的处理装置,其特征在于,应用于所述多媒体数据的处理系统中,所述处理系统包括顺序排列的至少两个处理节点,每个所述处理节点对应有输入管理器和输出管理器,相邻两个所述处理节点分别为上游节点和下游节点,所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系,所述上游节点为所述下游节点生成多媒体数据,所述装置包括:
第一处理任务生成模块,用于在第一处理节点的第一输入管理器中存在第一多媒体数据时,生成第一处理任务,所述第一处理任务中包括所述第一多媒体数据;
第一处理任务执行模块,用于调用所述第一处理节点执行所述第一处理任务,得到第二多媒体数据,所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据;
第二数据写入模块,用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中,所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
12.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述电子设备实现如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,使计算设备实现如权利要求1至10任一项所述的方法。
14.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时用于实现如权利要求1至10任一项所述的方法。
CN202111188642.5A 2021-10-12 2021-10-12 多媒体数据的处理方法、系统及设备 Active CN113918298B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111188642.5A CN113918298B (zh) 2021-10-12 2021-10-12 多媒体数据的处理方法、系统及设备
PCT/CN2022/118790 WO2023061137A1 (zh) 2021-10-12 2022-09-14 多媒体数据的处理方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188642.5A CN113918298B (zh) 2021-10-12 2021-10-12 多媒体数据的处理方法、系统及设备

Publications (2)

Publication Number Publication Date
CN113918298A CN113918298A (zh) 2022-01-11
CN113918298B true CN113918298B (zh) 2024-05-14

Family

ID=79239559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188642.5A Active CN113918298B (zh) 2021-10-12 2021-10-12 多媒体数据的处理方法、系统及设备

Country Status (2)

Country Link
CN (1) CN113918298B (zh)
WO (1) WO2023061137A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918298B (zh) * 2021-10-12 2024-05-14 北京字节跳动网络技术有限公司 多媒体数据的处理方法、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291533A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 确定上游节点瓶颈度及系统瓶颈度的方法、装置
CN110489261A (zh) * 2019-07-31 2019-11-22 上海艾融软件股份有限公司 任务处理告警方法、装置及电子设备、存储介质
CN111309228A (zh) * 2020-02-12 2020-06-19 北京字节跳动网络技术有限公司 多媒体处理方法、装置及电子设备
CN111475564A (zh) * 2020-04-13 2020-07-31 恒安嘉新(北京)科技股份公司 一种流式数据处理方法、系统、计算机设备及存储介质
CN112685154A (zh) * 2020-12-25 2021-04-20 北京有竹居网络技术有限公司 任务流引擎的数据处理方法、任务流引擎、设备和介质
WO2021179588A1 (zh) * 2020-03-13 2021-09-16 北京旷视科技有限公司 计算资源调度方法、装置、电子设备及计算机可读存储介质
CN113434323A (zh) * 2021-06-28 2021-09-24 浙江大华技术股份有限公司 数据中台的任务流控制方法及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8205006B2 (en) * 2009-09-30 2012-06-19 Lenovo (Singapore) Pte. Ltd. Systems and methods for discontinuous multi-media content transfer and handling
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
CN106559573B (zh) * 2016-11-11 2019-09-06 努比亚技术有限公司 移动终端及多媒体数据处理方法
CN109783550A (zh) * 2018-12-29 2019-05-21 北京奇安信科技有限公司 数据处理方法、装置、系统、计算机可读存储介质
US20210234911A1 (en) * 2020-01-27 2021-07-29 International Business Machines Corporation Modifying multimedia based on user context
CN113918298B (zh) * 2021-10-12 2024-05-14 北京字节跳动网络技术有限公司 多媒体数据的处理方法、系统及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291533A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 确定上游节点瓶颈度及系统瓶颈度的方法、装置
CN110489261A (zh) * 2019-07-31 2019-11-22 上海艾融软件股份有限公司 任务处理告警方法、装置及电子设备、存储介质
CN111309228A (zh) * 2020-02-12 2020-06-19 北京字节跳动网络技术有限公司 多媒体处理方法、装置及电子设备
WO2021179588A1 (zh) * 2020-03-13 2021-09-16 北京旷视科技有限公司 计算资源调度方法、装置、电子设备及计算机可读存储介质
CN111475564A (zh) * 2020-04-13 2020-07-31 恒安嘉新(北京)科技股份公司 一种流式数据处理方法、系统、计算机设备及存储介质
CN112685154A (zh) * 2020-12-25 2021-04-20 北京有竹居网络技术有限公司 任务流引擎的数据处理方法、任务流引擎、设备和介质
CN113434323A (zh) * 2021-06-28 2021-09-24 浙江大华技术股份有限公司 数据中台的任务流控制方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向大数据流式计算的任务管理技术综述;梁毅;侯颖;陈诚;金翊;;计算机工程与科学;20170215(02) *

Also Published As

Publication number Publication date
CN113918298A (zh) 2022-01-11
WO2023061137A1 (zh) 2023-04-20

Similar Documents

Publication Publication Date Title
CN109523187B (zh) 任务调度方法、装置和设备
US20240118928A1 (en) Resource allocation method and apparatus, readable medium, and electronic device
CN111427706B (zh) 数据处理方法、多服务器系统、数据库、电子设备及存储介质
CN113835992B (zh) 内存泄露的处理方法、装置、电子设备及计算机存储介质
CN111240801A (zh) 生成堆内存快照文件的方法、装置、介质和电子设备
CN113918298B (zh) 多媒体数据的处理方法、系统及设备
CN111400068B (zh) 接口的控制方法、装置、可读介质和电子设备
US20240146978A1 (en) Functional component loading method and data processing method for video live-streaming, and device
CN112486825B (zh) 多泳道环境架构系统、消息消费方法、装置、设备及介质
CN112527436A (zh) 弹窗显示方法、装置、电子设备和计算机可读介质
CN111382058B (zh) 一种服务的测试方法、装置,服务器及存储介质
CN116821187A (zh) 基于数据库的数据处理方法、装置、介质和电子设备
CN116302271A (zh) 一种页面展示方法、装置及电子设备
CN113886105B (zh) 跨进程的调用方法、装置、存储介质及电子设备
CN113138883B (zh) 消息处理方法、装置、存储介质及电子设备
CN112422648B (zh) 数据同步方法和系统
CN111538717B (zh) 数据处理的方法、装置、电子设备及计算机可读介质
CN111382057B (zh) 测试用例生成方法,测试方法及装置,服务器及存储介质
CN111324386B (zh) 分身应用程序的启动方法、装置、电子设备及存储介质
CN111382056B (zh) 一种服务的测试方法、装置,服务器及存储介质
CN112948082A (zh) 主线程任务处理方法、装置、电子设备及存储介质
CN111538577A (zh) 程序执行控制的装置及方法、终端和存储介质
CN117640796B (zh) 网络报文处理方法及设备
CN110704782A (zh) 页面响应方法、装置、电子设备及存储介质
CN111367555B (zh) 断言的方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant