CN111901680A - 多媒体数据处理方法、装置及服务器 - Google Patents

多媒体数据处理方法、装置及服务器 Download PDF

Info

Publication number
CN111901680A
CN111901680A CN202010389949.0A CN202010389949A CN111901680A CN 111901680 A CN111901680 A CN 111901680A CN 202010389949 A CN202010389949 A CN 202010389949A CN 111901680 A CN111901680 A CN 111901680A
Authority
CN
China
Prior art keywords
multimedia data
modules
controlling
scaled
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010389949.0A
Other languages
English (en)
Other versions
CN111901680B (zh
Inventor
李平师
李卫星
付劲松
王运佳
刘萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AMPLESKY COMMUNICATION TECHNOLOGIES Ltd
Original Assignee
AMPLESKY COMMUNICATION TECHNOLOGIES Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AMPLESKY COMMUNICATION TECHNOLOGIES Ltd filed Critical AMPLESKY COMMUNICATION TECHNOLOGIES Ltd
Priority to CN202010389949.0A priority Critical patent/CN111901680B/zh
Publication of CN111901680A publication Critical patent/CN111901680A/zh
Application granted granted Critical
Publication of CN111901680B publication Critical patent/CN111901680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种多媒体数据处理方法、装置及服务器,该方法包括:获取M个待处理多媒体数据;控制M个解码模块对M个待处理多媒体数据进行解码,得到M个解码后多媒体数据;控制M个缩放模块对M个解码后多媒体数据进行缩放,得到M个缩放后多媒体数据集,每个所述缩放后多媒体数据集包括至少一个缩放后多媒体数据;控制N个拼接模块对M个缩放后多媒体数据集进行拼接,得到N个拼接后多媒体数据;控制N个编码模块对N个拼接后多媒体数据进行编码,得到N个编码后多媒体数据;控制N个发送模块将N个编码后多媒体数据发送至N个显示终端。采用本申请实施例可降低大规模多媒体数据处理情况下多媒体数据处理系统的故障率。

Description

多媒体数据处理方法、装置及服务器
技术领域
本申请涉及多媒体数据处理技术领域,尤其涉及一种多媒体数据处理方法、装置及服务器。
背景技术
随着网络技术的发展,电子设备对多媒体数据的处理量越来越大,例如日益发展的视频会议领域,随着视频人数的增加对视频会议服务器的资源需求也越来越大,尤其是对视频图像处理系统会产生很大的压力。目前对于日益增长的多媒体数据处理需求,常用做法是扩容物理的电子设备的规模,这种方式虽然能解决多媒体数据的处理问题,但是却增大了电子设备的规模,给整个多媒体数据处理系统带来了更高的故障率。
发明内容
本申请实施例提供一种多媒体数据处理方法、装置及服务器,有利于降低大规模多媒体数据处理情况下多媒体数据处理系统的故障率。
第一方面,本申请实施例提供一种多媒体数据处理方法,应用于多媒体数据处理服务器,所述多媒体数据处理服务器包括M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,所述M和所述N均为大于0的整数,所述方法包括:
获取M个待处理的多媒体数据;
控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应;
控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应;
控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据,所述N个拼接模块与所述N个拼接后的多媒体数据一一对应;
控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据,所述N个编码模块、所述N个拼接后的多媒体数据与所述N个编码后的多媒体数据一一对应;
控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,所述N个发送模块、所述N个编码后的多媒体数据与所述N个显示终端一一对应。
第二方面,本申请实施例提供一种多媒体数据处理装置,应用于多媒体数据处理服务器,所述多媒体数据处理服务器包括M个解码模块、M个缩放模块、N个编码模块和N个发送模块,所述M和所述N均为大于0的整数,所述装置包括:
获取单元,用于获取M个待处理的多媒体数据;
解码单元,用于控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应;
缩放单元,用于控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应;
拼接单元,用于控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据,所述N个拼接模块与所述N个拼接后的多媒体数据一一对应;
编码单元,用于控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据,所述N个编码模块、所述N个拼接后的多媒体数据与所述N个编码后的多媒体数据一一对应;
发送单元,用于控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,所述N个发送模块、所述N个编码后的多媒体数据与所述N个显示终端一一对应。
第三方面,本申请实施例提供一种多媒体数据处理服务器,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面所述的方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,在本申请实施例中,多媒体数据处理服务器,获取M个待处理的多媒体数据;控制M个解码模块对M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据;控制M个缩放模块对M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据;控制N个拼接模块对M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据;控制N个编码模块对N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据;控制N个发送模块将N个编码后的多媒体数据发送至N个显示终端。本申请实施例在没有增加多媒体数据处理服务器的规模情况下,实现了对大规模的多媒体数据的处理,从而有利于降低大规模多媒体数据处理情况下多媒体数据处理系统的故障率,同时也节省了多媒体数据处理资源。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种多媒体数据处理系统的结构框架图;
图1b是本申请实施例提供的一种多媒体数据处理服务器的结构框架图;
图2a是本申请实施例提供的一种多媒体数据处理方法的流程示意图;
图2b是本申请实施例提供的一种输入视频流处理的场景示意图;
图3是本申请实施例提供的另一种多媒体数据处理方法的流程示意图;
图4是本申请实施例提供的一种多媒体数据处理服务器的结构示意图;
图5是本申请实施例提供的一种多媒体数据处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
请参阅图1a,图1a是本申请实施例提供的一种多媒体数据处理系统的结构框架图。该多媒体数据处理系统包括M个输入终端、多媒体数据处理服务器和N个显示终端,所述M和所述N均为大于0的整数,图1a中的输入终端和显示终端的数量仅用于示意。该输入终端用于向多媒体数据处理服务器输入待处理的多媒体数据,该多媒体数据处理服务器用于接收显示终端发送的显示指令,以及针对该显示指令对输入的待处理的多媒体数据进行解码、缩放、拼接、编码以及发送至该显示终端。
请参阅图1b,图1b是本申请实施例提供的一种多媒体数据处理服务器的结构框架图。该多媒体数据处理服务器包括M个指令判断模块、M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,每个所述缩放模块包括N个缩放器,指令判断模块与解码模块连接,解码模块与缩放模块连接,缩放模块与拼接模块连接,拼接模块与编码模块连接,编码模块与发送模块连接,其中:
指令判断模块,用于接收显示终端发送的显示指令,以及对显示指令进行识别,得到识别结果;
解码模块,用于基于识别结果对待处理的多媒体数据进行解码,得到解码后的多媒体数据;
缩放模块,用于对解码后的多媒体数据进行缩放,得到缩放后的多媒体数据集,每个缩放后的多媒体数据集包括至少一个缩放后的多媒体数据;
拼接模块,用于对缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到拼接后的多媒体数据;
编码模块,用于对拼接后的多媒体数据进行编码,得到编码后的多媒体数据;
发送模块,用于将编码后的多媒体数据发送至显示终端。
下面对本申请实施例进行详细介绍。
请参阅图2a,图2a是本申请实施例提供的一种多媒体数据处理方法的流程示意图,应用于多媒体数据处理服务器,所述多媒体数据处理服务器包括M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,所述M和所述N均为大于0的整数,所述方法包括:
步骤201:获取M个待处理的多媒体数据。
其中,该M个多媒体数据可以是输入的音频流、视频流、图像帧、动态图等;该M个待处理的多媒体数据可以是M个输入终端输入的,也可以是一个终端输入的,还可以是预先存储在所述多媒体数据处理服务器关联的数据库中的,在此,均不做限定。
步骤202:控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应。
举例说明,请参阅图2b,图2b是本申请实施例提供的一种输入视频流处理的场景示意图。待处理的多媒体数据为输入视频流1、输入视频流2和输入视频流3;解码模块1对输入视频流1进行解码,得到解码后的输入视频流1;解码模块2对输入视频流2进行解码,得到解码后的输入视频流2;解码模块3对输入视频流3进行解码,得到解码后的输入视频流3。
步骤203:控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应。
其中,每个缩放后的多媒体数据集包括的缩放后的多媒体数据可以相同,也可以不同,可以为1个,也可以为N个,在此均不做限定。
举例说明,如图2b所示,缩放模块1对解码后的输入视频流1进行缩放,得到缩放后的多媒体数据集1;缩放模块2对解码后的输入视频流2进行缩放,得到缩放后的多媒体数据集2;缩放模块3对解码后的输入视频流3进行缩放,得到缩放后的多媒体数据集3。
步骤204:控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据,所述N个拼接模块与所述N个拼接后的多媒体数据一一对应。
举例说明,如图2b所示,缩放后的多媒体数据集1包括缩放后的输入视频流11、缩放后的输入视频流12、缩放后的输入视频流13、缩放后的输入视频流14;缩放后的多媒体数据集2包括缩放后的输入视频流21、缩放后的输入视频流22、缩放后的输入视频流23、缩放后的输入视频流24;缩放后的多媒体数据集3包括缩放后的输入视频流31、缩放后的输入视频流32、缩放后的输入视频流33、缩放后的输入视频流34;拼接模块1对缩放后的输入视频流11、缩放后的输入视频流21、缩放后的输入视频流31进行拼接,得到拼接后视频流1;拼接模块2对缩放后的输入视频流12、缩放后的输入视频流22、缩放后的输入视频流32进行拼接,得到拼接后视频流2;拼接模块3对缩放后的输入视频流13、缩放后的输入视频流23、缩放后的输入视频流33进行拼接,得到拼接后视频流3;拼接模块4对缩放后的输入视频流14、缩放后的输入视频流24、缩放后的输入视频流34进行拼接,得到拼接后视频流4。
步骤205:控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据,所述N个编码模块、所述N个拼接后的多媒体数据与所述N个编码后的多媒体数据一一对应。
举例说明,如图2b所示,编码模块1对拼接后视频流1进行编码,得到编码后的输出视频流1;编码模块2对拼接后视频流2进行编码,得到编码后的输出视频流2;编码模块3对拼接后视频流3进行编码,得到编码后的输出视频流3;编码模块4对拼接后视频流4进行编码,得到编码后的输出视频流4。
步骤206:控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,所述N个发送模块、所述N个编码后的多媒体数据与所述N个显示终端一一对应。
举例说明,如图2b所示,发送模块1将编码后的输出视频流1发送至显示终端1;发送模块2将编码后的输出视频流2发送至显示终端2;发送模块3将编码后的输出视频流3发送至显示终端3;发送模块4将编码后的输出视频流4发送至显示终端4。
可以看出,在本申请实施例中,多媒体数据处理服务器,获取M个待处理的多媒体数据;控制M个解码模块对M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据;控制M个缩放模块对M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据;控制N个拼接模块对M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据;控制N个编码模块对N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据;控制N个发送模块将N个编码后的多媒体数据发送至N个显示终端。本申请实施例在没有增加多媒体数据处理服务器的规模情况下,实现了对大规模的多媒体数据的处理,从而有利于降低大规模多媒体数据处理情况下多媒体数据处理系统的故障率,同时也节省了多媒体数据处理资源。
在本申请的一实现方式中,所述多媒体数据处理服务器还包括M个指令判断模块,在控制所述M个解码模块对所述M个待处理的多媒体数据进行解码方面,包括:
控制所述M个指令判断模块接收所述N个显示终端发送的M个显示指令集,每个显示指令集均包括N个显示指令,所述N个显示指令与所述N个显示终端一一对应,所述M个指令判断模块与所述M个显示指令集一一对应;
控制每个所述指令判断模块对其对应的N个显示指令进行识别,得到M个识别结果集,每个所述识别结果集包括N个识别结果,所述N个识别结果与所述N个显示指令一一对应;
若每个所述识别结果集包括的N个识别结果中均存在至少一个识别结果为解码其对应的待处理的多媒体数据,则控制每个所述解码模块对其对应的待处理的多媒体数据进行解码;
若识别结果集i对应的N个识别结果均为不解码其对应的待处理的多媒体数据,则控制所述识别结果集i对应的解码模块j对其对应的待处理的多媒体数据进行停止解码,所述M个识别结果集包括所述识别结果集i,所述M个解码模块包括所述解码模块j。
举例说明,指令判断模块1接收显示指令集1,显示指令集1包括显示终端1发送的显示指令11,显示终端2发送的显示指令12,显示终端3发送的显示指令13,显示终端4发送的显示指令14;指令判断模块2接收显示指令集2,显示指令集2包括显示终端1发送的显示指令21,显示终端2发送的显示指令22,显示终端3发送的显示指令23,显示终端4发送的显示指令24;指令判断模块3接收显示指令集3,显示指令集3包括显示终端1发送的显示指令31,显示终端2发送的显示指令32,显示终端3发送的显示指令33,显示终端4发送的显示指令34;指令判断模块1识别显示指令11、显示指令12、显示指令13、显示指令14,得到识别结果集1;指令判断模块2识别显示指令21、显示指令22、显示指令23、显示指令24,得到识别结果集2;指令判断模块3识别显示指令31、显示指令32、显示指令33、显示指令34,得到识别结果集3;若识别结果集1中包括的4个识别结果中,只要存在至少一个识别结果为解码其对应的输入视频流1,那么该解码模块1就运行,执行解码任务;只有识别结果集1中包括的4个识别结果都为不解码其对应的输入视频流1,该解码模块1才停止运行,不执行解码任务。
在本申请的一实现方式中,每个所述缩放模块包括N个缩放器,在控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据方面,包括:
控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据,所述至少一个缩放后的多媒体数据构成一个缩放后的多媒体数据集,所述M个缩放模块对应M个缩放后的多媒体数据集。
举例说明,缩放模块1包括缩放器11、缩放器12、缩放器13和缩放器14,缩放器11基于识别结果11对解码后的输入视频流1进行缩放得到缩放后的输入视频流11,缩放器12基于识别结果12对解码后的输入视频流1进行缩放得到缩放后的输入视频流12,缩放器13基于识别结果13对解码后的输入视频流1进行缩放得到缩放后的输入视频流13,缩放器14基于识别结果14对解码后的输入视频流1进行缩放得到缩放后的输入视频流14;缩放后的多媒体数据集1包括缩放后的输入视频流11、缩放后的输入视频流12、缩放后的输入视频流13和缩放后的输入视频流14。缩放模块2和缩放模块3的具体实现方式与上述缩放模块1的具体实现方式一致,在此不再详述。
在本申请的一实现方式中,所述至少一个缩放后的多媒体数据包括第一多媒体数据和第二多媒体数据,在控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据方面,包括:
若所述N个识别结果中存在A个相同的识别结果,则从所述N个缩放器中确定第一目标缩放器和第二目标缩放器,所述A为大于或等于0的整数;
控制所述第一目标缩放器执行所述A个相同的识别结果对应的A个缩放指令得到所述第一多媒体数据,以及控制所述第二目标缩放器执行N-A个不相同的识别结果对应的N-A个缩放指令得到所述第二多媒体数据。
其中,第一目标缩放器和第二目标缩放器可以是一个,也可以是多个;例如第一目标缩放器为运行优先级最高的缩放器,第二目标缩放器为N-A个缩放指令对应的N-A个缩放器。
举例说明,缩放模块1包括4个缩放器(缩放器11、缩放器12、缩放器13和缩放器14),指令判断模块1接收到显示终端1发送的显示指令1,显示终端2发送的显示指令2,显示终端3发送的显示指令3,显示终端4发送的显示指令4;显示指令1的识别结果1为缩小1倍,显示指令2的识别结果2为缩小1倍,显示指令3的识别结果3为缩小2倍,显示指令4的识别结果4为放大2倍;则第一目标缩放器可以为缩放器1或缩放器2,第二目标缩放器可以为缩放器3和缩放器4。
在本申请的一实现方式中,在从所述N个缩放器中确定第一目标缩放器方面,包括:
从所述N个缩放器中确定所述A个相同的识别结果对应的A个缩放器;
将所述A个缩放器中运行优先级大于或等于第一阈值的缩放器确定为第一目标缩放器。
举例说明,缩放器11、缩放器21、缩放器31的运行优先级为a,缩放器12、缩放器22、缩放器32的运行优先级为b,缩放器13、缩放器23、缩放器33的运行优先级为c,缩放器14、缩放器24、缩放器34的运行优先级为d,a>b>c>d。
在本申请的一实现方式中,在控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,包括:
控制所述N个拼接模块从所述M个缩放后的多媒体数据集中分别确定其对应的缩放后的多媒体数据,得到N个拼接前的多媒体数据集,控制所述N个拼接模块将N个拼接前的多媒体数据集拼接成N个拼接后的多媒体数据,所述N个拼接模块、N个拼接前的多媒体数据集与N个拼接后的多媒体数据一一对应。
举例说明,缩放后的多媒体数据集1包括缩放后的输入视频流11、缩放后的输入视频流12、缩放后的输入视频流13、缩放后的输入视频流14;缩放后的多媒体数据集2包括缩放后的输入视频流21、缩放后的输入视频流22、缩放后的输入视频流23、缩放后的输入视频流24;缩放后的多媒体数据集3包括缩放后的输入视频流31、缩放后的输入视频流32、缩放后的输入视频流33、缩放后的输入视频流34。拼接前的多媒体数据集1包括缩放后的输入视频流11、缩放后的输入视频流21、缩放后的输入视频流31;拼接前的多媒体数据集2包括缩放后的输入视频流12、缩放后的输入视频流22、缩放后的输入视频流32;拼接前的多媒体数据集3包括缩放后的输入视频流13、缩放后的输入视频流23、缩放后的输入视频流33;拼接前的多媒体数据集4包括缩放后的输入视频流14、缩放后的输入视频流24、缩放后的输入视频流34。拼接模块1对拼接前的多媒体数据集1进行拼接,得到拼接后视频流1;拼接模块2对拼接前的多媒体数据集2进行拼接,得到拼接后视频流2;拼接模块3对拼接前的多媒体数据集3进行拼接,得到拼接后视频流3;拼接模块4对拼接前的多媒体数据集4进行拼接,得到拼接后视频流4。
在本申请的一实现方式中,在控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码方面,包括:
若所述N个拼接后的多媒体数据中存在B个相同的拼接后的多媒体数据,则从所述N个编码模块中确定第一目标编码模块和第二目标编码模块,所述B为大于或等于0的整数;
控制所述第一目标编码模块对所述B个相同的拼接后的多媒体数据进行编码,以及控制所述第二目标编码模块对所述N-B个不相同的拼接后的多媒体数据进行编码。
其中,第一目标编码模块可以基于编码模块的运行优先级确定。
举例说明,对于不存在相同的拼接后的多媒体数据情况,编码模块1对拼接后视频流1进行编码,得到编码后的输出视频流1;编码模块2对拼接后视频流2进行编码,得到编码后的输出视频流2;编码模块3对拼接后视频流3进行编码,得到编码后的输出视频流3;编码模块4对拼接后视频流4进行编码,得到编码后的输出视频流4。
又举例说明,对于存在相同的拼接后的多媒体数据情况,若拼接后视频流1和2相同;则编码模块1或2对拼接后视频流1进行编码,得到编码后的输出视频流1;编码模块3对拼接后视频流3进行编码,得到编码后的输出视频流3;编码模块4对拼接后视频流4进行编码,得到编码后的输出视频流4。
在本申请的一实现方式中,在控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端方面,包括:
若存在所述第一目标编码模块和第二目标编码模块,则将其对应的发送模块确定为第一目标发送模块和第二目标发送模块;
控制所述第一目标发送模块将所述第一目标编码模块编码后的多媒体数据进行发送,以及控制所述第二目标发送模块将所述第二目标编码模块编码后的多媒体数据进行发送。
举例说明,若拼接后视频流1和2相同,则第一目标编码模块1将拼接后视频流1编码,得到编码后的输出视频流1,控制第一目标发送模块1将编码后的输出视频流1发送至显示终端1和2;第二目标编码模块3将拼接后视频流3编码,得到编码后的输出视频流3,控制第二目标发送模块3将编码后的输出视频流3发送至显示终端3;第二目标编码模块4将拼接后视频流4编码,得到编码后的输出视频流4,控制第二目标发送模块4将编码后的输出视频流4发送至显示终端4。
请参阅图3,图3是本申请实施例提供的另一种多媒体数据处理方法的流程示意图,应用于多媒体数据处理服务器,所述多媒体数据处理服务器包括M个指令判断模块、M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,每个所述缩放模块包括N个缩放器,所述M和所述N均为大于0的整数,所述方法包括:
步骤301:获取M个待处理的多媒体数据。
步骤302:控制所述M个指令判断模块接收所述N个显示终端发送的M个显示指令集,每个显示指令集均包括N个显示指令,所述N个显示指令与所述N个显示终端一一对应,所述M个指令判断模块与所述M个显示指令集一一对应。
步骤303:控制每个所述指令判断模块对其对应的N个显示指令进行识别,得到M个识别结果集,每个所述识别结果集包括N个识别结果,所述N个识别结果与所述N个显示指令一一对应。
步骤304:若每个所述识别结果集包括的N个识别结果中均存在至少一个识别结果为解码其对应的待处理的多媒体数据,则控制每个所述解码模块对其对应的待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应。
步骤305:若识别结果集i对应的N个识别结果均为不解码其对应的待处理的多媒体数据,则控制所述识别结果集i对应的解码模块j对其对应的待处理的多媒体数据进行停止解码,所述M个识别结果集包括所述识别结果集i,所述M个解码模块包括所述解码模块j。
步骤306:若所述N个识别结果中存在A个相同的识别结果,则从所述N个缩放器中确定所述A个相同的识别结果对应的A个缩放器,所述A为大于或等于0的整数;将所述A个缩放器中运行优先级大于或等于第一阈值的缩放器确定为第一目标缩放器;以及从所述N个缩放器中确定第二目标缩放器。
步骤307:控制所述第一目标缩放器执行所述A个相同的识别结果对应的A个缩放指令,对其对应的解码后的多媒体数据进行缩放,得到第一多媒体数据;以及控制所述第二目标缩放器执行N-A个不相同的识别结果对应的N-A个缩放指令,对其对应的解码后的多媒体数据进行缩放,得到第二多媒体数据;至少一个缩放后的多媒体数据包括所述第一多媒体数据和所述第二多媒体数据,所述至少一个缩放后的多媒体数据构成一个缩放后的多媒体数据集;所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应。
步骤308:控制所述N个拼接模块从所述M个缩放后的多媒体数据集中分别确定其对应的缩放后的多媒体数据,得到N个拼接前的多媒体数据集;控制所述N个拼接模块将所述N个拼接前的多媒体数据集拼接成N个拼接后的多媒体数据;所述N个拼接模块、所述N个拼接前的多媒体数据集与所述N个拼接后的多媒体数据一一对应。
步骤309:若所述N个拼接后的多媒体数据中存在B个相同的拼接后的多媒体数据,则从所述N个编码模块中确定第一目标编码模块和第二目标编码模块,所述B为大于或等于0的整数;
步骤310:控制所述第一目标编码模块对所述B个相同的拼接后的多媒体数据进行编码,以及控制所述第二目标编码模块对所述N-B个不相同的拼接后的多媒体数据进行编码。
步骤311:若存在所述第一目标编码模块和第二目标编码模块,则将其对应的发送模块确定为第一目标发送模块和第二目标发送模块。
步骤312:控制所述第一目标发送模块将所述第一目标编码模块编码后的多媒体数据进行发送,以及控制所述第二目标发送模块将所述第二目标编码模块编码后的多媒体数据进行发送。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
请参阅图4,图4是本申请实施例提供的一种多媒体数据处理服务器的结构示意图,该多媒体数据处理服务器包括M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,所述M和所述N均为大于0的整数;如图所示,该多媒体数据处理服务器还包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
获取M个待处理的多媒体数据;
控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应;
控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应;
控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据,所述N个拼接模块与所述N个拼接后的多媒体数据一一对应;
控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据,所述N个编码模块、所述N个拼接后的多媒体数据与所述N个编码后的多媒体数据一一对应;
控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,所述N个发送模块、所述N个编码后的多媒体数据与所述N个显示终端一一对应。
在本申请的一实现方式中,所述多媒体数据处理服务器还包括M个指令判断模块,在控制所述M个解码模块对所述M个待处理的多媒体数据进行解码方面,上述程序包括具体用于执行以下步骤的指令:
控制所述M个指令判断模块接收所述N个显示终端发送的M个显示指令集,每个显示指令集均包括N个显示指令,所述N个显示指令与所述N个显示终端一一对应,所述M个指令判断模块与所述M个显示指令集一一对应;
控制每个所述指令判断模块对其对应的N个显示指令进行识别,得到M个识别结果集,每个所述识别结果集包括N个识别结果,所述N个识别结果与所述N个显示指令一一对应;
若每个所述识别结果集包括的N个识别结果中均存在至少一个识别结果为解码其对应的待处理的多媒体数据,则控制每个所述解码模块对其对应的待处理的多媒体数据进行解码;
若识别结果集i对应的N个识别结果均为不解码其对应的待处理的多媒体数据,则控制所述识别结果集i对应的解码模块j对其对应的待处理的多媒体数据进行停止解码,所述M个识别结果集包括所述识别结果集i,所述M个解码模块包括所述解码模块j。
在本申请的一实现方式中,每个所述缩放模块包括N个缩放器,在控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据方面,上述程序包括具体用于执行以下步骤的指令:
控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据,所述至少一个缩放后的多媒体数据构成一个缩放后的多媒体数据集,所述M个缩放模块对应M个缩放后的多媒体数据集。
在本申请的一实现方式中,所述至少一个缩放后的多媒体数据包括第一多媒体数据和第二多媒体数据,在控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据方面,上述程序包括具体用于执行以下步骤的指令:
若所述N个识别结果中存在A个相同的识别结果,则从所述N个缩放器中确定第一目标缩放器和第二目标缩放器,所述A为大于或等于0的整数;
控制所述第一目标缩放器执行所述A个相同的识别结果对应的A个缩放指令得到所述第一多媒体数据,以及控制所述第二目标缩放器执行N-A个不相同的识别结果对应的N-A个缩放指令得到所述第二多媒体数据。
在本申请的一实现方式中,在从所述N个缩放器中确定第一目标缩放器方面,上述程序包括具体用于执行以下步骤的指令:
从所述N个缩放器中确定所述A个相同的识别结果对应的A个缩放器;
将所述A个缩放器中运行优先级大于或等于第一阈值的缩放器确定为第一目标缩放器。
在本申请的一实现方式中,在控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接方面,上述程序包括具体用于执行以下步骤的指令:
控制所述N个拼接模块从所述M个缩放后的多媒体数据集中分别确定其对应的缩放后的多媒体数据,得到N个拼接前的多媒体数据集,控制所述N个拼接模块将N个拼接前的多媒体数据集拼接成N个拼接后的多媒体数据,所述N个拼接模块、所述N个拼接前的多媒体数据集与所述N个拼接后的多媒体数据一一对应。
在本申请的一实现方式中,在控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码方面,上述程序包括具体用于执行以下步骤的指令:
若所述N个拼接后的多媒体数据中存在B个相同的拼接后的多媒体数据,则从所述N个编码模块中确定第一目标编码模块和第二目标编码模块,所述B为大于或等于0的整数;
控制所述第一目标编码模块对所述B个相同的拼接后的多媒体数据进行编码,以及控制所述第二目标编码模块对所述N-B个不相同的拼接后的多媒体数据进行编码。
在本申请的一实现方式中,在控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端方面,上述程序包括具体用于执行以下步骤的指令:
若存在所述第一目标编码模块和第二目标编码模块,则将其对应的发送模块确定为第一目标发送模块和第二目标发送模块;
控制所述第一目标发送模块将所述第一目标编码模块编码后的多媒体数据进行发送,以及控制所述第二目标发送模块将所述第二目标编码模块编码后的多媒体数据进行发送。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
上述实施例主要从方法上以执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据所述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面为本申请装置实施例,本申请装置实施例用于执行本申请方法实施例所实现的方法。请参阅图5,图5是本申请实施例提供的一种多媒体数据处理装置的结构示意图,应用于多媒体数据处理服务器,所述多媒体数据处理服务器包括M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,所述M和所述N均为大于0的整数,所述装置包括:
获取单元501,用于获取M个待处理的多媒体数据;
解码单元502,用于控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应;
缩放单元503,用于控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应;
拼接单元504,用于控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据,所述N个拼接模块与所述N个拼接后的多媒体数据一一对应;
编码单元505,用于控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据,所述N个编码模块、所述N个拼接后的多媒体数据与所述N个编码后的多媒体数据一一对应;
发送单元506,用于控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,所述N个发送模块、所述N个编码后的多媒体数据与所述N个显示终端一一对应。
在本申请的一实现方式中,所述多媒体数据处理服务器还包括M个指令判断模块,在控制所述M个解码模块对所述M个待处理的多媒体数据进行解码方面,所述解码单元502,具体用于:
控制所述M个指令判断模块接收所述N个显示终端发送的M个显示指令集,每个显示指令集均包括N个显示指令,所述N个显示指令与所述N个显示终端一一对应,所述M个指令判断模块与所述M个显示指令集一一对应;
控制每个所述指令判断模块对其对应的N个显示指令进行识别,得到M个识别结果集,每个所述识别结果集包括N个识别结果,所述N个识别结果与所述N个显示指令一一对应;
若每个所述识别结果集包括的N个识别结果中均存在至少一个识别结果为解码其对应的待处理的多媒体数据,则控制每个所述解码模块对其对应的待处理的多媒体数据进行解码;
若识别结果集i对应的N个识别结果均为不解码其对应的待处理的多媒体数据,则控制所述识别结果集i对应的解码模块j对其对应的待处理的多媒体数据进行停止解码,所述M个识别结果集包括所述识别结果集i,所述M个解码模块包括所述解码模块j。
在本申请的一实现方式中,每个所述缩放模块包括N个缩放器,在控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据方面,所述缩放单元503,具体用于:
控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据,所述至少一个缩放后的多媒体数据构成一个缩放后的多媒体数据集,所述M个缩放模块对应M个缩放后的多媒体数据集。
在本申请的一实现方式中,所述至少一个缩放后的多媒体数据包括第一多媒体数据和第二多媒体数据,在控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据方面,所述缩放单元503,具体用于:
若所述N个识别结果中存在A个相同的识别结果,则从所述N个缩放器中确定第一目标缩放器和第二目标缩放器,所述A为大于或等于0的整数;
控制所述第一目标缩放器执行所述A个相同的识别结果对应的A个缩放指令得到所述第一多媒体数据,以及控制所述第二目标缩放器执行N-A个不相同的识别结果对应的N-A个缩放指令得到所述第二多媒体数据。
在本申请的一实现方式中,在从所述N个缩放器中确定第一目标缩放器方面,所述缩放单元503,具体用于:
从所述N个缩放器中确定所述A个相同的识别结果对应的A个缩放器;
将所述A个缩放器中运行优先级大于或等于第一阈值的缩放器确定为第一目标缩放器。
在本申请的一实现方式中,在控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接方面,所述拼接单元504,具体用于:
控制所述N个拼接模块从所述M个缩放后的多媒体数据集中分别确定其对应的缩放后的多媒体数据,得到N个拼接前的多媒体数据集,控制所述N个拼接模块将N个拼接前的多媒体数据集拼接成N个拼接后的多媒体数据,所述N个拼接模块、所述N个拼接前的多媒体数据集与所述N个拼接后的多媒体数据一一对应。
在本申请的一实现方式中,在控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码方面,所述编码单元505,具体用于:
若所述N个拼接后的多媒体数据中存在B个相同的拼接后的多媒体数据,则从所述N个编码模块中确定第一目标编码模块和第二目标编码模块,所述B为大于或等于0的整数;
控制所述第一目标编码模块对所述B个相同的拼接后的多媒体数据进行编码,以及控制所述第二目标编码模块对所述N-B个不相同的拼接后的多媒体数据进行编码。
在本申请的一实现方式中,在控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端方面,所述发送单元506,具体用于:
若存在所述第一目标编码模块和第二目标编码模块,则将其对应的发送模块确定为第一目标发送模块和第二目标发送模块;
控制所述第一目标发送模块将所述第一目标编码模块编码后的多媒体数据进行发送,以及控制所述第二目标发送模块将所述第二目标编码模块编码后的多媒体数据进行发送。
需要说明的是,发送单元506可通过通信接口实现,获取单元501、解码单元502、缩放单元503、拼接单元504和编码单元505可通过处理器实现。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory ,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种多媒体数据处理方法,其特征在于,应用于多媒体数据处理服务器,所述多媒体数据处理服务器包括M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,所述M和所述N均为大于0的整数,所述方法包括:
获取M个待处理的多媒体数据;
控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应;
控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应;
控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据,所述N个拼接模块与所述N个拼接后的多媒体数据一一对应;
控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据,所述N个编码模块、所述N个拼接后的多媒体数据与所述N个编码后的多媒体数据一一对应;
控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,所述N个发送模块、所述N个编码后的多媒体数据与所述N个显示终端一一对应。
2.根据权利要求1所述的方法,其特征在于,所述多媒体数据处理服务器还包括M个指令判断模块,所述控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,包括:
控制所述M个指令判断模块接收所述N个显示终端发送的M个显示指令集,每个显示指令集均包括N个显示指令,所述N个显示指令与所述N个显示终端一一对应,所述M个指令判断模块与所述M个显示指令集一一对应;
控制每个所述指令判断模块对其对应的N个显示指令进行识别,得到M个识别结果集,每个所述识别结果集包括N个识别结果,所述N个识别结果与所述N个显示指令一一对应;
若每个所述识别结果集包括的N个识别结果中均存在至少一个识别结果为解码其对应的待处理的多媒体数据,则控制每个所述解码模块对其对应的待处理的多媒体数据进行解码;
若识别结果集i对应的N个识别结果均为不解码其对应的待处理的多媒体数据,则控制所述识别结果集i对应的解码模块j对其对应的待处理的多媒体数据进行停止解码,所述M个识别结果集包括所述识别结果集i,所述M个解码模块包括所述解码模块j。
3.根据权利要求2所述的方法,其特征在于,每个所述缩放模块包括N个缩放器,所述控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,包括:
控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据,所述至少一个缩放后的多媒体数据构成一个缩放后的多媒体数据集,所述M个缩放模块对应M个缩放后的多媒体数据集。
4.根据权利要求3所述的方法,其特征在于,所述至少一个缩放后的多媒体数据包括第一多媒体数据和第二多媒体数据,所述控制每个所述缩放模块包括的N个缩放器基于其对应的N个识别结果,对其对应的解码后的多媒体数据进行缩放,得到至少一个缩放后的多媒体数据,包括:
若所述N个识别结果中存在A个相同的识别结果,则从所述N个缩放器中确定第一目标缩放器和第二目标缩放器,所述A为大于或等于0的整数;
控制所述第一目标缩放器执行所述A个相同的识别结果对应的A个缩放指令,对其对应的解码后的多媒体数据进行缩放,得到所述第一多媒体数据;以及控制所述第二目标缩放器执行N-A个不相同的识别结果对应的N-A个缩放指令,对其对应的解码后的多媒体数据进行缩放,得到所述第二多媒体数据。
5.根据权利要求1所述的方法,其特征在于,所述控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,包括:
从所述M个缩放后的多媒体数据集中分别确定N个拼接模块对应的缩放后的多媒体数据,得到N个拼接前的多媒体数据集,控制所述N个拼接模块将N个拼接前的多媒体数据集拼接成N个拼接后的多媒体数据。
6.根据权利要求1所述的方法,其特征在于,所述控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,包括:
若所述N个拼接后的多媒体数据中存在B个相同的拼接后的多媒体数据,则从所述N个编码模块中确定第一目标编码模块和第二目标编码模块,所述B为大于或等于0的整数;
控制所述第一目标编码模块对所述B个相同的拼接后的多媒体数据进行编码,以及控制所述第二目标编码模块对所述N-B个不相同的拼接后的多媒体数据进行编码。
7.根据权利要求6所述的方法,其特征在于,所述控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,包括:
若存在所述第一目标编码模块和第二目标编码模块,则将其对应的发送模块确定为第一目标发送模块和第二目标发送模块;
控制所述第一目标发送模块将所述第一目标编码模块编码后的多媒体数据进行发送,以及控制所述第二目标将所述第二目标编码模块编码后的多媒体数据进行发送。
8.一种多媒体数据处理装置,其特征在于,应用于多媒体数据处理服务器,所述多媒体数据处理服务器包括M个解码模块、M个缩放模块、N个拼接模块、N个编码模块和N个发送模块,所述M和所述N均为大于0的整数,所述装置包括:
获取单元,用于获取M个待处理的多媒体数据;
解码单元,用于控制所述M个解码模块对所述M个待处理的多媒体数据进行解码,得到M个解码后的多媒体数据,所述M个解码模块、所述M个待处理的多媒体数据与所述M个解码后的多媒体数据一一对应;
缩放单元,用于控制所述M个缩放模块对所述M个解码后的多媒体数据进行缩放,得到M个缩放后的多媒体数据集,每个所述缩放后的多媒体数据集包括至少一个缩放后的多媒体数据,所述M个缩放模块、所述M个解码后的多媒体数据与所述M个缩放后的多媒体数据集一一对应;
拼接单元,用于控制所述N个拼接模块对所述M个缩放后的多媒体数据集中包括的缩放后的多媒体数据进行拼接,得到N个拼接后的多媒体数据,所述N个拼接模块与所述N个拼接后的多媒体数据一一对应;
编码单元,用于控制所述N个编码模块对所述N个拼接后的多媒体数据进行编码,得到N个编码后的多媒体数据,所述N个编码模块、所述N个拼接后的多媒体数据与所述N个编码后的多媒体数据一一对应;
发送单元,用于控制所述N个发送模块将所述N个编码后的多媒体数据发送至N个显示终端,所述N个发送模块、所述N个编码后的多媒体数据与所述N个显示终端一一对应。
9.一种多媒体数据处理服务器,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1-7任一项所述的方法。
CN202010389949.0A 2020-05-10 2020-05-10 多媒体数据处理方法、装置及服务器 Active CN111901680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010389949.0A CN111901680B (zh) 2020-05-10 2020-05-10 多媒体数据处理方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010389949.0A CN111901680B (zh) 2020-05-10 2020-05-10 多媒体数据处理方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN111901680A true CN111901680A (zh) 2020-11-06
CN111901680B CN111901680B (zh) 2022-06-21

Family

ID=73207561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010389949.0A Active CN111901680B (zh) 2020-05-10 2020-05-10 多媒体数据处理方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN111901680B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05103324A (ja) * 1991-10-09 1993-04-23 Mitsubishi Electric Corp 多地点テレビ会議制御装置
JP2005136983A (ja) * 2003-10-31 2005-05-26 Hewlett-Packard Development Co Lp 通信方法、通信セッションオーガナイザ、通信セッション参加装置、製品および通信システム
US20070200923A1 (en) * 2005-12-22 2007-08-30 Alexandros Eleftheriadis System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
CN101221657A (zh) * 2008-01-24 2008-07-16 杭州华三通信技术有限公司 一种图像缩放处理方法和装置
CN101258748A (zh) * 2005-07-12 2008-09-03 日本电气株式会社 多点会议系统、多点会议方法及程序
CN101594512A (zh) * 2009-06-30 2009-12-02 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法
CN101656863A (zh) * 2009-08-07 2010-02-24 深圳华为通信技术有限公司 一种会议控制的方法、装置和系统
US20100128105A1 (en) * 2008-11-21 2010-05-27 Polycom, Inc. System and Method for Combining a Plurality of Video Stream Generated in a Videoconference
CN101860714A (zh) * 2010-04-29 2010-10-13 中兴通讯股份有限公司 一种视频处理方法及其系统、mcu视频处理单元
CN102131090A (zh) * 2010-11-22 2011-07-20 华为技术有限公司 视频文件播放的方法、系统及媒体资源服务器
CN102325246A (zh) * 2011-10-18 2012-01-18 Tcl集团股份有限公司 一种视频会议系统、视频会议服务器及移动通信终端
CN103518370A (zh) * 2011-04-22 2014-01-15 权奇薰 视频会议系统的视频结构调节方法及其系统
US9386267B1 (en) * 2012-02-14 2016-07-05 Arris Enterprises, Inc. Cooperative transcoding to multiple streams
CN107027000A (zh) * 2017-04-25 2017-08-08 西安诺瓦电子科技有限公司 视频处理器、显示系统以及视频图像处理方法
JP6179834B1 (ja) * 2016-09-27 2017-08-16 パナソニックIpマネジメント株式会社 テレビ会議装置
CN108134918A (zh) * 2018-01-30 2018-06-08 苏州科达科技股份有限公司 视频处理方法、装置及多点视频处理单元、会议设备
CN108471513A (zh) * 2018-03-28 2018-08-31 国网辽宁省电力有限公司信息通信分公司 视频融合方法、装置及服务器
CN109831637A (zh) * 2017-11-23 2019-05-31 中兴通讯股份有限公司 一种视频会议中数据传输方法、服务器以及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05103324A (ja) * 1991-10-09 1993-04-23 Mitsubishi Electric Corp 多地点テレビ会議制御装置
JP2005136983A (ja) * 2003-10-31 2005-05-26 Hewlett-Packard Development Co Lp 通信方法、通信セッションオーガナイザ、通信セッション参加装置、製品および通信システム
CN101258748A (zh) * 2005-07-12 2008-09-03 日本电气株式会社 多点会议系统、多点会议方法及程序
US20070200923A1 (en) * 2005-12-22 2007-08-30 Alexandros Eleftheriadis System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
CN101221657A (zh) * 2008-01-24 2008-07-16 杭州华三通信技术有限公司 一种图像缩放处理方法和装置
US20100128105A1 (en) * 2008-11-21 2010-05-27 Polycom, Inc. System and Method for Combining a Plurality of Video Stream Generated in a Videoconference
CN101594512A (zh) * 2009-06-30 2009-12-02 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法
CN101656863A (zh) * 2009-08-07 2010-02-24 深圳华为通信技术有限公司 一种会议控制的方法、装置和系统
CN101860714A (zh) * 2010-04-29 2010-10-13 中兴通讯股份有限公司 一种视频处理方法及其系统、mcu视频处理单元
CN102131090A (zh) * 2010-11-22 2011-07-20 华为技术有限公司 视频文件播放的方法、系统及媒体资源服务器
CN103518370A (zh) * 2011-04-22 2014-01-15 权奇薰 视频会议系统的视频结构调节方法及其系统
CN102325246A (zh) * 2011-10-18 2012-01-18 Tcl集团股份有限公司 一种视频会议系统、视频会议服务器及移动通信终端
US9386267B1 (en) * 2012-02-14 2016-07-05 Arris Enterprises, Inc. Cooperative transcoding to multiple streams
JP6179834B1 (ja) * 2016-09-27 2017-08-16 パナソニックIpマネジメント株式会社 テレビ会議装置
CN107027000A (zh) * 2017-04-25 2017-08-08 西安诺瓦电子科技有限公司 视频处理器、显示系统以及视频图像处理方法
CN109831637A (zh) * 2017-11-23 2019-05-31 中兴通讯股份有限公司 一种视频会议中数据传输方法、服务器以及系统
CN108134918A (zh) * 2018-01-30 2018-06-08 苏州科达科技股份有限公司 视频处理方法、装置及多点视频处理单元、会议设备
CN108471513A (zh) * 2018-03-28 2018-08-31 国网辽宁省电力有限公司信息通信分公司 视频融合方法、装置及服务器

Also Published As

Publication number Publication date
CN111901680B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US10897620B2 (en) Method and apparatus for processing a video
CN110572622B (zh) 视频解码方法及装置
EP2268035A2 (en) Video signal encoding and decoding method
US20170180746A1 (en) Video transcoding method and electronic apparatus
CN111263243B (zh) 视频编码方法、装置、计算机可读介质及电子设备
CN104410857A (zh) 一种图像显示控制方法及相关设备
GB2551199A (en) Video data processing system
CN113869125A (zh) 一种视频流的分析处理方法、装置、设备及可读存储介质
CN114339248A (zh) 一种视频转码及视频显示方法、装置及电子设备
CN115358911A (zh) 屏幕水印的生成方法、装置、设备和计算机可读存储介质
CN110933436A (zh) 图像编码方法、装置、计算机设备及存储介质
CN111901680B (zh) 多媒体数据处理方法、装置及服务器
CN113395523B (zh) 基于并行线程的图像解码方法、装置、设备及存储介质
CN116668691A (zh) 一种图片压缩传输方法、装置及终端设备
CN112817913B (zh) 数据传输方法、装置、电子设备及存储介质
CN111405233B (zh) 视频会议中的加密图形传输方法、装置、存储介质及系统
CN107277650B (zh) 视频文件切割方法及装置
CN111339367A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN113569092B (zh) 一种视频分类方法、装置、电子设备及存储介质
CN116781973B (zh) 视频编解码方法、装置、存储介质和电子设备
CN115633210A (zh) 视频字幕去除方法及装置
CN112491924B (zh) 跨平台人脸识别登录方法、系统及存储介质
CN113992918A (zh) 图像处理方法、装置、电子设备及存储介质
CN115499664A (zh) 视频编码方法、视频解码方法以及编码端或/和解码端
CN116916071A (zh) 视频画面显示方法、系统、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant