CN110290140A - 多媒体数据处理方法及装置、存储介质、电子设备 - Google Patents

多媒体数据处理方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN110290140A
CN110290140A CN201910578317.6A CN201910578317A CN110290140A CN 110290140 A CN110290140 A CN 110290140A CN 201910578317 A CN201910578317 A CN 201910578317A CN 110290140 A CN110290140 A CN 110290140A
Authority
CN
China
Prior art keywords
data
medium
session
process module
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910578317.6A
Other languages
English (en)
Other versions
CN110290140B (zh
Inventor
杨勇
张云飞
樊华恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910578317.6A priority Critical patent/CN110290140B/zh
Publication of CN110290140A publication Critical patent/CN110290140A/zh
Priority to JP2021555311A priority patent/JP7410966B2/ja
Priority to PCT/CN2020/092750 priority patent/WO2020259192A1/zh
Priority to EP20832485.5A priority patent/EP3993341A4/en
Priority to US17/469,872 priority patent/US11522922B2/en
Application granted granted Critical
Publication of CN110290140B publication Critical patent/CN110290140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2225—Local VOD servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本公开提供一种多媒体数据处理方法及装置、电子设备、存储介质；涉及通信技术领域。所述多媒体数据处理方法包括：通过部署于远端节点的信令处理模块，建立终端设备和媒体处理模块之间的会话，并对所述会话进行控制；通过部署于边缘计算节点的所述媒体处理模块，在与所述终端设备建立会话后，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。本公开可以降低系统部署复杂度和部署成本，并且提高运维效率和降低运维成本。

Description

多媒体数据处理方法及装置、存储介质、电子设备
技术领域
本公开涉及通信技术领域，具体而言，涉及一种多媒体数据处理方法、多媒体数据处理装置、电子设备以及计算机可读存储介质。
背景技术
边缘计算是一种分散式运算的架构。在这种架构下，会将应用程序处理、数据分析等运算，从原本完全由远端节点处理的大型服务分解成更小更容易管理的部分，分散到边缘计算节点去处理。由于边缘计算节点更接近于用户终端设备，因此可以加快数据的处理与传送速度，减少延迟。
现有技术中，在部分多媒体数据处理过程中，会将业务服务器部署在边缘计算节点，实现高质量、低时延的服务。
然而，现在技术中基于边缘计算的多媒体数据处理方法仍可能存在部署复杂度高、系统运维效率低等问题。因此，有必要提供一种新的多媒体数据处理方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种多媒体数据处理方法、多媒体数据处理装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的部署复杂度高、系统运维效率低等问题。
根据本公开的第一方面，提供一种多媒体数据处理方法，包括：
通过部署于远端节点的信令处理模块，建立终端设备和媒体处理模块之间的会话，并对所述会话进行控制；
通过部署于边缘计算节点的所述媒体处理模块，在与所述终端设备建立会话后，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。
在本公开的一种示例性实施例中，所述建立终端设备和媒体处理模块之间的会话，包括：
向所述终端设备发起包括数据接收地址信息的呼叫请求；
接收所述终端设备对于所述呼叫请求的响应信息，所述响应信息包括数据发送地址信息；
向所述媒体处理模块发送所述数据发送地址信息，并通知所述媒体处理模块根据所述数据接收地址接收所述多媒体数据；
向所述终端设备发送会话建立完成信息。
在本公开的一种示例性实施例中，所述方法还包括：
在部署于所述边缘计算节点的用户面功能实体预先配置转发策略；所述转发策略包括：将接收端口在预设范围的多媒体数据转发至所述媒体处理模块；
其中，所述数据接收地址信息包括在所述预设范围内的目标接收端口。
在本公开的一种示例性实施例中，所述数据接收地址信息包括目标接收端口；其中，在向所述媒体处理模块发送所述数据发送地址信息步骤之前还包括：
在部署于所述边缘计算节点的用户面功能实体配置转发策略；所述转发策略包括：将接收端口为所述目标接收端口的多媒体数据转发至所述媒体处理模块。
在本公开的一种示例性实施例中，所述方法还包括：
在所述会话结束后，删除所述转发策略。
在本公开的一种示例性实施例中，所述方法还包括：
通过所述用户面功能实体按照所述转发策略将所述终端设备发送的多媒体数据转发至所述媒体处理模块。
在本公开的一种示例性实施例中，对所述会话进行控制包括保持所述会话以及结束所述会话。
在本公开的一种示例性实施例中，所述对所述多媒体数据进行处理包括：
对所述多媒体数据进行解码，得到解码数据；
对所述解码数据进行计算分析以转换为结构化多媒体数据。
在本公开的一种示例性实施例中，所述对所述多媒体数据进行处理还包括：
将所述结构化多媒体数据发送至所述远端节点。
根据本公开的第二方面，提供一种多媒体数据处理装置，包括：
信令处理模块，部署于远端节点，用于建立终端设备和媒体处理模块之间的会话，并对所述会话进行控制；
媒体处理模块，部署于边缘计算节点，用于在与所述终端设备建立会话后，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。
在本公开的一种示例性实施例中，所述装置包括多个信令处理模块以及多个所述媒体处理模块，所述信令处理模块的数量少于所述媒体处理模块的数量。
在本公开的一种示例性实施例中，所述装置包括一个信令处理模块以及多个所述媒体处理模块。
在本公开的一种示例性实施例中，所述远端节点包括区域网络计算平台和/或互联网计算平台。
在本公开的一种示例性实施例中，所述信令处理模块通过下述步骤建立终端设备和媒体处理模块之间的会话：向所述终端设备发起包括数据接收地址信息的呼叫请求；接收所述终端设备对于所述呼叫请求的响应信息，所述响应信息包括数据发送地址信息；向所述媒体处理模块发送所述数据发送地址信息，并通知所述媒体处理模块根据所述数据接收地址接收所述多媒体数据；向所述终端设备发送会话建立完成信息。
在本公开的一种示例性实施例中，所述信令处理模块还用于：在部署于所述边缘计算节点的用户面功能实体预先配置转发策略；所述转发策略包括：将接收端口在预设范围的多媒体数据转发至所述媒体处理模块；其中，所述数据接收地址信息包括在所述预设范围内的目标接收端口。
在本公开的一种示例性实施例中，所述数据接收地址信息包括目标接收端口；其中，所述信令处理模块在向所述媒体处理模块发送所述数据发送地址信息步骤之前还用于：在部署于所述边缘计算节点的用户面功能实体配置转发策略；所述转发策略包括：将接收端口为所述目标接收端口的多媒体数据转发至所述媒体处理模块。
在本公开的一种示例性实施例中，所述信令处理模块还用于：在所述会话结束后，删除所述转发策略。
在本公开的一种示例性实施例中，所述装置包括：
用户面功能实体，用于按照所述转发策略将所述终端设备发送的多媒体数据转发至所述媒体处理模块。
在本公开的一种示例性实施例中，对所述会话进行控制包括保持所述会话以及结束所述会话。
在本公开的一种示例性实施例中，所述媒体处理模块通过如下步骤对所述多媒体数据进行处理：对所述多媒体数据进行解码，得到解码数据；对所述解码数据进行计算分析以转换为结构化多媒体数据。
在本公开的一种示例性实施例中，所述媒体处理模块还用于：将所述结构化多媒体数据发送至所述远端节点。
根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的多媒体数据处理方法中，将媒体处理模块部署在边缘计算节点，将信令处理模块部署在远端节点，通过信令处理模块建立终端设备和媒体处理模块之间的会话，并对所述会话进行控制；通过媒体处理模块，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。一方面，由于信令处理模块只需处理控制信令，占用的网络资源和计算资源都不大；因此可以由一个信令处理模块同时负责多个分散在不同边缘计算节点的媒体处理模块以及多个终端设备之间的会话。因此，基于本示例实施方式中的方法，可以简化多媒体数据处理应用的部署模式，显著的降低边缘计算节点的部署复杂性；同时，还可以降低边缘计算节点所需的基础设施资源的数量，从而可以降低部署成本。另一方面，由于信令处理模块部署在远端节点，安装、升级和维护也变得更加简单和便利。同时，边缘计算节点中只有无状态的媒体处理模块，进而边缘计算节点中部署的边缘计算服务将成为一致性的单一服务类型，边缘计算节点的管理、运维工作将变得更加高效。因此，基于本示例实施方式中的方法可以极大地提升整个系统的运维效率，降低运维成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种多媒体数据处理方法及装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一个实施例的多媒体数据处理装置的部署架构的示意图；
图4示意性示出了根据本公开的一个实施例的多媒体数据处理装置的部署架构的示意图；
图5示意性示出了根据本公开的一个实施例的多媒体数据处理方法的流程图；
图6示意性示出了根据本公开的一个实施例中建立多媒体会话过程的流程图；
图7示意性示出了根据本公开的一个实施例中建立多媒体会话过程的交互流程图；
图8示意性示出了根据本公开的一个实施例中建立多媒体会话过程的交互流程图；
图9示意性示出了根据本公开的一个实施例中对多媒体数据进行处理的步骤的流程图；
图10示意性示出了根据本公开的一个实施例的多媒体数据处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种多媒体数据处理方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，基站104、边缘计算节点105、区域网络计算平台106以及互联网计算平台107。边缘计算节点105可以为靠近网络接入的地点的计算平台，其例如可以位于边缘数据中心(Edge DataCenter，简称Edge DC)；区域网络计算平台106以及互联网计算平台107可以作为本公开中的远端节点，区域网络计算平台106例如可以位于区域数据中心(Local Data Center，简称Local DC)，互联网计算平台107例如可以位于互联网数据中心(Internet Data Center，简称IDC)。此外，在图1中为三层网络结构，但在其他示例性实施例中，也可以为两层网络结构，即可以是边缘计算节点104直接与互联网计算平台107通信连接；也可以为三层以上的网络结构，本示例性实施例中对此不做特殊限定。
终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于摄像头、台式计算机、便携式计算机、智能手机和平板电脑等等。边缘计算节点105、区域网络计算平台106以及互联网计算平台107均包括服务器。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如边缘计算节点105、区域网络计算平台106以及互联网计算平台107可以是多个服务器组成的服务器集群等；再比如，所述区域网络计算平台106以及互联网计算平台107也可以为云计算平台，从而实现边云协同的架构；即边缘计算节点与远端云计算平台协同发挥作用。
本公开实施例所提供的多媒体数据处理方法一般由服务器执行，相应地，多媒体数据处理装置一般设置于服务器中。举例而言，在一种示例性实施例中，可以在边缘计算节点105部署MEC(Mobile Edge Computing，移动边缘计算)应用，从而加速网络中各项内容、服务及应用的快速下载，让消费者享有不间断的高质量网络体验。非MEC应用处理的网络流量则可以由边缘计算节点105中的用户面功能实体(User Plane Function，UPF)转发给区域网络计算平台106中的用户面功能实体，最终再进入互联网计算平台107。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，计算机系统200还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
以下对本公开实施例的技术方案进行详细阐述：
基于图1中所出的边缘计算网络部署架构，针对不同的应用场景，可以有不同的解决方案。
以基于边缘计算的视频监控应用场景为例，发明人提供的一种实现方案如图3所示。在该实现方案中，将信令处理模块和媒体处理模块部署在边缘计算节点，通过信令处理模块控制视频的接入，通过媒体处理模块对接收的视频进行基于GPU(GraphicsProcessing Unit，图形处理器)和深度神经网络的视频分析，从而输出结构化的视频数据，然后将这些结构化的视频数据再发往部署在远端节点的数据处理模块，进行基于结构化视频数据的检索和分析等。基于这种实现方案，一方面，由部署在用户侧边缘计算节点进行视频会话信令处理和媒体处理，提升了视频实时处理效率；另一方面，由部署在远端节点的数据处理模块接受并处理边缘计算节点发送过来的视频结构化数据，由于避免了原始视频媒体数据在边缘计算节点和远端节点之间的传输，有效降低了边缘计算节点与远端节点之间的网络带宽要求。
以基于边缘计算的视频点播应用场景为例，发明人提供的一种实现方案是，将信令处理模块和媒体处理模块部署在包括流媒体服务器的边缘计算节点，将CDN(ContentDelivery Network，内容分发网络)管理服务器部署在远端节点。当某个用户请求流媒体点播服务时，请求首先提交给远端节点的CDN管理服务器，由CDN管理服务器根据相应策略，选择相应的边缘计算节点中部署的流媒体服务器，并将用户请求前转至该流媒体服务器为用户提供就近的高质量、低时延的视频点播服务；同时，也减少了用户终端设备和远端节点之间的视频数据传输。
在以上两种场景的实现方案中，都是在各个边缘计算节点部署了完整的业务服务器，均包括信令处理模块和媒体处理模块。将信令处理模块和媒体处理模块同时部署在边缘计算节点，增加了系统部署的复杂度，而且也增加了系统部署成本；此外，在系统升级或扩容时，需要分别对各个边缘计算节点中部署的信令处理模块或媒体处理模块都进行升级或者扩容，系统运维效率和成本也比较高。
在多媒体会话业务系统中，信令处理模块负责媒体会话的建立，一路会话从发起到结束，整个信令交互占用的计算资源很少，其所占用的网络资源同媒体传输所占用的网络资源相比，也可以忽略不计。基于上述内容，发明人提供一种多媒体数据处理方法，该多媒体数据处理方法可以应用于如图4所示的面向多媒体会话类应用的部署架构。
参考图4所示，在该部署架构中，将多媒体数据处理装置分为信令处理模块和媒体处理模块两个模块，信令处理模块部署在远端节点，例如可以部署在上述区域网络计算平台106或者互联网计算平台107；媒体处理模块仍部署在边缘计算节点105，从而实现一种简单、灵活的边缘计算应用。基于该部署架构，用户终端设备和多媒体数据处理装置之间的多媒体会话的信令处理由部署在远端节点的信令处理模块来完成，而用户终端设备与多媒体数据处理装置之间的媒体处理由分散部署在边缘计算节点的媒体处理模块来完成。
下面结合图5所示，对基于上述部署架构的多媒体数据处理方法进行介绍。参考图5所示，该方法可以包括以下步骤S510至步骤S520：
步骤S510，通过部署于远端节点的信令处理模块，建立终端设备和媒体处理模块之间的会话，并对所述会话进行控制。
本示例实施方式中，会话是指一个终端设备与媒体处理模块进行通讯的过程。基于所述信令处理模块可以建立终端设备和媒体处理模块之间的会话，除此之外，还可以控制所述会话保持以及结束所述会话。信令处理模块部署在远端机房。以视频监控应用场景为例，信令处理模块支持的协议可以包括SIP(Session Initiation Protocol，会话启动协议)和RTSP(Real-Time Stream Protocol，实时流传输控制协议)等多媒体会话协议。当然，根据应用场景以及需求的不同，信令处理模块支持的协议也可以包括HLS(HTTP LiveStreaming，苹果公司的一种流媒体传输协议)、RTMP(Real Time Messaging Protocol，实时消息传送协议)等其它多媒体会话协议；在非多媒体会话应用场景中，信令处理模块还可以支持非多媒体会话协议；本示例性实施例中并不以此为限。
参考图6所示，本示例实施方式中，可以通过下述步骤S610至步骤S640建立终端设备和媒体处理模块之间的会话。具体而言：
在步骤S610中，向所述终端设备发起包括数据接收地址信息的呼叫请求。例如，在接收到业务管理员发起摄像头视频接入请求之后，信令处理模块向摄像头发起如SIP\RTSP呼叫请求；呼叫请求可以包括如SDP(Session Description Protocol，会话描述协议)格式的数据接收地址信息；数据接收地址信息可以包括如媒体处理模块的IP地址以及连接端口号信息等。
在步骤S620中，接收所述终端设备对于所述呼叫请求的响应信息，所述响应信息包括数据发送地址信息。例如，摄像头在接收到信令处理模块的呼叫请求之后，可以向信令处理模块回复响应信息；响应信息可以包括如SDP格式的数据发送地址信息；数据发送地址信息可以包括如摄像头标识(如ID等)、摄像头发送多媒体数据的源IP地址和发送端口号等信息。
在步骤S630中，向所述媒体处理模块发送所述数据发送地址信息，并通知所述媒体处理模块根据所述数据接收地址接收所述多媒体数据。
在步骤S640中，向所述终端设备发送会话建立完成信息。
在上述会话过程中，根据配置策略，用户面功能实体可以将控制面的SIP\RTSP等协议直接在终端设备和信令处理模块之间进行交换。本示例实施方式中，用户面功能实体可以是5G网络中的用户面设备，但并不以此为限；例如，用户面功能实体也可以是无线接入网关(如WiFi网关)、有线接入网关等非移动通讯网关设备。用户面功能实体对多媒体数据的转发策略可以包括静态策略和动态策略。具体而言：
基于静态策略，需要在部署于所述边缘计算节点的用户面功能实体预先配置转发策略；所述转发策略包括：将接收端口在预设范围的多媒体数据转发至所述媒体处理模块；其中，所述数据接收地址信息包括在所述预设范围内的目标接收端口。同时，在多媒体会话协商过程中，需要要求终端设备设定接收端口在预设范围。以上述视频监控应用场景为例，例如基于SIP协议，可以在SDP协商过程中，要求摄像头将发送的多媒体数据的目标接收端口限定为10000～20000，然后在用户面功能实体中配置转发策略，凡是接收到摄像头发送过来的目标接收端口在10000～20000、类型为RTP(Real-time Transport Protocol，实时传输协议)的IP包，如UDP(User Datagram Protocol，用户数据报协议)报文统一转发给媒体处理模块对应的端口。
参考图7所示，为一种基于静态策略的会话过程示意图。其中包括步骤S710至步骤S760。具体而言：
在步骤S710中，在接收到业务管理员发起摄像头视频接入请求之后，信令处理模块向摄像头发起SIP\RTSP呼叫请求；呼叫请求可以包括如SDP(Session DescriptionProtocol，会话描述协议)格式的数据接收地址信息。数据接收地址信息需要限定数据接收端口为10000～20000范围内的某一空闲端口Port A；连接地址指定为媒体处理模块的IP地址。
在步骤S720中，摄像头在接收到信令处理模块的呼叫请求之后，可以向信令处理模块回复响应信息；响应信息可以包括如SDP格式的数据发送地址信息；数据发送地址信息可以包括摄像头标识(如ID等)、摄像头发送多媒体数据的源IP地址和发送端口号等信息。
在步骤S730中，信令处理模块收到摄像头的响应信息之后，向媒体处理模块发送指令，包括摄像头标识、摄像头发送多媒体数据的源IP地址和发送端口号等信息，以通知媒体处理模块准备在Port A开始接收摄像头发送过来的多媒体数据。
在步骤S740中，信令处理模块向所述终端设备发送会话建立完成信息，以确认会话建立。
在步骤S750中，摄像头开始向边缘计算节点的用户面功能实体发送多媒体数据报文；多媒体数据报文的目标接收端口为Port A。
在步骤S760中，边缘计算节点的用户面功能实体在接收到摄像头发送的多媒体数据报文之后，根据预先设定的转发策略，向媒体处理模块的端口Port A转发多媒体数据报文。
基于动态策略，所述数据接收地址信息包括目标接收端口；其中，在向所述媒体处理模块发送所述数据发送地址信息步骤之前还包括：在部署于所述边缘计算节点的用户面功能实体配置转发策略；所述转发策略包括：将接收端口为所述目标接收端口的多媒体数据转发至所述媒体处理模块。以上述视频监控应用场景为例，例如基于SIP协议，可以在SDP协商过程中，随机选择某一空闲端口Port B作为目标接收端口；然后在用户面功能实体中配置转发策略，凡是接收到摄像头发送过来的目标接收端口为Port B、类型为RTP的IP包，如UDP报文统一转发给媒体处理模块对应的端口Port B。
参考图8所示，为一种基于静态策略的会话过程示意图。其中包括步骤S810至步骤S870。具体而言：
在步骤S810中，在接收到业务管理员发起摄像头视频接入请求之后，信令处理模块向摄像头发起SIP\RTSP呼叫请求；呼叫请求可以包括如SDP格式的数据接收地址信息。数据接收地址信息需要限定数据接收端口为随机选择的某一空闲端口Port B；连接地址指定为媒体处理模块的IP地址。
在步骤S820中，摄像头在接收到信令处理模块的呼叫请求之后，可以向信令处理模块回复响应信息；响应信息可以包括如SDP格式的数据发送地址信息；数据发送地址信息可以包括如摄像头标识(如ID等)、摄像头发送多媒体数据的源IP地址和发送端口号等信息。
在步骤S830中，信令处理模块收到摄像头的响应信息之后，向用户面功能实体发送指令，设置用户面功能实体的转发策略。该转发策略要求凡是接收到摄像头发送过来的目标接收端口为Port B、类型为RTP的IP包，如UDP报文统一转发给媒体处理模块对应的端口Port B。
在步骤S840中，信令处理模块向媒体处理模块发送指令，包括摄像头标识、摄像头发送多媒体数据的源IP地址和发送端口号等信息，以通知媒体处理模块准备在Port B开始接收摄像头发送过来的多媒体数据。
在步骤S850中，信令处理模块向所述终端设备发送会话建立完成信息，以确认会话建立。
在步骤S860中，摄像头开始向边缘计算节点的用户面功能实体发送多媒体数据报文；多媒体数据报文的目标接收端口为Port B。
在步骤S870中，边缘计算节点的用户面功能实体在接收到摄像头发送的多媒体数据报文之后，根据预先设定的转发策略，向媒体处理模块的端口Port B转发多媒体数据报文。
此外，在所述会话结束后，则可以删除上述设定的动态转发策略，以避免对后续会话的建立造成影响。
步骤S450，通过部署于边缘计算节点的所述媒体处理模块，在与所述终端设备建立会话后，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。
本示例实施方式中，媒体处理模块部署在边缘计算节点。媒体处理模块主要负责多媒体数据的处理，包括音视频媒体包的接收、音视频数据的解码以及基于深度学习方法的音视频内容分析等。如果采用深度学习方法进行音视频内容分析，媒体处理模块通常需要GPU来加速媒体分析的计算性能。基于此，本示例实施方式中，所述对所述多媒体数据进行处理可以包括步骤S910以及步骤S920。其中：
在步骤S910中，对所述多媒体数据进行解码，得到解码数据。本示例实施方式中，可以对多媒体数据进行无损解码，即解码图像和原始图像严格相同，压缩是完全可恢复的或无偏差的，没有失真。当然，为了减少数据量，也可以采用有损解码。解码模块可以是软件模块，也可以是硬件模块；本示例性实施例中对此不做特殊限定。
在步骤S920中，对所述解码数据进行计算分析以转换为结构化多媒体数据。本示例实施方式中，可以对多媒体数据内容中的重要信息进行结构化提取，采用时空分割、特征提取、对象识别、深度学习等处理手段，组织成可供计算机和人理解的文本信息或可视化图形信息。通过将多媒体数据结构化，可以将原本数量庞大、响应缓慢、且大多没有应用价值的监控视频进行精缩，从而极大提升搜索和排查效率，同时大幅度降低存储空间占用。
参考图7中步骤S770或者图8中步骤S880中，在所述媒体处理模块将多媒体数据转换为结构化多媒体数据之后，还可以将所述结构化多媒体数据发送至所述远端节点。例如，发送至区域网络计算平台106或者互联网计算平台107的数据处理模块。本示例实施方式中，数据处理模块可以根据产品需要，利用结构化多媒体数据进行多媒体检索或识别等工作，例如人脸检索、人脸识别、人体行为分析等。例如，可以基于处理结构建立结构化数据仓库，如人脸照片数据库、人脸特征数据库、行为图片及特征库、车辆图像及特征库等等，并综合这些数据仓库以及关联视频片段仓库建立相应的检索引擎，实现对各类的数据仓库的深度信息挖掘，充分发挥大数据作用，提升视频数据的应用价值，提高视频数据的分析和预测功能。
本示例实施方式中的多媒体数据处理方法中，将媒体处理模块部署在边缘计算节点，将信令处理模块部署在远端节点。媒体处理模块部署的数量取决于接入的终端设备的数目，如摄像头的数目。而信令处理模块只需处理控制信令，占用的网络资源和计算资源都不大；因此可以由一个信令处理模块同时负责多个分散在不同边缘计算节点的媒体处理模块以及多个终端设备之间的会话。例如，以部署在一个通用的X86架构的服务器上SIP信令处理模块为例，一般可以同时支持数千路的SIP呼叫，即可以处理同时数千个支持SIP协议的摄像头与媒体处理模块之间的会话；例如信令处理模块启动一个或数个服务实例即可满足全网全部边缘计算节点的媒体处理模块与终端设备的服务要求。因此，基于本示例实施方式中的方法，可以简化多媒体数据处理应用的部署模式，显著的降低边缘计算节点的部署复杂性；同时，还可以降低边缘计算节点所需的基础设施资源的数量，从而可以降低部署成本。
同时，由于信令处理模块部署在远端节点，安装、升级和维护也变得更加简单和便利。同时，对于边缘计算节点而言，信令处理模块是一种有状态的计算服务，而媒体处理模块是一种无状态的计算服务；在将有状态的信令处理模块部署在远端节点之后，边缘计算节点中只有无状态的媒体处理模块，进而边缘计算节点中部署的边缘计算服务将成为一致性的单一服务类型，边缘计算节点的管理、运维工作将变得更加高效。因此，基于本示例实施方式中的方法可以极大地提升整个系统的运维效率，降低运维成本。
此外，在本示例实施方式中的多媒体数据处理方法中，对用户面功能实体而言，由于无需将信令控制流量卸载(Traffic Offload)到边缘计算节点，用户面功能实体的转发策略配置也变得更加简单便捷，因此还可以降低整个系统流量卸载功能的复杂性。
在上述示例性实施例中是以视频监控应用场景为例进行的说明。在本公开的其他示例性实施例中，本公开的多媒体数据处理方法也可以应用于语音监测、车联网和自动驾驶应用、视频点播、游戏娱乐等其他的应用场景，这同样属于本公开的保护范围。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种多媒体数据处理装置。参考图10所示，该多媒体数据处理装置1000可以包括信令处理模块1010以及媒体处理模块1020。其中：
所述信令处理模块1010部署于远端节点，用于建立终端设备和媒体处理模块1020之间的会话，并对所述会话进行控制；所述媒体处理模块1020部署于边缘计算节点，用于在与所述终端设备建立会话后，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。
本示例实施方式中，所述装置包括多个信令处理模块1010以及多个所述媒体处理模块1020，所述信令处理模块1010的数量少于所述媒体处理模块1020的数量。
本示例实施方式中，所述装置包括一个信令处理模块1010以及多个所述媒体处理模块1020。
本示例实施方式中，所述远端节点包括区域网络计算平台和/或互联网计算平台。
本示例实施方式中，所述信令处理模块1010通过下述步骤建立终端设备和媒体处理模块1020之间的会话：向所述终端设备发起包括数据接收地址信息的呼叫请求；接收所述终端设备对于所述呼叫请求的响应信息，所述响应信息包括数据发送地址信息；向所述媒体处理模块1020发送所述数据发送地址信息，并通知所述媒体处理模块1020根据所述数据接收地址接收所述多媒体数据；向所述终端设备发送会话建立完成信息。
本示例实施方式中，所述信令处理模块1010还用于：在部署于所述边缘计算节点的用户面功能实体预先配置转发策略；所述转发策略包括：将接收端口在预设范围的多媒体数据转发至所述媒体处理模块1020；其中，所述数据接收地址信息包括在所述预设范围内的目标接收端口。
本示例实施方式中，所述数据接收地址信息包括目标接收端口；其中，所述信令处理模块1010在向所述媒体处理模块1020发送所述数据发送地址信息步骤之前还用于：在部署于所述边缘计算节点的用户面功能实体配置转发策略；所述转发策略包括：将接收端口为所述目标接收端口的多媒体数据转发至所述媒体处理模块1020。
本示例实施方式中，所述信令处理模块1010还用于：在所述会话结束后，删除所述转发策略。
本示例实施方式中，所述装置包括：
用户面功能实体，用于按照所述转发策略将所述终端设备发送的多媒体数据转发至所述媒体处理模块1020。
本示例实施方式中，对所述会话进行控制包括保持所述会话以及结束所述会话。
本示例实施方式中，所述媒体处理模块1020通过如下步骤对所述多媒体数据进行处理：对所述多媒体数据进行解码，得到解码数据；对所述解码数据进行计算分析以转换为结构化多媒体数据。
本示例实施方式中，所述媒体处理模块1020还用于：将所述结构化多媒体数据发送至所述远端节点。
上述多媒体数据处理装置中各模块或单元的具体细节已经在对应的多媒体数据处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种多媒体数据处理方法，其特征在于，包括：
通过部署于远端节点的信令处理模块，建立终端设备和媒体处理模块之间的会话，并对所述会话进行控制；
通过部署于边缘计算节点的所述媒体处理模块，在与所述终端设备建立会话后，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。
2.根据权利要求1所述的多媒体数据处理方法，其特征在于，所述建立终端设备和媒体处理模块之间的会话，包括：
向所述终端设备发起包括数据接收地址信息的呼叫请求；
接收所述终端设备对于所述呼叫请求的响应信息，所述响应信息包括数据发送地址信息；
向所述媒体处理模块发送所述数据发送地址信息，并通知所述媒体处理模块根据所述数据接收地址接收所述多媒体数据；
向所述终端设备发送会话建立完成信息。
3.根据权利要求2所述的多媒体数据处理方法，其特征在于，所述方法还包括：
在部署于所述边缘计算节点的用户面功能实体预先配置转发策略；所述转发策略包括：将接收端口在预设范围的多媒体数据转发至所述媒体处理模块；
其中，所述数据接收地址信息包括在所述预设范围内的目标接收端口。
4.根据权利要求2所述的多媒体数据处理方法，其特征在于，所述数据接收地址信息包括目标接收端口；其中，在向所述媒体处理模块发送所述数据发送地址信息步骤之前还包括：
在部署于所述边缘计算节点的用户面功能实体配置转发策略；所述转发策略包括：将接收端口为所述目标接收端口的多媒体数据转发至所述媒体处理模块。
5.根据权利要求4所述的多媒体数据处理方法，其特征在于，所述方法还包括：
在所述会话结束后，删除所述转发策略。
6.根据权利要求3～5任一项所述的多媒体数据处理方法，其特征在于，所述方法还包括：
通过所述用户面功能实体按照所述转发策略将所述终端设备发送的多媒体数据转发至所述媒体处理模块。
7.根据权利要求1所述的多媒体数据处理方法，其特征在于，对所述会话进行控制包括保持所述会话以及结束所述会话。
8.根据权利要求1所述的多媒体数据处理方法，其特征在于，所述对所述多媒体数据进行处理包括：
对所述多媒体数据进行解码，得到解码数据；
对所述解码数据进行计算分析以转换为结构化多媒体数据。
9.根据权利要求8所述的多媒体数据处理方法，其特征在于，所述对所述多媒体数据进行处理还包括：
将所述结构化多媒体数据发送至所述远端节点。
10.一种多媒体数据处理装置，其特征在于，包括：
信令处理模块，部署于远端节点，用于建立终端设备和媒体处理模块之间的会话，并对所述会话进行控制；
媒体处理模块，部署于边缘计算节点，用于在与所述终端设备建立会话后，接收所述终端设备发送的多媒体数据并对所述多媒体数据进行处理。
11.根据权利要求10所述的多媒体数据处理装置，其特征在于，所述装置包括多个信令处理模块以及多个所述媒体处理模块，所述信令处理模块的数量少于所述媒体处理模块的数量。
12.根据权利要求10所述的多媒体数据处理装置，其特征在于，所述装置包括一个信令处理模块以及多个所述媒体处理模块。
13.根据权利要求10所述的多媒体数据处理装置，其特征在于，所述远端节点包括区域网络计算平台和/或互联网计算平台。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的方法。
15.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-9任一项所述的方法。
CN201910578317.6A 2019-06-28 2019-06-28 多媒体数据处理方法及装置、存储介质、电子设备 Active CN110290140B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910578317.6A CN110290140B (zh) 2019-06-28 2019-06-28 多媒体数据处理方法及装置、存储介质、电子设备
JP2021555311A JP7410966B2 (ja) 2019-06-28 2020-05-28 マルチメディアデータ処理方法、装置、電子機器及びコンピュータプログラム
PCT/CN2020/092750 WO2020259192A1 (zh) 2019-06-28 2020-05-28 多媒体数据处理方法及装置、存储介质、电子设备
EP20832485.5A EP3993341A4 (en) 2019-06-28 2020-05-28 MULTIMEDIA DATA PROCESSING METHOD AND DEVICE, STORAGE MEDIUM AND ELECTRONIC DEVICE
US17/469,872 US11522922B2 (en) 2019-06-28 2021-09-08 Multimedia data processing method and apparatus, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578317.6A CN110290140B (zh) 2019-06-28 2019-06-28 多媒体数据处理方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN110290140A true CN110290140A (zh) 2019-09-27
CN110290140B CN110290140B (zh) 2021-09-24

Family

ID=68020053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578317.6A Active CN110290140B (zh) 2019-06-28 2019-06-28 多媒体数据处理方法及装置、存储介质、电子设备

Country Status (5)

Country Link
US (1) US11522922B2 (zh)
EP (1) EP3993341A4 (zh)
JP (1) JP7410966B2 (zh)
CN (1) CN110290140B (zh)
WO (1) WO2020259192A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225280A (zh) * 2020-01-22 2020-06-02 复旦大学 基于嵌入式平台的轻量级视频分析系统
WO2020259192A1 (zh) * 2019-06-28 2020-12-30 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、存储介质、电子设备
CN113158717A (zh) * 2020-11-25 2021-07-23 杭州视洞科技有限公司 一种端及云人脸识别架构
CN113538024A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 广告管理方法、系统及内容传输网络设备
CN114268591A (zh) * 2020-09-16 2022-04-01 华为技术有限公司 数据分流方法和装置
WO2022247518A1 (zh) * 2021-05-26 2022-12-01 中兴通讯股份有限公司 多媒体云服务方法、通信云系统及计算机可读存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691817A (zh) * 2004-04-30 2005-11-02 华为技术有限公司 会话建立方法
CN1774707A (zh) * 2003-05-22 2006-05-17 思科技术公司 对等动态网页共享
CN1783817A (zh) * 2004-12-02 2006-06-07 华为技术有限公司 一种对媒体服务器进行大容量测试的系统及方法
CN101123718A (zh) * 2007-09-13 2008-02-13 华为技术有限公司 多媒体点播的方法及系统、多媒体终端
CN102090139A (zh) * 2008-08-06 2011-06-08 华为技术有限公司 用于会话控制的方法和系统
CN102281251A (zh) * 2010-06-09 2011-12-14 中兴通讯股份有限公司 一种实现智能家居应用的装置、系统和方法
CN102984402A (zh) * 2011-09-06 2013-03-20 中兴通讯股份有限公司 一种VoIP数据包的处理方法及系统
CN103179213A (zh) * 2013-04-03 2013-06-26 深圳市闪联信息技术有限公司 基于点对点代理机制的家庭媒体资源传输方法及系统
CN106713819A (zh) * 2015-07-24 2017-05-24 三亚中兴软件有限责任公司 用于视频会议的数据传输方法、装置及系统
CN107172664A (zh) * 2016-03-07 2017-09-15 大唐移动通信设备有限公司 数据传输方法、装置及系统
CN107466482A (zh) * 2017-06-07 2017-12-12 香港应用科技研究院有限公司 在蜂窝通信系统中联合确定计算卸载和内容预取的方法和系统
CN107566437A (zh) * 2016-07-01 2018-01-09 大唐移动通信设备有限公司 信息传输方法及装置
CN107690790A (zh) * 2015-06-04 2018-02-13 耐瑞唯信有限公司 用于代表加密端点的通信‑会话布置的方法和系统
CN108234511A (zh) * 2018-01-18 2018-06-29 携程旅游信息技术（上海）有限公司 多媒体数据传输的方法、系统、设备、存储介质及网关
CN108496341A (zh) * 2017-06-30 2018-09-04 北京小米移动软件有限公司 蜂窝网络中实现边缘计算的方法、装置、设备及基站
CN108521882A (zh) * 2017-10-27 2018-09-11 北京小米移动软件有限公司 网络接入方法及装置
CN108738104A (zh) * 2017-04-19 2018-11-02 华为技术有限公司 一种建立本地网络连接的方法、终端和网络设备
US20180376444A1 (en) * 2017-06-21 2018-12-27 Lg Electronics Inc. Method for performing service request procedure and apparatus therefor in wireless communication system
CN109218455A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 一种应用实例地址的转换方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060411A1 (en) * 2003-09-16 2005-03-17 Stephane Coulombe System and method for adaptation of peer-to-peer multimedia sessions
US9479967B1 (en) * 2007-10-26 2016-10-25 Genband Us Llc Enhanced media gateway
WO2017012674A1 (en) * 2015-07-23 2017-01-26 Nokia Solutions And Networks Oy Acceleration facility control in a network
US20170054770A1 (en) * 2015-08-23 2017-02-23 Tornaditech Llc Multimedia teleconference streaming architecture between heterogeneous computer systems
JPWO2017037776A1 (ja) 2015-08-28 2018-08-16 日本電気株式会社 端末とネットワークノードと通信制御方法並びにプログラム
US10104672B2 (en) * 2016-08-09 2018-10-16 Wipro Limited Method and a system for identifying operating modes of communications in mobile edge computing environment
US11082455B2 (en) * 2017-05-03 2021-08-03 T-Mobile Usa, Inc. Network gateway transcoder-utilization-aware session control
CN109274634B (zh) * 2017-07-18 2021-06-11 腾讯科技（深圳）有限公司 多媒体通信方法及装置、存储介质
WO2019118964A1 (en) 2017-12-15 2019-06-20 Idac Holdings, Inc. Enhanced nef function, mec and 5g integration
CN108063773B (zh) * 2018-02-11 2020-05-08 清华大学 一种基于移动边缘计算的应用服务接入方法及装置
CN108355350B (zh) * 2018-02-11 2020-04-10 清华大学 一种基于移动边缘计算的应用服务接入方法及装置
US20190215729A1 (en) * 2018-03-15 2019-07-11 Intel Corporation Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions
KR20200084614A (ko) * 2019-01-03 2020-07-13 삼성전자주식회사 IMS(IP multimedia subsystem) 서비스를 제공하는 전자 장치
CN110198363B (zh) * 2019-05-10 2021-05-18 深圳市腾讯计算机系统有限公司 一种移动边缘计算节点的选择方法、装置及系统
CN110290140B (zh) * 2019-06-28 2021-09-24 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、存储介质、电子设备
CN110912835B (zh) * 2019-11-08 2023-04-07 腾讯科技（深圳）有限公司 业务分流方法、装置及系统
US20220086218A1 (en) * 2020-12-23 2022-03-17 Dario Sabella Interoperable framework for secure dual mode edge application programming interface consumption in hybrid edge computing platforms

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774707A (zh) * 2003-05-22 2006-05-17 思科技术公司 对等动态网页共享
CN1691817A (zh) * 2004-04-30 2005-11-02 华为技术有限公司 会话建立方法
CN1783817A (zh) * 2004-12-02 2006-06-07 华为技术有限公司 一种对媒体服务器进行大容量测试的系统及方法
CN101123718A (zh) * 2007-09-13 2008-02-13 华为技术有限公司 多媒体点播的方法及系统、多媒体终端
CN102090139A (zh) * 2008-08-06 2011-06-08 华为技术有限公司 用于会话控制的方法和系统
CN102281251A (zh) * 2010-06-09 2011-12-14 中兴通讯股份有限公司 一种实现智能家居应用的装置、系统和方法
CN102984402A (zh) * 2011-09-06 2013-03-20 中兴通讯股份有限公司 一种VoIP数据包的处理方法及系统
CN103179213A (zh) * 2013-04-03 2013-06-26 深圳市闪联信息技术有限公司 基于点对点代理机制的家庭媒体资源传输方法及系统
CN107690790A (zh) * 2015-06-04 2018-02-13 耐瑞唯信有限公司 用于代表加密端点的通信‑会话布置的方法和系统
CN106713819A (zh) * 2015-07-24 2017-05-24 三亚中兴软件有限责任公司 用于视频会议的数据传输方法、装置及系统
CN107172664A (zh) * 2016-03-07 2017-09-15 大唐移动通信设备有限公司 数据传输方法、装置及系统
CN107566437A (zh) * 2016-07-01 2018-01-09 大唐移动通信设备有限公司 信息传输方法及装置
CN108738104A (zh) * 2017-04-19 2018-11-02 华为技术有限公司 一种建立本地网络连接的方法、终端和网络设备
CN107466482A (zh) * 2017-06-07 2017-12-12 香港应用科技研究院有限公司 在蜂窝通信系统中联合确定计算卸载和内容预取的方法和系统
US20180376444A1 (en) * 2017-06-21 2018-12-27 Lg Electronics Inc. Method for performing service request procedure and apparatus therefor in wireless communication system
CN108496341A (zh) * 2017-06-30 2018-09-04 北京小米移动软件有限公司 蜂窝网络中实现边缘计算的方法、装置、设备及基站
CN109218455A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 一种应用实例地址的转换方法和装置
CN108521882A (zh) * 2017-10-27 2018-09-11 北京小米移动软件有限公司 网络接入方法及装置
CN108234511A (zh) * 2018-01-18 2018-06-29 携程旅游信息技术（上海）有限公司 多媒体数据传输的方法、系统、设备、存储介质及网关

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259192A1 (zh) * 2019-06-28 2020-12-30 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、存储介质、电子设备
US11522922B2 (en) 2019-06-28 2022-12-06 Tencent Technology (Shenzhen) Company Limited Multimedia data processing method and apparatus, storage medium, and electronic device
CN111225280A (zh) * 2020-01-22 2020-06-02 复旦大学 基于嵌入式平台的轻量级视频分析系统
CN113538024A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 广告管理方法、系统及内容传输网络设备
CN113538024B (zh) * 2020-04-14 2023-12-26 中国移动通信集团浙江有限公司 广告管理方法、系统及内容传输网络设备
CN114268591A (zh) * 2020-09-16 2022-04-01 华为技术有限公司 数据分流方法和装置
EP4199475A4 (en) * 2020-09-16 2023-07-26 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR DATA OFFLOADING
CN114268591B (zh) * 2020-09-16 2024-03-26 华为技术有限公司 数据分流方法和装置
CN113158717A (zh) * 2020-11-25 2021-07-23 杭州视洞科技有限公司 一种端及云人脸识别架构
WO2022247518A1 (zh) * 2021-05-26 2022-12-01 中兴通讯股份有限公司 多媒体云服务方法、通信云系统及计算机可读存储介质

Also Published As

Publication number Publication date
WO2020259192A1 (zh) 2020-12-30
JP7410966B2 (ja) 2024-01-10
US20210409460A1 (en) 2021-12-30
US11522922B2 (en) 2022-12-06
EP3993341A4 (en) 2022-08-03
CN110290140B (zh) 2021-09-24
EP3993341A1 (en) 2022-05-04
JP2022538953A (ja) 2022-09-07

Similar Documents

Publication Publication Date Title
CN110290140A (zh) 多媒体数据处理方法及装置、存储介质、电子设备
US20230062526A1 (en) Method, apparatus, computer readable medium, and electronic device for communication
CN106416180B (zh) 使用客户端交互的abr网络中的冲突检测和解决
EP4027664A1 (en) Method and apparatus for providing network auxiliary information, electronic device, and computer-readable storage medium
CN106302366B (zh) 一种数据传输方法、装置和智能电视系统
CN106303674B (zh) 数据传输方法、装置和智能电视系统
CN109547844A (zh) 基于WebRTC协议的音视频推送方法和推流客户端
CN112261421B (zh) 虚拟现实的显示方法、装置、电子设备及存储介质
WO2023000936A1 (zh) 一种数据处理方法、网元设备以及可读存储介质
CN108259933A (zh) 一种能够支撑3种业务功能的推流平台
CN110267093A (zh) 直播视频推送方法、装置、存储介质、终端及直播镜
US20170171579A1 (en) Method and Device for Transcoding Live Video
CN107547517B (zh) 音视频节目录制方法和网络设备及计算机装置
CN115134632A (zh) 视频码率控制方法、设备、介质及内容分发网络cdn系统
CN114221909B (zh) 数据传输方法、装置、终端及存储介质
CN113556783B (zh) 媒体资源传输方法、相关装置及系统
CN113014950A (zh) 一种直播同步的方法、系统和电子设备
CN106973300A (zh) 一种移动互联网视频直播平台
US20220417813A1 (en) Methods and apparatus for application service relocation for multimedia edge services
US20120271959A1 (en) Feature set based content communications systems and methods
CN112511884B (zh) 一种音视频流的混流控制方法、系统和存储介质
CN108616760A (zh) 一种基于浏览器的直播方法、服务器、主播端和用户端
CN113453081A (zh) 视频传输方法、系统、相关设备及存储介质
US20120158937A1 (en) System and method for manipulating multimedia streams of ip telecommunications for multiple ip-enabled user devices
KR20140117977A (ko) 엔스크린 서비스의 에이에스엠디를 지원하는 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant