CN115297359A - 多媒体数据传输方法、装置、电子设备及存储介质 - Google Patents

多媒体数据传输方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115297359A
CN115297359A CN202210910775.7A CN202210910775A CN115297359A CN 115297359 A CN115297359 A CN 115297359A CN 202210910775 A CN202210910775 A CN 202210910775A CN 115297359 A CN115297359 A CN 115297359A
Authority
CN
China
Prior art keywords
special effect
multimedia data
effect processing
target
processing mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210910775.7A
Other languages
English (en)
Inventor
张毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210910775.7A priority Critical patent/CN115297359A/zh
Publication of CN115297359A publication Critical patent/CN115297359A/zh
Priority to PCT/CN2023/109364 priority patent/WO2024022391A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开实施例提供了一种多媒体数据传输方法、装置、电子设备及存储介质。其中，该方法包括：响应于数据传输请求，获取待传输的原始多媒体数据；如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。本公开实施例的技术方案，能够通过适用的特效处理模式对所述原始多媒体数据进行特效处理，实现了提高数据传输效率，降低处理器性能消耗，增加特效处理的多样性的技术效果。

Description

多媒体数据传输方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及数据处理技术领域，尤其涉及一种多媒体数据传输方法、装置、电子设备及存储介质。
背景技术
多媒体数据作为信息传播的重要载体之一，由于其丰富、直观及生动等优点备受用户青睐。随着智能设备的不断发展，用户对多媒体数据的质量的要求也越来越高。以视频为例，在很多场景中，要求视频具有高帧率和高分辨率，以保证观看效果。
在一些视频传输的场景中，为了进一步丰富视频的展示效果，还会对视频增加特效。相关的特效处理方式，是通过中央处理器(Central Processing unit，CPU)进行视频传输，通过图形处理器(Graphics Processing Unit，GPU)对视频进行特效处理。这就使得，在高帧率及高分辨率的视频进行特效处理时，可能会出现CPU性能消耗较高的情况，而且，高CPU占用带来的设备发热或者风扇转动问题也比较突出，影响用户的使用体验。
发明内容
本公开提供了一种多媒体数据传输方法、装置、电子设备及存储介质，以实现提高数据传输效率，降低处理器性能消耗，增加特效处理的多样性的技术效果。
第一方面，本公开实施例提供了一种多媒体数据传输方法，其中，该方法包括：
响应于数据传输请求，获取待传输的原始多媒体数据；
如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；
基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
第二方面，本公开实施例还提供了一种多媒体数据传输装置，其中，该装置包括：
原始数据获取模块，用于响应于数据传输请求，获取待传输的原始多媒体数据；
处理模式确定模块，用于如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；
特效处理模块，用于基于所述特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
第三方面，本公开实施例还提供了一种电子设备，其中，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的多媒体数据传输方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，其中，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的多媒体数据传输方法。
本公开实施例的技术方案，通过响应于数据传输请求，获取待传输的原始多媒体数据，能够在数据传输出去之前，自动获取原始多媒体数据。在满足预设特效处理条件的情况下，根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；可以在中央处理器和图形处理器处理模式中选择合适的方式对原始多媒体数据进行特效处理，相较于单一采用图像处理器进行特效处理的方式，特效处理模式与场景需求的适配性更高。进一步的，基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据，解决了相关技术中由于CPU性能消耗较高而带来的发热或者风扇转动的技术问题，实现了提高数据传输效率，有效降低处理器性能消耗，增加特效处理方式的多样性的技术效果，提升了用户的使用体验。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是本公开实施例所提供的一种多媒体数据传输方法流程示意图；
图2是本公开实施例所提供的一种多媒体数据传输方法流程示意图；
图3是本公开实施例所提供的一种多媒体数据传输方法流程示意图；
图4是本公开实施例所提供的一种多媒体数据传输方法流程示意图；
图5为本公开实施例提供的一种多媒体数据传输方法的可选实例的场景示意图；
图6为本公开实施例提供的另一种多媒体数据传输方法的可选实例的场景示意图；
图7是本公开实施例所提供的一种多媒体数据传输装置结构示意图；
图8是本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
图1为本公开实施例所提供的一种多媒体数据传输方法流程示意图，本公开实施例适用于视频会议的情形，该方法可以由多媒体数据传输装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。
如图1所示，所述方法包括：
S110、响应于数据传输请求，获取待传输的原始多媒体数据。
其中，数据传输请求可以理解为针对待传输的数据所发起的开始传输的请求。数据传输请求的生成方式可以有多种，例如可以是，在接收到作用于预先设置的用于发起数据传输请求的传输请求控件时生成，或者，当检测到预先设置的用于触发数据传输开始的触发事件时生成；又或者，当检测到预设的声音信息或手势信息时生成等。其中，触发事件可以根据实际情况进行设置，在此并不做具体限定，例如可以是，当前时间到达预设时间点、待传输数据为目标数据以及数据传输的应用程序被启用等事件中的至少一个。可以理解的是，在数据传输请求的生成方式可以根据应用场景进行设置，在此并不做具体限定。
其中，原始多媒体数据可以理解为未经特效处理的多媒体数据。具体地，所述原始多媒体数据可以是针对应用场景，基于数据传输设备采集预设格式的待传输的多媒体数据。所述原始多媒体数据的形式可以有多种。示例性地，所述原始多媒体数据可以包括原始图像数据、原始视频数据以及原始音频数据中的至少一种。在不同应用场景中，原始多媒体数据的数据形式可能不同。例如，在视频会议场景中，所述原始多媒体数据可以是针对视频会议采集的预设格式的原始视频数据；在音频通话过程中，所述原始多媒体数据可以是针对通话对象采集的预设格式的原始音频数据。
在视频会议场景中，可选的，所述数据传输请求可基于接收到的针对视频会议的会议开始触发操作生成。具体地，可以是在接收到点击视频会议的开始按钮的操作时生成。可选的，所述响应于数据传输请求，获取待传输的原始多媒体数据，可以包括：响应于针对视频会议的会议开始触发操作，基于视频采集设备采集第一编码格式的待传输的原始视频数据，其中，所述第一编码格式至少包括亮度参量和色度参量分开表示的像素格式。
其中，所述视频采集设备可以理解为具有采集所述原始视频数据功能的设备。示例性的，可以是设置于安装有视频会议客户端的设备上的镜头或视频分配器等。所述第一编码格式可以理解为针对视频采集设备采集的原始视频数据的格式。在本公开实施例中，所述第一编码格式可以根据实际需求具体设定，在此不做具体限定。可以理解的是，采集第一编码格式的待传输的原始视频数据，有利于所述原始视频数据的传输与处理。可选的，所述第一编码格式至少包括亮度参量和色度参量分开表示的像素格式。其中，所述亮度参量可以理解为能够确定所述原始视频数据明亮程度的参量。所述色度参量可以理解为能够确定所述原始视频数据颜色的色调和饱和度的参量。
S120、如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式。
其中，所述预设特效处理条件可以理解为预先设置的用于判断是否需要针对所述原始多媒体数据进行特效处理的条件。在本公开实施例中，所述预设特效处理条件可以根据应用场景预设，在此不做具体限定。
可选的，所述预设特效处理条件包括下述条件中的至少一种：
检测到预设的特效标志位；
检测到所述数据传输请求中携带有针对所述原始多媒体数据预设的特效处理请求；
接收到作用于预设的特效处理控件的特效触发操作，其中，所述特效触发操作包括特效启用操作、特效删除操作以及特效调整操作中的至少一种。
其中，所述特效标志位可以理解为用于表征需要进行特效处理的标志性参数，具体可以是，标志位的值用于标识特效处理功能处于开启状态的值。在本公开实施例中，所述特效标志位的表示形式可以有多种，其具体表示形式根据实际需求预设，在此不做具体限定。例如可以用数字标识、字母或单词等表示。
其中，所述特效处理请求可以理解为针对原始多媒体数据启动特效处理的请求。在本公开实施例中，所述特效处理请求可以基于所述数据传输请求发起。具体可以是，默认在原始多媒体数据传输之前都需要对原始多媒体数据进行特效处理，即，所述数据传输请求中默认携带有针对所述原始多媒体数据预设的特效处理请求。可选地，根据数据传输请求的生成方式确定所述数据传输请求中是否携带有针对所述原始多媒体数据预设的特效处理请求。例如，可以预先设置不同的用于发起数据传输请求的传输请求控件，其中，至少一个传输请求控件用于发起携带有用于对所述原始多媒体数据进行特效处理的特效处理请求的数据传输请求。进而，可以通过触发哪个传输请求控件确定所述数据传输请求中是否携带有针对所述原始多媒体数据预设的特效处理请求。
可选地，在数据传输请求界面，可以设置有用于选择是否对原始多媒体数据进行特效处理的选项，还可以设置有数据传输开始控件。具体地，所述数据传输请求中携带有针对所述原始多媒体数据预设的特效处理请求，还可以是，在数据传输请求发出之前，特效处理请求已经发出，换言之，在数据传输开始之前，已经选中需要对原始多媒体数据进行特效处理的选项。进而，当接收到用于数据传输开始控件的传输触发操作时，将所述特效处理请求伴随数据传输请求一起发起。具体的，在请求数据传输开始之前，选中特效处理选项；点击数据传输开始控件，根据数据传输请求对所述原始多媒体数据进行特效处理。
其中，所述特效处理控件可以理解为对特效处理功能的封装。在本公开实施例中，特效触发操作可以作用于特效处理控件，以触发执行对所述原始多媒体数据进行特效处理的操作。具体的，在视频会议开始后，通过作用于预设的特效处理控件的启用特效操作、删除特效操作以及调整特效操作等，对所述原始多媒体数据进行对应的特效处理。
可以理解的是，特效处理的方式可以有多种。示例性地，按照处理对象的不同，可以分为背景类特效和主体特效等。其中，背景类特效可以包括背景替换以及背景虚化等。主体类特效可以包括与不同主体部位对应的特效，例如可以是主体虚化、皮肤磨皮、大眼瘦脸、动态装饰或面部虚拟头套等特效中至少一种。可选地，特效处理控件可以设置有一个或多个。示例性地，可以针对每种特效处理的分别设置有特效处理控件，以便用户通过触发不同的特效处理控件选择特效处理方式，而且，在有多种特效处理方式的情况下，还可以实现对不同特效处理方式的组合应用。
其中，所述预设特效处理模式可以理解为预先设置的可供选择的特效处理模式。所述预设特效处理模式可以根据需求预设，在此不做具体限定。在本公开实施例中，所述预设特效处理模式可以有多种，且不同的特效处理请求对应的特效处理模式可以相同也可以不同。从特效处理的执行主体来区分，可选的，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式。
所述目标特效处理模式可以理解为针对所述特效处理请求确定出的所述原始多媒体数据所要采用的特效处理模式。可以理解的是，所述目标特效处理模式可以是所述预设特效处理模式中的一种。所述目标特效处理模式可以是响应于所述特效处理请求所确定出的更加适用于对所述原始多媒体数据的特效处理的特效处理模式。可选的，所述目标特效处理模式可以是中央处理器模式或图形处理器处理模式等。
需要说明的是，可以分别设置每种特效处理模式下针对每种特效进行特效处理时要针对待处理图像所执行的具体特效处理操作，其中，每种特效对应的具体特效处理操作可以参见相关技术，在此不再赘述。
S130、基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
其中，所述目标传输多媒体数据可以理解为针对所述原始多媒体数据进行特效处理后，得到的多媒体数据。
具体的，针对采集的所述原始多媒体数据，满足预设特效处理条件的情况下，基于确定的所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到特效处理后的多媒体数据。
本公开实施例的技术方案，通过响应于数据传输请求，获取待传输的原始多媒体数据，能够在数据传输出去之前，自动获取原始多媒体数据。在满足预设特效处理条件的情况下，根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；可以在中央处理器和图形处理器处理模式中选择合适的方式对原始多媒体数据进行特效处理，相较于单一采用图像处理器进行特效处理的方式，特效处理模式与场景需求的适配性更高。进一步的，基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据，解决了相关技术中由于CPU性能消耗较高而带来的发热或者风扇转动的技术问题，实现了提高数据传输效率，有效降低处理器性能消耗，增加特效处理方式的多样性的技术效果，提升了用户的使用体验。
图2为本公开实施例所提供的一种多媒体数据传输方法流程示意图，本实施例是对上述实施例中如何根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式进行细化。
如图2所示，本实施例的方法具体可包括：
S210、响应于数据传输请求，获取待传输的原始多媒体数据。
S220、如果满足预设特效处理条件，则根据所述原始多媒体数据对应的目标特效所属的特效类型以及预先建立的预设特效处理模式与特效类型之间的对应关系，确定所述原始多媒体数据的目标特效处理模式。
其中，所述目标特效可以理解为待对所述原始多媒体数据添加的特效。在本公开实施例中，所述目标特效的种类可以在系统中预设，或者，根据针对特效的输入或选择操作确定，在此不做具体限定。可以理解的是，所述目标特效可以是一种或多种特效。示例性的，所述目标特效可以包括背景模糊、背景替换、大眼瘦脸、面部磨皮、动态装饰或面部虚拟头套中至少一种特效。
所述特效类型可以理解为对所述目标特效的类型的划分。在本公开实施例中，所述特效类型可以在系统中预设，在此不做具体限定。示例性的，所述特效类型可以是背景替换类型、面部美颜类型或3D特效类型等。可以理解的是，不同的预设特效处理模式处理同一特效类型的特效的处理方式和所占用的系统性能可能相同也可能不同。
在本公开实施例中，可以通过预先建立的预设特效处理模式与特效类型之间的对应关系，通过不同的特效处理模式处理不同特效类型的特效，以提高特效处理性能。
可选的，在所述根据预设特效处理模式以及所述原始多媒体数据对应的目标特效所属的特效类型，确定所述原始多媒体数据的目标特效处理模式之前，还包括：分别通过中央处理器以及图像处理器对每种特效类型的特效进行特效处理测试，并根据预设性能评价指标确定所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果；根据所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果构建每种特效类型与预设特效处理模式之间的对应关系。
可以理解的是，所述中央处理器模式主要通过中央处理器对所述原始多媒体数据进行特效处理；所述图形处理器处理模式主要通过图形处理器对所述原始多媒体数据进行特效处理。
其中，所述特效处理测试可以理解为检测每种特效类型的特效适用的预设特效处理模式的性能测试。具体的，可以是通过所述中央处理器和所述图形处理器分别对每种特效类型的特效进行特效处理，以确定每种特效类型的特效适用的目标特效处理模式。
所述预设性能评价指标可以理解为所述特效处理测试中用于评价不同处理器对每种特效类型的特效进行特效处理时的特效处理性能优劣的指标。可选的，所述预设性能评价指标可以是特效处理速度或处理器发热情况等。可以理解的是，特效处理速度越快，处理器发热越少，则对应的预设特效处理模式对应的处理器对所述特效类型的特效进行特效处理的性能越好。
所述处理性能评价结果可以理解为确定出的中央处理器和图形处理器对每种所述特效类型的特效的处理性能评价结果。示例性的，所述处理性能评价结果可以是通过中央处理器对所述特效类型的特效处理性能更好或通过图像处理器对所述特效类型的特效处理性能更好等。
进一步的，根据所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果构建每种特效类型与预设特效处理模式之间的对应关系。
示例性的，所述预先建立的预设特效处理模式与特效类型之间的对应关系，可以是如表1所示：
表1
Figure BDA0003773900510000131
可以理解的是，中央处理器和所述图形处理器的性能和设备参数以及特效处理的具体算法相关，以上仅仅是对预设特效处理模式与特效类型之间的对应关系的示例，并非限定。
S230、基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
本公开实施例的技术方案，分别通过中央处理器以及图像处理器对每种特效类型的特效进行特效处理测试，并根据预设性能评价指标确定所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果；通过不同处理器对可以每种特效类型的特效进行特效处理测试，以确定每种特效类型的特效分别适用的预设特效处理模式。进一步的，根据所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果构建每种特效类型与预设特效处理模式之间的对应关系，进而能过根据所述对应关系方便快捷地确定所述原始多媒体数据的目标特效处理模式，使得目标特效处理模式的确定更加精准，提高了对原始多媒体数据的特效处理性能。
图3为本公开实施例所提供的一种多媒体数据传输方法流程示意图，本实施例是对上述实施例中如何基于所述目标特效处理模式对所述原始多媒体数据进行特效处理进行细化。在本实施例中以所述原始多媒体数据为原始视频数据为例进行介绍。
如图3所示，本实施例的方法具体可包括：
S310、响应于针对视频会议的会议开始触发操作，基于视频采集设备采集第一编码格式的待传输的原始视频数据，其中，所述第一编码格式至少包括亮度参量和色度参量分开表示的像素格式。
S320、如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式。
S330、在目标特效处理模式为图像处理器处理模式的情况下，通过中央处理器将第一编码格式的所述原始视频数据传输至图像处理器。
具体的，根据预先建立的预设特效处理模式与特效类型之间的对应关系，在所述目标特效的特效类型对应的预设特效处理模式为图像处理器处理模式的情况下，将通过数据传输设备采集的第一编码格式的所述原始视频数据，通过中央处理器传输至图像处理器，进一步的，通过图像处理器对所述原始视频数据进行与所述目标特效对应的特效处理。可以理解的是，针对所述图像处理器并行计算运算能力较强，能够在特效处理时，针对每个像素点进行并行处理，从而提升特效处理的效率。在本公开实施例中，尤其可通过所述图像处理器处理模式可以处理3D特效类型等的复杂特效。例如，在原始视频数据中添加面部虚拟头套或动态装饰灯等。
典型地，第一编码格式为YUV格式。在视频编码时使用YUV格式能极大去除冗余信息，降低数据大小，从而使得数据传输时占用较少的频宽。
S340、经由所述图像处理器将所述原始视频数据由所述第一编码格式转换为第二编码格式，并对所述第二编码格式的所述原始视频数据进行特效处理，得到第二编码格式的特效视频数据。
具体的，接收中央处理器传输的第一编码格式的原始视频数据，先经由所述图像处理器将所述原始视频数据由所述第一编码格式转换为第二编码格式。针对所述第二编码格式的所述原始视频数据进行特效处理，得到第二编码格式的特效视频数据其中，所述第二编码格式至少包括色彩标准和像素通道表示的像素格式。可以理解的是，在目标特效处理模式为图像处理器处理模式的情况下，经由图像处理器处理第二编码格式的原始视频数据相较于处理第一编码格式的原始视频数据，性能更优。
其中，第二编码格式可以是RGBA格式。可以理解的是，RGBA是代表Red(红色)Green(绿色)Blue(蓝色)和Alpha的色彩空间。这样设置的好处在于，能够减少原始视频数据的数据损失，充分保证特效处理效果。
S350、经由所述图像处理器将所述特效视频数据由所述第二编码格式转换为所述第一编码格式，得到目标传输多媒体数据。
可以理解的是，所述特效视频数据是经由所述图像处理器特效处理后的第二编码格式的数据。具体的，对所述第二编码格式的所述原始视频数据进行特效处理，得到第二编码格式的特效视频数据后，经由所述图像处理器将所述特效视频数据由所述第二编码格式转换为所述第一编码格式，得到的目标传输多媒体数据。可以理解的是，所述目标传输多媒体数据可以理解为特效处理后的第一编码格式的数据。
需要说明的是，第一编码格式可以理解为匹配中央处理器的格式，旨在保证数据传输结果的情况下能够在进行数据传输时提升出传输性能的编码格式。第二编码格式可以理解为匹配图像处理器，有利于图像处理器高效高质量地处理出来特效多媒体数据的编码格式。
可选的，在所述得到目标传输多媒体数据之后，还包括：将所述目标传输多媒体数据传输给所述中央处理器，经由所述中央处理器将所述目标传输多媒体数据推送至目标服务器。
具体的，得到目标传输多媒体数据之后，将所述目标传输多媒体数据传输给所述中央处理器，进一步的，经由所述中央处理器将所述目标传输多媒体数据推送至目标服务器，以使所述目标特效在视频会议显示器中显示。可以理解的是，在目标特效处理模式为图像处理器处理模式的情况下，可以通过所述中央处理器传输数据，通过所述图像处理器对数据进行特效处理。
本公开实施例的技术方案，在目标特效处理模式为图像处理器处理模式的情况下，先通过中央处理器将第一编码格式的所述原始视频数据传输至图像处理器；进一步的，经由所述图像处理器将所述原始视频数据由所述第一编码格式转换为第二编码格式，并对所述第二编码格式的所述原始视频数据进行特效处理，得到第二编码格式的特效视频数据；将所述原始视频数据由所述第一编码格式转换为第二编码格式后，再进行特效处理，以提高图像处理器的特效处理效率；再进一步的，经由所述图像处理器将所述特效视频数据由所述第二编码格式转换为所述第一编码格式，得到目标传输多媒体数据，最后，将特效处理后的数据，通过图像处理器更改格式后，再传输至中央处理器，可以减低能耗。最后，将所述目标传输多媒体数据传输给所述中央处理器，经由所述中央处理器将所述目标传输多媒体数据推送至目标服务器。通过图像处理器处理适用的特效，实现了增加视频会议特效多样性，提高特效处理效率的效果。
图4为本公开实施例所提供的一种多媒体数据传输方法流程示意图，本实施例是对上述实施例中如何基于所述目标特效处理模式对所述原始多媒体数据进行特效处理进行细化。可选的，所述原始多媒体数据包括原始视频数据。
如图4所示，本实施例的方法具体可包括：
S410、响应于针对视频会议的会议开始触发操作，基于视频采集设备采集第一编码格式的待传输的原始视频数据，其中，所述第一编码格式至少包括亮度参量和色度参量分开表示的像素格式。
S420、如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；
S430、在目标特效处理模式为中央处理器处理模式的情况下，通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理。
具体的，根据预先建立的预设特效处理模式与特效类型之间的对应关系，在所述目标特效的特效类型对应的预设特效处理模式为中央处理器模式的情况下，通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理。可以理解的是，针对所述中央处理器单核运算能力较强，在本公开实施例中，通过所述中央处理器模式可以处理背景替换类型或面部美颜类型的特效。例如，大眼瘦脸、面部磨皮、动态装饰或面部虚拟头套等。
可选的，所述通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理，包括：针对所述原始视频数据中每一帧待处理图像，根据所述原始视频数据对应的目标特效的特效类型，确定所述待处理图像的亮度参量和色度参量中的目标处理参量；对所述目标处理参量进行特效处理，得到目标传输多媒体数据。
在本公开实施例中，根据目标特效对所述原始视频数据进行特效处理时，可以是处理所述待处理图像编码格式中的一种或多种相关参量，可以理解的是，不同类型的特效，需要处理的参量可以相同也可以不同。
其中，所述目标处理参量可以理解为根据目标特效对所述原始视频数据进行特效处理时，所述待处理图像编码格式中需要处理的参量。可以理解的是，对所述目标处理参量的确定，可以为减少特效处理的复杂程度提供依据。
以YUV格式的待处理图像为例，可能会出现只需要对亮度参量Y进行处理的情况，也可能出现只需要对色度参量UV进行处理的情况。当然，也有可能需要对参量YUV都进行处理的情况。
具体的，针对所述原始视频数据中每一帧待处理图像，根据所述原始视频数据对应的目标特效的特效类型，确定所述待处理图像的目标处理参量，进一步的，对所述目标处理参量进行特效处理，得到目标传输多媒体数据。
通过中央处理器一般采用串行对所述原始视频数据进行特效处理，在本公开实施例中，为了提升特效处理效率，可以通过并行的方式对所述原始视频数据进行特效处理。
可选的，所述通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理，包括：针对所述原始视频数据中的每一帧待处理图像，在中央处理器中使用并行指令集对所述待处理图像的每个像素点进行特效处理。
在本公开实施例中，在中央处理器中使用并行指令集对所述待处理图像的每个像素点进行特效处理，可以加速对目标处理参量进行特效处理的速度，提高特效处理效率。
可选地，所述目标特效为多种特效时，采用同一种预设特效处理模式进行特效处理，相较于采用多种预设特效处理模式进行特效处理，可以减少性能消耗。因此，根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，具体可以是，分别确定与每种特效对应的预设特效处理模式，进而，根据每种特效对应的预设特效处理模式确定所述原始多媒体数据的目标特效处理模式。示例性地，可以将每种特效对应的预设特效处理模式中优先级最高的预设特效处理模式作为所述原始多媒体数据的目标特效处理模式，或者，统计每种特效对应的预设特效处理模式的总数量，将数量最多的预设特效处理模式作为所述原始多媒体数据的目标特效处理模式。
本公开实施例的技术方案，在目标特效处理模式为中央处理器处理模式的情况下，针对所述原始视频数据中的每一帧待处理图像，在中央处理器中使用并行指令集对所述第一编码格式的所述原始视频数据的每个像素点进行特效处理，实现了减少数据传输的性能消耗，提高特效处理效率的技术效果。
相关技术中，所有特效处理都基于RGBA格式的图像通过GPU处理，好处是GPU处理高分辨率图像比较高效，同时支持几乎所有从简单到复杂的特效效果。缺点是会议推流需要的是CPU数据，在处理前后需要增加视频数据需要增加格式转换和CPU到GPU的数据拷贝，在高帧率及高分辨率的视频要求下，CPU性能消耗较高。在普通办公机器环境下，用户对视频会议高CPU占用带来的发热或者风扇转动问题比较突出。
图5为本公开实施例提供的一种多媒体数据传输方法的可选实例的场景示意图，图6为本公开实施例提供的另一种多媒体数据传输方法的可选实例的场景示意图。其中，所述中央处理器用CPU表示、所述图像处理器用GPU表示、所述第一编码格式用YUV表示以及所述第二编码格式用RGBA表示。
本实施例中以视频会议场景为例，对多媒体数据传输方法进行介绍。如图5和图6所示，针对会议推流高帧率及高分辨率的视频推流场景，能够自动切换特效处理模式，在保持效果不变的情况下，有效降低CPU消耗，保证办公环境的低功耗运行。其主要的技术手段包括：
(1)特效处理链路改造：针对待处理的原始视频数据，增加帧前置检测模块，判定原始视频数据的当前帧的目标特效处理模式，对于适用于CPU进行处理的效果，比如磨皮和背景替换，使用CPU进行处理；对于适用于GPU处理的效果，比如3D效果，使用GPU进行处理。
(2)针对CPU模式，适配YUV格式数据的特效处理，比如，视频背景模糊，面部磨皮可以仅仅处理Y分量，或者，处理YUV，降低CPU开销。
(3)针对CPU模式，使用并行指令集(MIPS)加速图像(矩阵)在CPU侧的特效处理，有效降低CPU侧CPU处理的开销。
示例性地，多媒体数据传输方法的特效处理链路可以包括：
(1)模式判定
根据当前启用的特效项目进行特效处理模式判断，如果所有选项均支持CPU模式，则进入CPU模式处理，否者进入GPU模式处理。考虑到每一帧待处理的特效项目都有可能增加或删除，因此，在特效发生变化时，需要重新判断特效处理模式。可以理解的是，特效是否支持CPU模式以特效具体实现为准。
(2)GPU处理模式
将YUV三个分量由CPU拷贝至GPU，在GPU上转为RGBA纹理；然后，根据特效项目的层级关系依次进行特效的处理和叠加，输出一张新的RGBA纹理；再将RGBA纹理转为YUV三张纹理，并由GPU拷贝至CPU。
(3)CPU处理模式
根据特效项目的层级关系依次进行特效的处理，输入输出复用一个YUV内存块(就地处理)，特效项目根据自身定义实现YUV分量的CPU侧处理。可以选择并行指令集加速分量的处理速度。
在本公开实施例中，渲染链路构造包括：一个渲染节点对应一个渲染效果，节点可以实现GPU渲染模式(GPUNode)，CPU渲染模式CPUNode)，其中，GPUNode是必选项，CPUNode是可选项。CPUNode实现的必要条件是：CPU节点渲染性能优于GPU渲染节点。GPUNode和CPUNode是一一对应关系，二者实现的渲染视觉效果保持一致，避免模式切换时效果移动带来闪烁问题。根据会议中渲染节点渲染先后关系构造出渲染链路，并在节点增删改中保持同步更新，图像渲染时，根据模式判定进入对应的渲染链路，前一个节点的输出作为下一个节点的输入，直至最终图像输出。
具体的，视频会议中，一般通过摄像头采集视频数据，采集数据解码本地处理后，再通过编码模块推流至服务端，同时参会人员会拉取其他参会人员的视频数据在本地一并显示，形成一个虚拟会议。终端设备一般通过相机采集YUV格式的数据，在推流模式下为了节省网络带宽，数据交换一般使用YUV格式编码传输。
现代视频会议软件在数据传输前通常有特效处理功能，比如人像美化，视频背景替换，面部虚拟头套(3D效果)等。在会议场景中为了平衡性能一画质效果，可以通过设置视频图像的分辨率和帧率进行视频图像处理和传输。
本方案提出的CPU渲染链路和GPU渲染链路构造设计和特效渲染链路渲染原理，尤其适用于视频会议场景下，针对高帧率及高分辨率的视频要求的特效处理效果以及特效处理性能的自适平衡方案，适用于视频推流下的高效特效处理应用。
图7为本公开实施例所提供的一种多媒体数据传输装置结构示意图，如图7所示，所述装置包括：原始数据获取模块510、处理模式确定模块520以及特效处理模块530。
其中，原始数据获取模块510，用于响应于数据传输请求，获取待传输的原始多媒体数据；处理模式确定模块520，用于如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；特效处理模块530，用于基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
本公开实施例的技术方案，通过响应于数据传输请求，获取待传输的原始多媒体数据，能够在数据传输出去之前，自动获取原始多媒体数据。在满足预设特效处理条件的情况下，根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；可以在中央处理器和图形处理器处理模式中选择合适的方式对原始多媒体数据进行特效处理，相较于单一采用图像处理器进行特效处理的方式，特效处理模式与场景需求的适配性更高。进一步的，基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据，解决了相关技术中由于CPU性能消耗较高而带来的发热或者风扇转动的技术问题，实现了提高数据传输效率，有效降低处理器性能消耗，增加特效处理方式的多样性的技术效果，提升了用户的使用体验。
可选的，所述处理模式确定模块520，包括：目标特效处理模式确定单元。其中，所述目标特效处理模式确定单元用于：根据所述原始多媒体数据对应的目标特效所属的特效类型以及预先建立的预设特效处理模式与特效类型之间的对应关系，确定所述原始多媒体数据的目标特效处理模式。
可选的，在所述目标特效处理模式确定单元之前，还包括：处理性能评价结果确定子单元和对应关系构建子单元。
其中，所述处理性能评价结果确定子单元，用于分别通过中央处理器以及图像处理器对每种特效类型的特效进行特效处理测试，并根据预设性能评价指标确定所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果；所述对应关系构建子单元，用于根据所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果构建每种特效类型与预设特效处理模式之间的对应关系。
可选的，所述原始多媒体数据包括原始视频数据；所述原始数据获取模块510，用于：
响应于针对视频会议的会议开始触发操作，基于视频采集设备采集第一编码格式的待传输的原始视频数据，其中，所述第一编码格式至少包括亮度参量和色度参量分开表示的像素格式。
可选的，所述特效处理模块530，包括：原始视频数据传输单元、第一视频数据处理单元和目标传输多媒体数据确定单元。
其中，原始视频数据传输单元，用于在目标特效处理模式为图像处理器处理模式的情况下，通过中央处理器将第一编码格式的所述原始视频数据传输至图像处理器；
第一视频数据处理单元，用于经由所述图像处理器将所述原始视频数据由所述第一编码格式转换为第二编码格式，并对所述第二编码格式的所述原始视频数据进行特效处理，得到第二编码格式的特效视频数据；
目标传输多媒体数据确定单元，用于经由所述图像处理器将所述特效视频数据由所述第二编码格式转换为所述第一编码格式，得到目标传输多媒体数据。
可选的，在所述目标传输多媒体数据确定单元之后，还包括：目标传输多媒体数据推送单元。
其中，目标传输多媒体数据推送单元，用于：
将所述目标传输多媒体数据传输给所述中央处理器，经由所述中央处理器将所述目标传输多媒体数据推送至目标服务器。
可选的，所述特效处理模块530，包括：第二视频数据处理单元。
其中，原始视频数据处理单元，用于在目标特效处理模式为中央处理器处理模式的情况下，通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理。
可选的，所述第二视频数据处理单元，用于：
针对所述原始视频数据中每一帧待处理图像，根据所述原始视频数据对应的目标特效的特效类型，确定所述待处理图像的亮度参量和色度参量中的目标处理参量；
对所述目标处理参量进行特效处理，得到目标传输多媒体数据。
可选的，所述第二视频数据处理单元，用于：
针对所述原始视频数据中的每一帧待处理图像，在中央处理器中使用并行指令集对所述待处理图像的每个像素点进行特效处理。
可选的，所述预设特效处理条件包括下述条件中的至少一种：
检测到预设的特效标志位；
检测到所述数据传输请求中携带有针对所述原始多媒体数据预设的特效处理请求；
接收到作用于预设的特效处理控件的特效触发操作，其中，所述特效触发操作包括特效启用操作、特效删除操作以及特效调整操作中的至少一种。
本公开实施例所提供的多媒体数据传输装置可执行本公开任意实施例所提供的多媒体数据传输方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图8为本公开实施例所提供的一种电子设备的结构示意图。下面参考图8，其示出了适于用来实现本公开实施例的电子设备(例如图8中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。编辑/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的多媒体数据传输方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的多媒体数据传输方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于数据传输请求，获取待传输的原始多媒体数据；如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种多媒体数据传输方法，包括：
响应于数据传输请求，获取待传输的原始多媒体数据；
如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；
基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
根据本公开的一个或多个实施例，【示例二】提供了示例一的方法，还包括：
根据所述原始多媒体数据对应的目标特效所属的特效类型以及预先建立的预设特效处理模式与特效类型之间的对应关系，确定所述原始多媒体数据的目标特效处理模式。
根据本公开的一个或多个实施例，【示例三】提供了示例二的方法，还包括：
分别通过中央处理器以及图像处理器对每种特效类型的特效进行特效处理测试，并根据预设性能评价指标确定所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果；
根据所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果构建每种特效类型与预设特效处理模式之间的对应关系。
根据本公开的一个或多个实施例，【示例四】提供了示例一的方法，还包括：
响应于针对视频会议的会议开始触发操作，基于视频采集设备采集第一编码格式的待传输的原始视频数据，其中，所述第一编码格式至少包括亮度参量和色度参量分开表示的像素格式。
根据本公开的一个或多个实施例，【示例五】提供了示例四的方法，还包括：
在目标特效处理模式为图像处理器处理模式的情况下，通过中央处理器将第一编码格式的所述原始视频数据传输至图像处理器；
经由所述图像处理器将所述原始视频数据由所述第一编码格式转换为第二编码格式，并对所述第二编码格式的所述原始视频数据进行特效处理，得到第二编码格式的特效视频数据；
经由所述图像处理器将所述特效视频数据由所述第二编码格式转换为所述第一编码格式，得到目标传输多媒体数据。
根据本公开的一个或多个实施例，【示例六】提供了示例五的方法，还包括：
将所述目标传输多媒体数据传输给所述中央处理器，经由所述中央处理器将所述目标传输多媒体数据推送至目标服务器。
根据本公开的一个或多个实施例，【示例七】提供了示例四的方法，还包括：
在目标特效处理模式为中央处理器处理模式的情况下，通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理。
根据本公开的一个或多个实施例，【示例八】提供了示例七的方法，还包括：
针对所述原始视频数据中每一帧待处理图像，根据所述原始视频数据对应的目标特效的特效类型，确定所述待处理图像的亮度参量和色度参量中的目标处理参量；
对所述目标处理参量进行特效处理，得到目标传输多媒体数据。
根据本公开的一个或多个实施例，【示例九】提供了示例七的方法，还包括：
针对所述原始视频数据中的每一帧待处理图像，在中央处理器中使用并行指令集对所述待处理图像的每个像素点进行特效处理。
根据本公开的一个或多个实施例，【示例十】提供了示例一的方法，还包括下述条件中的至少一种：
检测到预设的特效标志位；
检测到所述数据传输请求中携带有针对所述原始多媒体数据预设的特效处理请求；
接收到作用于预设的特效处理控件的特效触发操作，其中，所述特效触发操作包括特效启用操作、特效删除操作以及特效调整操作中的至少一种。
根据本公开的一个或多个实施例，【示例十一】提供了一种方法多媒体数据传输装置，包括：
原始数据获取模块，用于响应于数据传输请求，获取待传输的原始多媒体数据；
处理模式确定模块，用于如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；
特效处理模块，用于基于所述特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
根据本公开的一个或多个实施例，【示例十二】提供了一种方法数据传输电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如示例一至示例十中任一所述的多媒体数据传输方法。
根据本公开的一个或多个实施例，【示例十三】提供了一种方法数据传输存储介质，包括：
所述计算机可执行指令在由计算机处理器执行时用于执行如示例一至示例十中任一所述的多媒体数据传输方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种多媒体数据传输方法，其特征在于，包括：
响应于数据传输请求，获取待传输的原始多媒体数据；
如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；
基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
2.根据权利要求1所述的多媒体数据传输方法，其特征在于，所述根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，包括：
根据所述原始多媒体数据对应的目标特效所属的特效类型以及预先建立的预设特效处理模式与特效类型之间的对应关系，确定所述原始多媒体数据的目标特效处理模式。
3.根据权利要求2所述的多媒体数据传输方法，其特征在于，在所述根据预设特效处理模式以及所述原始多媒体数据对应的目标特效所属的特效类型，确定所述原始多媒体数据的目标特效处理模式之前，还包括：
分别通过中央处理器以及图像处理器对每种特效类型的特效进行特效处理测试，并根据预设性能评价指标确定所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果；
根据所述中央处理器以及所述图像处理器对每种特效类型的特效的处理性能评价结果构建每种特效类型与预设特效处理模式之间的对应关系。
4.根据权利要求1所述的多媒体数据传输方法，其特征在于，所述原始多媒体数据包括原始视频数据；所述响应于数据传输请求，获取待传输的原始多媒体数据，包括：
响应于针对视频会议的会议开始触发操作，基于视频采集设备采集第一编码格式的待传输的原始视频数据，其中，所述第一编码格式至少包括亮度参量和色度参量分开表示的像素格式。
5.根据权利要求4所述的多媒体数据传输方法，其特征在于，所述基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，包括：
在目标特效处理模式为图像处理器处理模式的情况下，通过中央处理器将第一编码格式的所述原始视频数据传输至图像处理器；
经由所述图像处理器将所述原始视频数据由所述第一编码格式转换为第二编码格式，并对所述第二编码格式的所述原始视频数据进行特效处理，得到第二编码格式的特效视频数据；
经由所述图像处理器将所述特效视频数据由所述第二编码格式转换为所述第一编码格式，得到目标传输多媒体数据。
6.根据权利要求5所述的多媒体数据传输方法，其特征在于，在所述得到目标传输多媒体数据之后，还包括：
将所述目标传输多媒体数据传输给所述中央处理器，经由所述中央处理器将所述目标传输多媒体数据推送至目标服务器。
7.根据权利要求4所述的多媒体数据传输方法，其特征在于，所述基于所述目标特效处理模式对所述原始多媒体数据进行特效处理，包括：
在目标特效处理模式为中央处理器处理模式的情况下，通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理。
8.根据权利要求7所述的多媒体数据传输方法，其特征在于，所述通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理，包括：
针对所述原始视频数据中每一帧待处理图像，根据所述原始视频数据对应的目标特效的特效类型，确定所述待处理图像的亮度参量和色度参量中的目标处理参量；
对所述目标处理参量进行特效处理，得到目标传输多媒体数据。
9.根据权利要求7所述的多媒体数据传输方法，其特征在于，所述通过中央处理器对所述第一编码格式的所述原始视频数据进行特效处理，包括：
针对所述原始视频数据中的每一帧待处理图像，在中央处理器中使用并行指令集对所述待处理图像的每个像素点进行特效处理。
10.根据权利要求1所述的多媒体数据传输方法，其特征在于，所述预设特效处理条件包括下述条件中的至少一种：
检测到预设的特效标志位；
检测到所述数据传输请求中携带有针对所述原始多媒体数据预设的特效处理请求；
接收到作用于预设的特效处理控件的特效触发操作，其中，所述特效触发操作包括特效启用操作、特效删除操作以及特效调整操作中的至少一种。
11.一种多媒体数据传输装置，其特征在于，包括：
原始数据获取模块，用于响应于数据传输请求，获取待传输的原始多媒体数据；
处理模式确定模块，用于如果满足预设特效处理条件，则根据预设特效处理模式确定所述原始多媒体数据的目标特效处理模式，其中，所述预设特效处理模式至少包括中央处理器模式和图形处理器处理模式；
特效处理模块，用于基于所述特效处理模式对所述原始多媒体数据进行特效处理，得到目标传输多媒体数据。
12.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的多媒体数据传输方法。
13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的多媒体数据传输方法。
CN202210910775.7A 2022-07-29 2022-07-29 多媒体数据传输方法、装置、电子设备及存储介质 Pending CN115297359A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210910775.7A CN115297359A (zh) 2022-07-29 2022-07-29 多媒体数据传输方法、装置、电子设备及存储介质
PCT/CN2023/109364 WO2024022391A1 (zh) 2022-07-29 2023-07-26 多媒体数据传输方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210910775.7A CN115297359A (zh) 2022-07-29 2022-07-29 多媒体数据传输方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115297359A true CN115297359A (zh) 2022-11-04

Family

ID=83826472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210910775.7A Pending CN115297359A (zh) 2022-07-29 2022-07-29 多媒体数据传输方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115297359A (zh)
WO (1) WO2024022391A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024022391A1 (zh) * 2022-07-29 2024-02-01 北京字跳网络技术有限公司 多媒体数据传输方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164839A (zh) * 2013-03-07 2013-06-19 华为技术有限公司 一种绘图方法、装置及终端
CN105447811A (zh) * 2015-11-23 2016-03-30 武汉珞珈德毅科技股份有限公司 空间数据处理方法、装置及系统
CN107197341A (zh) * 2017-06-02 2017-09-22 福建星网视易信息系统有限公司 一种基于gpu的炫屏显示方法、装置及一种存储设备
WO2018127091A1 (zh) * 2017-01-09 2018-07-12 腾讯科技（深圳）有限公司 一种图像处理的方法、装置、相关设备及服务器
CN108289185A (zh) * 2017-01-09 2018-07-17 腾讯科技（深圳）有限公司 一种视频通信方法、装置及终端设备
CN108337465A (zh) * 2017-02-09 2018-07-27 腾讯科技（深圳）有限公司 视频处理方法和装置
CN112307229A (zh) * 2019-07-25 2021-02-02 北京小米移动软件有限公司 数据处理方法及装置、电子设备、计算机可读存储介质
CN114596195A (zh) * 2022-01-24 2022-06-07 深圳市大富网络技术有限公司 一种地形数据处理方法、系统、装置及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1594287B1 (en) * 2004-04-12 2008-06-25 Industry Academic Cooperation Foundation Kyunghee University Method, apparatus and medium for providing multimedia service considering terminal capability
CN111541936A (zh) * 2020-04-02 2020-08-14 腾讯科技（深圳）有限公司 视频及图像处理方法、装置、电子设备、存储介质
CN114157881A (zh) * 2021-10-29 2022-03-08 北京达佳互联信息技术有限公司 多媒体处理方法、装置、电子设备及存储介质
CN115297359A (zh) * 2022-07-29 2022-11-04 北京字跳网络技术有限公司 多媒体数据传输方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164839A (zh) * 2013-03-07 2013-06-19 华为技术有限公司 一种绘图方法、装置及终端
CN105447811A (zh) * 2015-11-23 2016-03-30 武汉珞珈德毅科技股份有限公司 空间数据处理方法、装置及系统
WO2018127091A1 (zh) * 2017-01-09 2018-07-12 腾讯科技（深圳）有限公司 一种图像处理的方法、装置、相关设备及服务器
CN108289185A (zh) * 2017-01-09 2018-07-17 腾讯科技（深圳）有限公司 一种视频通信方法、装置及终端设备
CN108337465A (zh) * 2017-02-09 2018-07-27 腾讯科技（深圳）有限公司 视频处理方法和装置
CN107197341A (zh) * 2017-06-02 2017-09-22 福建星网视易信息系统有限公司 一种基于gpu的炫屏显示方法、装置及一种存储设备
CN112307229A (zh) * 2019-07-25 2021-02-02 北京小米移动软件有限公司 数据处理方法及装置、电子设备、计算机可读存储介质
CN114596195A (zh) * 2022-01-24 2022-06-07 深圳市大富网络技术有限公司 一种地形数据处理方法、系统、装置及计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024022391A1 (zh) * 2022-07-29 2024-02-01 北京字跳网络技术有限公司 多媒体数据传输方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2024022391A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
JP6337322B2 (ja) 方法、コンピュータプログラム、装置およびコンピュータ可読記録媒体
CN110730374A (zh) 一种动画对象的展示方法、装置、电子设备及存储介质
CN103259989B (zh) 屏幕内容的显示方法及装置
CN114071197B (zh) 投屏数据处理方法和装置
US10484690B2 (en) Adaptive batch encoding for slow motion video recording
CN114245028B (zh) 图像展示方法、装置、电子设备及存储介质
CN113989173A (zh) 视频融合方法、装置、电子设备及存储介质
CN110290398B (zh) 视频下发方法、装置、存储介质及电子设备
CN109600654A (zh) 弹幕处理方法、装置以及电子设备
CN113076048A (zh) 视频的展示方法、装置、电子设备和存储介质
CN113395243A (zh) 信息交互方法、装置、电子设备及存储介质
CN113473035A (zh) 环境亮度确定方法、装置和电子设备
CN113521728A (zh) 云应用的实现方法、装置、电子设备和存储介质
KR20220149574A (ko) 3차원 비디오의 처리 방법, 장치, 판독 가능 저장매체 및 전자기기
WO2024022391A1 (zh) 多媒体数据传输方法、装置、电子设备及存储介质
CN114567812A (zh) 音频播放方法、装置、系统、电子设备及存储介质
CN113645476B (zh) 画面处理方法、装置、电子设备及存储介质
CN114584808A (zh) 一种视频流获取方法、装置、系统、设备和介质
CN112261349B (zh) 图像处理方法、装置和电子设备
CN115883857A (zh) 一种直播礼物云渲染方法、装置、电子设备及存储介质
CN110809166B (zh) 视频数据处理方法、装置和电子设备
CN115578299A (zh) 图像生成方法、装置、设备及存储介质
CN114363654A (zh) 一种视频推流方法、装置、终端设备及存储介质
CN116546262A (zh) 一种数据处理方法、装置、设备及存储介质
CN112612435A (zh) 信息处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination