CN110908643A - 软件开发工具包的配置方法、装置和系统 - Google Patents

Abstract

本发明公开了一种软件开发工具包的配置方法、装置和系统。其中，该方法包括：采集数据，所述数据包括如下至少之一：视频数据和音频数据；调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。本发明解决了现有技术中用于直播推流的SDK结构单一的技术问题。

Description

软件开发工具包的配置方法、装置和系统

技术领域

本发明涉及计算机领域，具体而言，涉及一种软件开发工具包的配置方法、装置和系统。

背景技术

随着国内云平台多媒体CDN(Content Delivery Network，内容分发网络)服务器的普及，使得音视频等多媒体服务的体验感极大提高。用户对音视频的需求也越来越多样化，直播作为其中一种业务，也具有较广的应用范围，例如：拍卖直播，直播答题，游戏直播等等多种。

在直播过程中，需要通过网络将直播端采集的数据流传输出去，这个过程即为推流，推流SDK(Software Development Kit,软件开发工具包)即为用于开发直播客户端推流开发工具。目前的推流SDK具有结构单一的缺陷，无法应对瞬息万变的直播需求，每次热点需求或直播方式变更时，都需要较长的开发与测试周期，且对于过时的需求或者不需要的功能模块，也无法从SDK中移除，导致代码冗余，用户安装包较大。

针对现有技术中用于直播推流的SDK结构单一的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种软件开发工具包的配置方法、装置和系统，以至少解决现有技术中用于直播推流的SDK结构单一的技术问题。

根据本发明实施例的一个方面，提供了一种软件开发工具包的配置方法，包括：采集数据，所述数据包括如下至少之一：视频数据和音频数据；调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。

根据本发明实施例的另一方面，还提供了一种软件开发工具包的配置装置，包括：采集模块，用于采集数据，所述数据包括如下至少之一：视频数据和音频数据；调用模块，用于调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；发送模块，用于将处理后的数据发送至直播应用对应的服务器。

根据本发明实施例的另一方面，还提供了一种软件开发工具包的配置系统，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：采集数据，所述数据包括如下至少之一：视频数据和音频数据；调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。

在本发明实施例中，采集数据，调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。由此可知，本方案求对功能进行自定义，SDK也会根据用户定义的功能调用外部数据处理模块，即对功能模块进行动态插拔，对于不需要的功能模块，也可以直接移除，从而使得SDK满足不同的多种业务形态的需求，实现直播推流功能的多样化。

由此，本身上述实施例解决了现有技术中用于直播推流的SDK结构单一的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现软件开发工具包的配置方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本申请实施例1的软件开发工具包的配置方法的流程图；

图3是根据本申请实施例1的一种对直播推流的示意图；

图4是根据本申请实施例1的一种调用外部数据处理模块的示意图；

图5是根据本申请实施例2的一种软件开发工具包的配置装置的示意图；以及

图6是根据本申请实施例4的一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

SDK：软件开发工具包(缩写：SDK、外语全称：Software Development Kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。

推流：推流指的是把采集阶段封包好的内容传输到服务器的过程。

RTMP：Real Time Messaging Protocol，即实时消息传输协议，建立在TCP协议或HTTP协议之上。

实施例1

根据本发明实施例，还提供了一种软件开发工具包的配置方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现软件开发工具包的配置方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的软件开发工具包的配置方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。

在上述运行环境下，本申请提供了如图2所示的软件开发工具包的配置方法。图2是根据本申请实施例1的软件开发工具包的配置方法的流程图，该方法包括：

步骤S21，采集数据，数据包括如下至少之一：视频数据和音频数据。

具体的，上述步骤采集的数据可以是直播过程中生成的直播数据，直播的数据指的是在直播过程中采集的多媒体数据，以游戏直播为例，数据中的视频数据为直播播主的游戏界面，音频数据包括直播播主的语音信息以及游戏中的音频信息。再以娱乐直播为例，数据中的视频数据可以为由直播播主终端的摄像头采集的视频数据，音频数据可以为直播播主的语音信息；上述步骤中采集的数据还可以是录播的多媒体数据。在下述实施例中，以对直播数据进行处理为例进行说明。

在一种可选的实施例中，直播播主使用终端上的直播客户端进行直播，终端通过摄像头采集视频信息，并通过麦克风采集语音信息。

步骤S23，调用外部数据处理模块对数据进行对应的处理，其中，外部数据处理模块用于表示软件开发工具包之外的数据处理模块。

具体的，上述外部数据处理模块用于对数据中的视频数据和/或音频数据进行数据处理，例如：对视频数据中的图像进行美颜、滤镜等处理，对音频数据进行变音、混音等处理。

上述外部数据处理模块可以是用于直播的终端中，非直播客户端的其他应用程序提供的数据处理模块，例如，用户使用一直播APP进行直播，直播过程中需要对画面进行美颜处理，因此调用终端上安装的美颜APP中的图像处理模块对图像进行处理。美颜APP中的图像处理模块即为上述外部数据处理模块。

上述外部数据处理模块可以由用户预先指定，用户在使用直播客户端前或直播的过程中，可以选择需要进行处理的功能项，用户所选的功能项对应数据处理模块即为指定的外部数据处理模块。在一种可选的实施例中，用户在直播过程中需要对图像进行美颜处理，因此用户在在直播前选择对图像进行美颜处理。在用户直播的过程中，直播客户端会调用外部的美颜模块，对用户直播的视频数据进行美颜处理。

步骤S25，将处理后的数据发送至直播应用对应的服务器。

上述步骤将处理后的数据发送至直播应用对应的服务器，用于对直播应用进行推流，观看直播的用户即可以从直播应用对应的服务器进行拉流，从而实现了观看直播的过程。

在一种可选的实施例中，推流过程中数据的采集和处理都可以由用户进行自定义。针对数据的采集过程，用户可以在SDK自带的摄像头采集模块、屏幕录制采集模块或用户自定义的视频帧(YUV/RGBA数据)之中进行自定义；对于数据中的视频数据，用户可以动态配置人像识别模块以及滤镜模块；对于数据中的音频模块，用户可以自定义音效处理以及重采样模块处理。

本申请上述实施例采集数据，调用外部数据处理模块对数据进行对应的处理，其中，外部数据处理模块用于表示软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。由此可知，本方案求对功能进行自定义，SDK也会根据用户定义的功能调用外部数据处理模块，即对功能模块进行动态插拔，对于不需要的功能模块，也可以直接移除，从而使得SDK满足不同的多种业务形态的需求，实现直播推流功能的多样化。

由此，本身上述实施例解决了现有技术中用于直播推流的SDK结构单一的技术问题。

进一步的，由于SDK调用外部的数据处理模块的数据进行处理，因此用户的安装包较小，且当现新的直播需求时，不需要将整个SDK重新进行开发，而只需要开发新的功能，从而提高了开发效率。

作为一种可选的实施例，采集数据，包括：接收配置信息，其中，配置中信息用于配置采集功能模块；根据配置信息确定目标采集功能模块；通过目标采集功能模块采集数据。

具体的，上述配置信息可以由直播播主在直播前或直播的过程中进行配置的，目标采集功能模块为直播播主确定要采集的信息对应的功能模块。

在一种可选的实施例中，对于游戏直播来说，直播播主可以在配置信息中选择采集终端麦克风拾取的语音信息，以及终端的显示界面。在直播的过程中，直播的数据包括用户的语音信息和终端显示界面的图像信息。在这一过程中，由于用于未选择配置终端的摄像头，因此不会开启摄像头采集图像信息。

在另一种可选的实施例中，对于娱乐直播来说，直播播主可以在配置信息中选择采集终端麦克风拾取的语音信息以及终端摄像头采集的图像信息。在直播的过程中，直播的数据包括用户的语音信息和摄像头采集的图像信息。

由此可知，上述方案允许用户对不同的采集功能模块进行配置，从而采集不同的信息。

作为一种可选的实施例，接收配置信息，包括：接收用于配置视频采集功能的第一选择指令，其中，第一选择指令用于启动如下任意一项或多项：摄像头采集模块、录屏采集模块和第三方视频采集模块；和/或接收用于配置音频采集功能的第二选择指令，其中，第二选择指令用于启动如下任意一项或多项：麦克风采集模块、音频文件启动模块和第三方音频采集模块。

具体的，上述第一选择指令可以是用户对视频采集功能进行配置时产生的指令，第二选择指令可以是用户对音频采集功能进行配置时产生的指令。

上述摄像头采集模块用于调用终端的摄像头获取摄像头采集的图像信息；录屏采集模块用于采集终端的显示界面；第三方视频采集模块用于调用与终端通信的外接图像采集装置，以获取外接的图像采集装置采集的视频数据。

上述麦克风采集模块用于调用终端的麦克风以获取麦克风采集的声音信息；音频文件启动模块用于采集终端上的音乐播放类应用程序播放的声音信息；第三方音频采集模块用于调用与终端通信的外接音频采集装置，以获取外接的音频采集装置采集的音频信息。

图3是根据本申请实施例1的一种对直播推流的示意图，结合图3所示，在该推流方案中，对采集模块的配置包括两部分，一部分为视频数据采集的配置，另一部分为对音频数据采集的配置。

在对视频数据的采集进行配置时，用户可以启动摄像头、终端屏幕以及第三方图像采集装置，根据用户的选择指令，直播客户端启动SDK中对应的摄像头采集模块、录屏采集模块或第三方视频采集模块。在对音频数据的采集进行配置时，用户可以选择麦克风、音乐以及第三方音频采集装置，根据用户的选择指令，主播客户端启动SDK中对应的麦克风采集模块、音频文件启动模块和第三方音频采集模块。

作为一种可选的实施例，在调用外部数据处理模块对数据进行对应的处理之前，上述方法还包括：获取目标对象的注册信息，其中，注册信息用于表征目标对象预先在软件开发工具包中指定调用的外部数据处理模块；根据注册信息确定外部数据处理模块。

具体的，目标对象即为登录直播客户端的账户，直播客户端可以以ID的形式记录目标对象的账户。SDK中包括识别模块和滤镜模块，识别模块用于根据注册信息调用外部识别器，滤镜模块用于根据注册信息调用滤镜模块。

上述注册信息是使用目标对象登录直播客户端的用户所选择确定的，用户选择在直播的过程中启动一种或多种数据处理功能，则该用户的ID注册一种或多种数据处理功能对应的外部数据处理模块。在直播的数据处理的过程中，直播客户端根据当前登录的ID，确定其注册的外部数据处理模块，从而调对应的外部数据处理模块，对直播的数据进行对应的处理。

在一种可选的实施例中，用户在登录直播客户端后选择启动美颜功能，该用户的ID注册用于进行美颜的外部数据处理模块。在直播的数据处理的过程中，确定在该ID登录直播客户端的终端上调用用于美颜的外部数据处理模块，对该ID对应的数据进行美颜处理。

作为一种可选的实施例，外部数据处理模块包括：外部识别器和/或外部滤镜模块，调用外部数据处理模块对数据进行对应的处理，包括如下一项或多项：调用外部识别器对视频数据中的图像进行图像识别，得到图像的识别结果；调用外部滤镜模块，根据识别结果对视频数据中的图像进行滤镜处理，得到图像的处理结果。

具体的，外部识别器用于对图像中的人像，或目标主体进行识别，外部滤镜模块用户根据外部识别器的识别结果对图像进行滤镜处理，该滤镜处理可以包括如下任意一个或多个:美颜滤镜、风格滤镜以及瘦身滤镜等。

在一种可选的实施例中，结合图3所示，直播推流SDK包括识别模块和滤镜模块，采集的视频数据输入至识别模块，经过识别模块的视频数据再经过滤镜模块。图4是根据本申请实施例1的一种调用外部数据处理模块的示意图，结合图4所示，如果目标对象对外部识别器和外部滤镜模块都进行了注册，则当采集模块采集到的视频数据流入识别模块后，识别模块调用外部识别器对视频数据中的图像进行识别(例如，人像识别等)。识别模块得到识别结果后，将识别结果和视频数据共同传输至滤镜模块，滤镜模块调用外部滤镜模块，根据识别结果进行预定的滤镜处理。滤镜模块得到滤镜处理结果后，输出至混流模块进行混流。

如果目标对象注册了外部识别器，未注册外部滤镜模块，则当采集模块采集到的视频数据流入识别模块后，识别模块调用外部识别器对视频数据中的图像进行识别(例如，人像识别等)。识别模块得到识别结果后，将识别结果和视频数据共同传输至滤镜模块，但滤镜模块不调用外部滤镜模块，视频数据将直接流入混流模块进行混流。

需要说明的是，如图3所示，其中从终端的显示界面采集的视频数据不进行识别和美颜。由于从终端的显示界面采集的视频数据通常用于直播终端上的操作过程，例如，游戏直播等，因此无需进行识别和美颜。

作为一种可选的实施例，如果目标对象未注册外部数据处理模块，则不调用外部数据处理模块对数据进行处理。

仍结合图3所示，如果目标对象没有注册外部识别器，也没有注册外部滤镜模块，则当采集模块采集到的视频数据流入识别模块后，识别模块不调用外部识别器，直接流入滤镜模块，滤镜模块也不调用外部滤镜模块，直接流入混流模块进行混流。

作为一种可选的实施例，调用外部识别器对视频数据中的图像进行图像识别，得到图像的识别结果，包括：将图像发送至外部识别器，其中，外部识别器对图像进行识别，并返回识别结果；接收外部识别器返回的识别结果。

在上述方案中，结合图4所示，识别模块检测是否注册了外部识别回调，若检测到外部识别回调指针不为空，则开始创建与外部识别器的链接，并通过接口调用外部识别器，由外部识别器对视频数据中的每一帧图像进行识别处理，再将识别结果返回给识别模块。

作为一种可选的实施例，调用外部滤镜模块，根据识别结果对视频你数据中的图像进行滤镜处理，得到图像的处理结果，包括：将识别结果和图像发送至外部滤镜模块，其中，外部滤镜模块根据识别结果对图像进行图像处理，并返回处理结果；接收外部滤镜模块返回的处理结果。

在上述方案中，结合图4所示，如果目标对象注册了外部识别器和外部滤镜，则识别模块将识别结果和视频数据一起发送给滤镜模块，如果目标对象仅注册了外部滤镜，则识别模块仅将视频数据发送给滤镜模块，滤镜模块再通过接口调用外部滤镜，由外部滤镜模块对视频数据中的每一帧图像进行滤镜处理。

需要说明的是，外部滤镜模块可以包括多个，例如：美颜滤镜、风格滤镜以及瘦身滤镜等，在调用外部滤镜模块时，根据目标对象的注册信息，调用其中的一个或多个。例如，如果目标对象注册了美颜滤镜，则仅对视频数据中的每一帧图像进行美颜处理，如果目标对象注册了美颜滤镜、风格滤镜以及瘦身滤镜，则三个滤镜模块都会对视频数据中的图像进行处理。

作为一种可选的实施例，外部数据处理模块包括外部音频数据处理模块，调用外部数据处理模块对数据进行对应的处理，包括：调用外部音频数据处理模块对音频数据进行音频处理，得到音频的处理结果。

在上述方案中，对音频数据的处理仍然可以由用户配置，SDK根据用户的配置注册外部的音频数据处理模块。在获取到采集的音频数据后，根据SDK的注册信息调用外部的音频处理模块对音频数据进行处理。

在一种可选的实施例中，用户选择对音频数据进行降噪处理，SDK根据用户的选择注册外部的降噪处理模块。当SDK中的音频处理模块接收到音频数据后，将音频数据发送至外部的降噪处理模块，以调用外部的降噪处理模块对音频数据处理。外部的降噪处理模块将处理结果返回给SDK中的音频处理，由音频处理模块发送至混流模块进行混流。

作为一种可选的实施例，外部音频处理模块包括如下任意一种或多种：音效处理模块、降噪处理模块和重采样处理模块。

具体的，上述音效处理模块、降噪处理模块和重采样处理模块均为外部的音频处理模块，在SDK注册上述任意一个外部音效处理模块的情况下，被注册的外部音效处理模块被SDK调用，以处理音频数据。

作为一种可选的实施例，将处理后的数据发送至直播应用对应的服务器，包括：将处理后的数据进行编码，得到直播数据流；将直播数据流发送至直播应用对应的服务器。

具体的，上述对数据进行编码，可以为分别对视频进行编码和音频进行编码。在一种可选的实施例中，结合图3所示，处理后的数据还需要进行混流，对混流后的视频数据进行视频，并对混流后的音频数据进行音频编码，最后将视频编码结果和音频编码结果通过RTMP(Real Time Messaging Protocol，实时消息传输协议)进行推流。

作为一种可选的实施例，外部数据处理模块包括：混流功能模块，在将处理后的数据发送至直播应用对应的服务器之前，上述方法还包括：在接收到预设触发条件时，调用混流功能模块，其中，混流功能模块用于在当前直播的数据中添加至少一路其他数据；基于混流功能模块对当前直播的数据和其他数据进行混流。

具体的，上述预设触发条件可以是，当前直播的播主与其他播主进行视频连线等。上述混流功能模块运行在目标对象直播时所使用的终端上，因此当需要进行混流时。直接在目标对象直播时所用的终端上进行混流，而无需将数据传输至直播应用的服务器上等待直播应用的服务器进行混流，从而使得目标对象不受任何直播应用对混流功能的限制。

在一种可选的实施例中，结合图3所示，在目标对象进行直播的过程中，可以添加一路新的视频采集通道。例如，当前直播播主邀请其他播主进行连线，其他播主同意连线后，SDK返回其他播主的ID，并将其他播主的ID作为当前的混流ID。直播客户端将当前直播的视频数据和根据混流ID获取到的视频数据进行叠加混流后，再进行视频编码。

同样的，添加的其他数据也可以是音频数据，在目标对象进行直播的过程中，也可以添加一路音频采集通道。仍以当前直播播主邀请其他播主进行连线为例，其他播主同意连线后，SDK返回其他播主的ID，并将其他播主的ID作为当前的混流ID。直播客户端将当前直播的音频数据和根据混流ID获取到的音频数据进行叠加混流后，再进行音频编码。

上述方案在直播的多人连麦通话中能够很好的应用，当连麦的其他用户上线，即可动态添加混流功能模块，当连麦的其他用户下线则可动态删除。

作为一种可选的实施例，基于混流功能模块对当前直播的数据和其他数据进行混流，包括：对其他数据中的视频数据执行如下任意一项或多项处理：将其他数据中的视频数据渲染至当前显示区域的预设位置、将视频数据设置为主流以及删除视频数据；和/或对其他数据中的音频数据执行如下任意一项或多项处理：将其他数据中的音频数据与当前直播的数据中的音频数据进行混音和根据音频数据清除当前直播的数据中的音频数据。

具体的，其他数据即为调用混流功能模块添加的混流数据，在上述方案中，对其他数据中的视频数据的混流可以包括多种方式，其中，将视频数据渲染至当前显示区域的预设位置，可以是在当前显示界面将主流的视频数据和混流的视频数据共同显示；将视频数据设置为主流，可以是将其他数据中视频作为主流视频数据显示在当前显示界面，即将当前的主流视频数据和混流的视频数据更换位置。

对其他数据中的音频数据的混流也可以包括多种方式，其中，将音频数据与当前直播的数据中的音频数据进行混音，可以是将直播数据中的音频数据和混音数据中的音频数据进行混音；清除当前直播的数据中的音频数据，可以是只保留其他数据中的音频数据。

作为一种可选的实施例，上述数据为直播过程中产生的数据。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述软件开发工具包的配置方法的软件开发工具包的配置装置，图5是根据本申请实施例2的一种软件开发工具包的配置装置的示意图，如图5所示，该装置500包括：

采集模块502，用于采集数据，所述数据包括如下至少之一：视频数据和音频数据。

调用模块504，用于调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块。

发送模块506，用于将处理后的数据发送至直播应用对应的服务器。

此处需要说明的是，上述采集模块502、调用模块504和发送模块506对应于实施例1中的步骤S21至步骤S25，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

作为一种可选的实施例，采集模块包括：第一接收子模块，用于接收配置信息，其中，配置中信息用于配置采集功能模块；第一确定模块，用于根据配置信息确定目标采集功能模块；采集模块，用于通过目标采集功能模块采集数据。

作为一种可选的实施例，第一接收子模块包括：第一接收单元，用于接收用于配置视频采集功能的第一选择指令，其中，第一选择指令用于启动如下任意一项或多项：摄像头采集模块、录屏采集模块和第三方视频采集模块；和/或第二接收单元，用于接收用于配置音频采集功能的第二选择指令，其中，第二选择指令用于启动如下任意一项或多项：麦克风采集模块、音频文件启动模块和第三方音频采集模块。

作为一种可选的实施例，上述装置还包括：获取模块，用于在调用外部数据处理模块对数据进行对应的处理之前，获取目标对象的注册信息，其中，注册信息用于表征目标对象预先在软件开发工具包中指定调用的外部数据处理模块；第二确定模块，用于根据注册信息确定外部数据处理模块。

作为一种可选的实施例，外部数据处理模块包括：获取模块包括如下一项或多项：第一调用模块，用于调用外部识别器对视频数据中的图像进行图像识别，得到图像的识别结果；第二调用模块，用于调用外部滤镜模块，根据识别结果对视频数据中的图像进行滤镜处理，得到图像的处理结果。

作为一种可选的实施例，如果目标对象未注册外部数据处理模块，则不调用外部数据处理模块对数据进行处理。

作为一种可选的实施例，第一调用模块包括：第一发送子模块，用于将图像发送至外部识别器，其中，外部识别器对图像进行识别，并返回识别结果；第一接收子模块，用于接收外部识别器返回的识别结果。

作为一种可选的实施例，第二调用模块包括：第二发送子模块，用于将识别结果和图像发送至外部滤镜模块，其中，外部滤镜模块根据识别结果对图像进行图像处理，并返回处理结果；第二接收子模块，用于接收外部滤镜模块返回的处理结果。

作为一种可选的实施例，调用模块包括：调用子模块，用于调用外部音频数据处理模块对音频数据进行音频处理，得到音频的处理结果。

作为一种可选的实施例，外部音频处理模块包括如下任意一种或多种：音效处理模块、降噪处理模块和重采样处理模块。

作为一种可选的实施例，发送模块包括：编码子模块，用于将处理后的数据进行编码，得到直播数据流；第三发送子模块，用于将直播数据流发送至直播应用对应的服务器。

作为一种可选的实施例，外部数据处理模块包括：混流功能模块，上述装置还包括：第一混流模块，用于在将处理后的数据发送至直播应用对应的服务器之前，在接收到预设触发条件时，调用混流功能模块，其中，混流功能模块用于在当前直播的数据中添加至少一路其他数据；第二混流模块，用于基于混流功能模块对当前直播的数据和其他数据进行混流。

作为一种可选的实施例，第二混流模块包括：第一处理子模块，用于对其他数据中的视频数据执行如下任意一项或多项处理：将其他数据中的视频数据渲染至当前显示区域的预设位置、将视频数据设置为主流以及删除视频数据；和/或第二处理子模块，用于对其他数据中的音频数据执行如下任意一项或多项处理：将其他数据中的音频数据与当前直播的数据中的音频数据进行混音和根据音频数据清除当前直播的数据中的音频数据。

作为一种可选的实施例，上述数据为直播过程中产生的数据。

实施例3

本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行应用程序的漏洞检测方法中以下步骤的程序代码：采集数据，所述数据包括如下至少之一：视频数据和音频数据；调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。

可选地，图6是根据本申请实施例4的一种计算机终端的结构框图。如图6所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器602、存储器604、以及外设接口606。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的安全漏洞检测方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的系统漏洞攻击的检测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

可选的，上述处理器还可以执行如下步骤的程序代码：接收配置信息，其中，配置中信息用于配置采集功能模块；根据配置信息确定目标采集功能模块；通过目标采集功能模块采集直播数据。

可选的，上述处理器还可以执行如下步骤的程序代码：接收用于配置视频采集功能的第一选择指令，其中，第一选择指令用于启动如下任意一项或多项：摄像头采集模块、录屏采集模块和第三方视频采集模块；和/或接收用于配置音频采集功能的第二选择指令，其中，第二选择指令用于启动如下任意一项或多项：麦克风采集模块、音频文件启动模块和第三方音频采集模块。

可选的，上述处理器还可以执行如下步骤的程序代码：在调用外部数据处理模块对数据进行对应的处理之前，获取目标对象的注册信息，其中，注册信息用于表征目标对象预先在软件开发工具包中指定调用的外部数据处理模块；根据注册信息确定外部数据处理模块。

可选的，上述处理器还可以执行如下步骤的程序代码：外部数据处理模块包括：外部识别器和/或外部滤镜模块，调用外部识别器对视频数据中的图像进行图像识别，得到图像的识别结果；调用外部滤镜模块，根据识别结果对视频数据中的图像进行滤镜处理，得到图像的处理结果。

可选的，上述处理器还可以执行如下步骤的程序代码：如果目标对象未注册外部数据处理模块，则不调用外部数据处理模块对数据进行处理。

可选的，上述处理器还可以执行如下步骤的程序代码：将图像发送至外部识别器，其中，外部识别器对图像进行识别，并返回识别结果；接收外部识别器返回的识别结果。

可选的，上述处理器还可以执行如下步骤的程序代码：调用外部滤镜模块，将识别结果和图像发送至外部滤镜模块，其中，外部滤镜模块根据识别结果对图像进行图像处理，并返回处理结果；接收外部滤镜模块返回的处理结果。

可选的，上述处理器还可以执行如下步骤的程序代码：调用外部音频数据处理模块对音频数据进行音频处理，得到音频的处理结果。

可选的，上述处理器还可以执行如下步骤的程序代码：外部音频处理模块包括如下任意一种或多种：音效处理模块、降噪处理模块和重采样处理模块。

可选的，上述处理器还可以执行如下步骤的程序代码：将处理后的数据进行编码，得到直播数据流；将直播数据流发送至直播应用对应的服务器。

可选的，上述处理器还可以执行如下步骤的程序代码：外部数据处理模块包括：混流功能模块，在将处理后的数据发送至直播应用对应的服务器之前，在接收到预设触发条件时，调用混流功能模块，其中，混流功能模块用于在当前直播的数据中添加至少一路其他数据；基于混流功能模块对当前直播的数据和其他数据进行混流。

可选的，上述处理器还可以执行如下步骤的程序代码：对其他数据中的视频数据执行如下任意一项或多项处理：将其他数据中的视频数据渲染至当前显示区域的预设位置、将视频数据设置为主流以及删除视频数据；和/或对其他数据中的音频数据执行如下任意一项或多项处理：将其他数据中的音频数据与当前直播的数据中的音频数据进行混音和根据音频数据清除当前直播的数据中的音频数据。

可选的，上述处理器还可以执行如下步骤的程序代码：上述数据为直播过程中产生的数据。

采用本发明实施例，提供了一种软件开发工具包的配置的方案。通过采集数据，调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。由此可知，本方案求对功能进行自定义，SDK也会根据用户定义的功能调用外部数据处理模块，即对功能模块进行动态插拔，对于不需要的功能模块，也可以直接移除，从而使得SDK满足不同的多种业务形态的需求，实现直播推流功能的多样化。

由此，本身上述实施例解决了现有技术中用于直播推流的SDK结构单一的技术问题。本领域普通技术人员可以理解，图6所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图6其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例4

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的软件开发工具包的配置方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采集数据，所述数据包括如下至少之一：视频数据和音频数据；调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；将处理后的数据发送至直播应用对应的服务器。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种软件开发工具包的配置方法，包括：

采集数据，所述数据包括如下至少之一：视频数据和音频数据；

调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；

将处理后的数据发送至直播应用对应的服务器。

2.根据权利要求1所述的方法，其中，采集数据，包括：

接收配置信息，其中，所述配置中信息用于配置采集功能模块；

根据所述配置信息确定目标采集功能模块；

通过所述目标采集功能模块采集所述数据。

3.根据权利要求1所述的方法，其中，接收配置信息，包括：

接收用于配置视频采集功能的第一选择指令，其中，所述第一选择指令用于启动如下任意一项或多项：摄像头采集模块、录屏采集模块和第三方视频采集模块；和/或

接收用于配置音频采集功能的第二选择指令，其中，所述第二选择指令用于启动如下任意一项或多项：麦克风采集模块、音频文件启动模块和第三方音频采集模块。

4.根据权利要求1所述的方法，其中，在调用外部数据处理模块对所述数据进行对应的处理之前，所述方法还包括：

获取目标对象的注册信息，其中，所述注册信息用于表征所述目标对象预先在所述软件开发工具包中指定调用的外部数据处理模块；

根据所述注册信息确定所述外部数据处理模块。

5.根据权利要求4所述的方法，其中，所述外部数据处理模块包括：外部识别器和/或外部滤镜模块，调用外部数据处理模块对所述数据进行对应的处理，包括如下一项或多项：

调用所述外部识别器对所述视频数据中的图像进行图像识别，得到所述图像的识别结果；

调用所述外部滤镜模块，根据所述识别结果对所述视频数据中的图像进行滤镜处理，得到所述图像的处理结果。

6.根据权利要求4所述的方法，其中，如果所述目标对象未注册外部数据处理模块，则不调用所述外部数据处理模块对所述数据进行处理。

7.根据权利要求6所述的方法，其中，调用外部识别器对所述视频数据中的图像进行图像识别，得到所述图像的识别结果，包括：

将所述图像发送至所述外部识别器，其中，所述外部识别器对所述图像进行识别，并返回所述识别结果；

接收所述外部识别器返回的所述识别结果。

8.根据权利要求5所述的方法，其中，调用外部滤镜模块，根据所述识别结果对所述视频数据中的图像进行滤镜处理，得到所述图像的处理结果，包括：

将所述识别结果和所述图像发送至所述外部滤镜模块，其中，所述外部滤镜模块根据所述识别结果对所述图像进行图像处理，并返回处理结果；

接收所述外部滤镜模块返回的所述处理结果。

9.根据权利要求1所述的方法，其中，所述外部数据处理模块包括外部音频数据处理模块，调用外部数据处理模块对所述数据进行对应的处理，包括：

调用所述外部音频数据处理模块对所述音频数据进行音频处理，得到所述音频的处理结果。

10.根据权利要求9所述的方法，其中，所述外部音频处理模块包括如下任意一种或多种：音效处理模块、降噪处理模块和重采样处理模块。

11.根据权利要求1所述的方法，其中，将处理后的数据发送至直播应用对应的服务器，包括：

将处理后的数据进行编码，得到直播数据流；

将所述直播数据流发送至所述直播应用对应的服务器。

12.根据权利要求1所述的方法，其中，所述外部数据处理模块包括：混流功能模块，在将处理后的数据发送至直播应用对应的服务器之前，所述方法还包括：

在接收到预设触发条件时，调用所述混流功能模块，其中，所述混流功能模块用于在当前直播的数据中添加至少一路其他数据；

基于所述混流功能模块对所述当前直播的数据和所述其他数据进行混流。

13.根据权利要求12所述的方法，其中，基于所述混流功能模块对所述当前直播的数据和所述其他数据进行混流，包括：

对所述其他数据中的视频数据执行如下任意一项或多项处理：将所述其他数据中的视频数据渲染至当前显示区域的预设位置、将所述视频数据设置为主流以及删除所述视频数据；和/或

对所述其他数据中的音频数据执行如下任意一项或多项处理：将所述其他数据中的音频数据与所述当前直播的数据中的音频数据进行混音和根据所述音频数据清除所述当前直播的数据中的音频数据。

14.根据权利要求13所述的方法，其中，所述数据为直播过程中产生的数据。

15.一种软件开发工具包的配置装置，包括：

采集模块，用于采集数据，所述数据包括如下至少之一：视频数据和音频数据；

调用模块，用于调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；

发送模块，用于将处理后的数据发送至直播应用对应的服务器。

16.一种软件开发工具包的配置系统，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：

采集数据，所述数据包括如下至少之一：视频数据和音频数据；

调用外部数据处理模块对所述数据进行对应的处理，其中，所述外部数据处理模块用于表示所述软件开发工具包之外的数据处理模块；

将处理后的数据发送至直播应用对应的服务器。

Images