CN111372132B - 进行音视频传输的方法、装置、设备及存储介质 - Google Patents

进行音视频传输的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111372132B
CN111372132B CN202010115255.8A CN202010115255A CN111372132B CN 111372132 B CN111372132 B CN 111372132B CN 202010115255 A CN202010115255 A CN 202010115255A CN 111372132 B CN111372132 B CN 111372132B
Authority
CN
China
Prior art keywords
audio
video
target
video data
sdk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010115255.8A
Other languages
English (en)
Other versions
CN111372132A (zh
Inventor
王云
黄志义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN202010115255.8A priority Critical patent/CN111372132B/zh
Publication of CN111372132A publication Critical patent/CN111372132A/zh
Application granted granted Critical
Publication of CN111372132B publication Critical patent/CN111372132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173End-user applications, e.g. Web browser, game

Abstract

本申请公开了一种进行音视频传输的方法、装置、设备及存储介质,属于互联网技术领域。方法包括:接收目标应用程序中的对应目标音视频源类型的音视频上传指令;确定目标音视频源类型对应的目标账户标识和SDK,其中,每个SDK处理一路音视频数据的上传;调用所述SDK,获取所述目标音视频源类型对应的目标音视频数据,在所述目标音视频数据中添加所述目标账户标识、目标应用程序的应用标识、以及所述音视频上传指令对应的群组标识,向SDK服务器发送所述目标音视频数据。采用本申请可以在不改变现有SDK和SDK服务器的工作机制的前提下,能够使终端中接入现有SDK的应用程序同时向SDK服务器上传多路音视频流。

Description

进行音视频传输的方法、装置、设备及存储介质
技术领域
本申请涉及互联网技术领域,特别涉及一种进行音视频传输的方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展,多人进行视频进行通话、进行视频会议变得越来越常见。
在现有技术中,多人进行视频通话的技术可通过应用现有的音视频SDK(SoftwareDevelopment Kit,软件开发工具包)进行实现。当软件开发商想在应用程序中实现视频通话技术时,不需要重新编写实现多人视频通话技术的程序,可直接在现有的应用程序中接入音视频SDK,例如直播SDK,从而在应用程序中实现视频通话技术。
在实现本申请的过程中,发明人发现现有技术至少存在以下问题:
现有的音视频SDK要求应用程序在向SDK服务器上传音视频数据时,SDK服务器要求音视频数据的标识字段只能携带应用标识、群组标识和账户标识,这样,一个终端中的一个应用程序只能上传一路音视频流,若要同时上传多路音视频流就会发生冲突,从而导致应用现有的音视频SDK,在不改变SDK及SDK服务器的工作机制的前提下,应用程序只可以向服务器上行一个视频流。
发明内容
本申请实施例提供了一种进行视频传输的方法,能够使接入现有SDK的应用程序同时向SDK服务器上传多路音视频数据流。所述技术方案如下:
第一方面,提供了一种进行音视频传输的方法,应用于第一终端,所述方法包括:
接收目标应用程序中的对应目标音视频源类型的音视频上传指令;
确定所述目标音视频源类型对应的目标账户标识和SDK,其中,每个SDK处理一路音视频数据的上传,不同的音视频源类型对应的账户标识不相同,且均为所述目标应用程序的当前登录账户对应的账户标识;
调用所述SDK,获取所述目标音视频源类型对应的目标音视频数据,在所述目标音视频数据中添加所述目标账户标识、目标应用程序的应用标识、以及所述音视频上传指令对应的群组标识,向SDK服务器发送添加所述目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据。
可选的,所述接收目标应用程序中的对应目标音视频源类型的音视频上传指令之前还包括:
在启动所述目标应用程序时,运行各音视频源类型分别对应的SDK。
可选的,所述在启动所述目标应用程序时,运行各音视频源类型分别对应的SDK,包括:
在启动所述目标应用程序时,通过所述目标应用程序的主进程运行第一音视频源类型对应的第一SDK,通过所述目标应用程序的子进程运行第二音视频源类型对应的第二SDK。
可选的,所述第一音视频源类型对应的音视频数据为所述本地存储的音视频数据,或,对所述第一终端的显示画面进行录制的音视频数据,所述第二音视频源类型对应的音视频数据为音视频采集设备采集的音视频数据。
可选的,所述向SDK服务器发送添加所述目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据。之后,所述方法包括:
接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
如果所述目标账户标识是本地登录账户的账户标识,则向SDK服务器发送拒绝接收通知。
第二方面,提供了一种进行音视频传输的方法,应用于第二终端,包括:接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
如果所述目标账户标识不是本地登录账户的账户标识,则向SDK服务器发送确认接收通知;
接收所述SDK服务器发送的添加目标账户标识、应用标识、以及群组标识的目标音视频数据;
基于预设的SDK对所述目标音视频数据进行解码;
在目标应用程序中,播放解码之后的目标音视频数据。
第三方面,提供了一种进行音视频传输的装置,所述装置包括:
第一接收模块,被配置为接收目标应用程序中的对应目标音视频源类型的音视频上传指令;
确定模块,被配置为确定所述目标音视频源类型对应的目标账户标识和SDK,其中,每个SDK处理一路音视频数据的上传,不同的音视频源类型对应的账户标识不相同,且均为所述目标应用程序的当前登录账户对应的账户标识;
第一发送模块,被配置为调用所述SDK,获取所述目标音视频源类型对应的目标音视频数据,在所述目标音视频数据中添加所述目标账户标识、目标应用程序的应用标识、以及所述音视频上传指令对应的群组标识,向SDK服务器发送添加所述目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据。
可选的,所述装置还包括启动模块,被配置为:
在启动所述目标应用程序时,运行各音视频源类型分别对应的SDK。
可选的,所述启动模块,被配置为:
在启动所述目标应用程序时,通过所述目标应用程序的主进程运行第一音视频源类型对应的第一SDK,通过所述目标应用程序的子进程运行第二音视频源类型对应的第二SDK。
可选的,所述第一音视频源类型对应的音视频数据为所述本地存储的音视频数据,或,对所述第一终端的显示画面进行录制的音视频数据,所述第二音视频源类型对应的音视频数据为音视频采集设备采集的音视频数据。
可选的,所述装置还包括:
第二接收模块,被配置为接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
第二发送模块,被配置为如果所述目标账户标识是本地登录账户的账户标识,则向SDK服务器发送拒绝接收通知。
第四方面,提供了一种进行音视频传输的装置,所述装置包括:
第一接收模块,被配置为接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
发送模块,被配置为如果所述目标账户标识不是本地登录账户的账户标识,则向SDK服务器发送确认接收通知;
第二接收模块,被配置为接收所述SDK服务器发送的添加目标账户标识、应用标识、以及群组标识的目标音视频数据;
解码模块,被配置为基于预设的SDK对所述目标音视频数据进行解码;
播放模块,被配置为在目标应用程序中,播放解码之后的目标音视频数据。
第五方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如第一方面或第二方面所述的进行音视频传输的方法所执行的操作。
第六方面,提供了一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如第一方面或第二方面所述的进行音视频传输的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是:
通过在应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据,对不同音视频源类型的音视频数据添加不同的账户标识,并上传至SDK服务器,而这些不同的账户标识都同属于应用程序当前登录的账户,采用本申请,可以在不改变现有SDK和SDK服务器的工作机制的前提下,能够使一个应用程序同时向SDK服务器上传多个音视频流。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的进行音视频传输的方法流程图;
图3是本申请实施例提供的进行音视频传输的方法流程图;
图4是本申请实施例提供的进行音视频传输的方法流程图;
图5是本申请实施例提供的进行音视频传输的方法示意图;
图6是本申请实施例提供的进行音视频传输的方法示意图;
图7是本申请实施例提供的进行音视频传输的装置结构示意图;
图8是本申请实施例提供的进行音视频传输的装置结构示意图;
图9是本申请实施例提供的计算机设备结构示意图;
图10是本申请实施例提供的服务器结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种实施环境的示意图。参见图1,本申请提供的音视频传输的方法可以通过服务器和终端进行实现。终端中安装有可以实时上传和/或接收音视频数据的应用程序,例如,直播应用程序、聊天应用程序或视频会议应用程序。终端具有显示屏、摄像头麦克风等部件,终端可以是手机、平板电脑、智能穿戴设备、台式计算机、笔记本电脑等。服务器可以是上述应用程序的后台服务器,可以存储数据和处理数据,也可以与其他服务器或终端建立通信关系。该服务器可以是一个单独的服务器也可以是一个服务器组,如果是单独的服务器,该服务器可以负责下述方案中的所有处理,如果是服务器组,服务器组中的不同服务器分别可以负责下述方案中的不同处理,具体的处理分配情况可以由技术人员根据实际需求任意设置,此处不再赘述。
在应用程序中要实现实时上传和/或接收音视频数据的功能,例如,视频通话功能、直播功能等,需要给应用程序接入音视频SDK,从而实现视频通话、直播等功能。当应用程序接入音视频SDK之后,可以通过终端将本地的音视频数据以音视频流的形式上传至音视频SDK对应的服务器,然后由音视频SDK对应的服务器将终端上传的音视频流发送至对应的终端。但由于现有音视频SDK的机制,一个应用程序上传一个音视频流数据到服务器,无法实现同时上传两个或多个音视频数据流到服务器。例如,在通过摄像头与其他终端的用户进行视频会议中,需要把存储在本地的视频与其他用户共享时,则只能先关闭分享摄像头的拍摄的视频数据,才能将本地的视频与其他用户共享。或者,常见的是终端先将摄像头拍摄的视频和需要共享的视频合成为一个视频,再分享给其他终端,但是这样在接收音视频的终端,无法对合成视频中的两个视频播放画面的尺寸进行调整,并且两个视频的画面可能会存在叠加,导致接收音视频的终端无法观看两个视频的完整的画面。而采用本申请实施例提供的音视频传输的方法,可以在应用程序接入现有的音视频SDK的情况下,同时能发送两个或多个音视频数据流给其他终端。在本申请实施例中,以应用程序为音视频会议应用程序为例,以应用程序上传的音视频数据流的个数是两个为例,对方案进行详细说明,其他情况与之类似,不再赘述。
图2是本申请实施例提供的一种进行音视频传输的方法的流程图。该方法应用于第一终端,其中,第一终端可以是多路音视频的发送终端,参见图2,该实施例包括:
步骤201、接收目标应用程序中的对应目标音视频源类型的音视频上传指令。
其中,目标应用程序可以是视频会议应用程序,目标音视频源类型对应的音视频可以是存储在本地的音视频数据,或第一终端显示界面的录屏,或是由连接第一终端的摄像头和麦克风采集的音视频数据。另外,在目标应用程序可以预先接入多个SDK。
在实施中,用户可以在视频会议应用程序中登录自己的账户,然后在视频会议应用程序建立视频会议创建会议群组,在会议群组中可以包括多个账户,每个账户所登录的终端可以向其他账户所登录的终端发送本地的音视频数据流,每个账户所登录的终端也可以接收其他账户所登录的终端发送的音视频数据流。从而实现多个人进行视频会议。一般在进行视频会议的时,需要第一终端将摄像头拍摄的用户的视频画面以及麦克风收录的音频数据合成的音视频数据,发送给其他终端,所以可以在创建视频会议时,向运行在视频会议应用程序中的SDK发送视频上传指令,在该上传指令中可以携带有摄像头的设备标识,SDK可根据上传指令中携带的摄像头的设备标识获取摄像头获取的视频数据。另外,在进行视频会议的过程中,当用户想要与其他在会议群组中的用户分享视频时,用户可以点击视频会议应用程序分享视频的选项,当用户点击分享视频的选项之后,会议应用程序中可以显示一个浏览界面,用户可以在界面选择本地存储的音视频,当用户选择本地存储的视频之后,可以点击对应的确定选项,之后,视频会议应用程序可以向运行在视频会议应用程序中的SDK发送视频上传指令,在该上传指令中可以携带有用户所选音视频的存储地址,SDK可根据上传指令中携带的音视频的存储地址存储在本地的音视频数据。
另外,不同的上传指令中可用于指示SDK上传不同音视频源类型的视频,不同音视频源类型的音视频可以由不同的SDK获取。
可选的,目标应用程序中的运行的SDK可以在目标应用程序启动时进行加载,相应的处理可以如下:在启动目标应用程序时,运行各音视频源类型分别对应的SDK。
在实施中,当视频会议应用程序运行之后,视频会议应用程序运行可加载预先设置的不同的SDK,用于视频会议接收应用程序发送的不同音视频源类型对应的上传指令,不同的上传指令对应不同的SDK,当SDK接收到上传指令,可根据上传指令获取对应音视频源类型的视频数据。
可选的,可通过目标应用程序中不同的进程加载不同的SDK,相应的处理可如下:在启动目标应用程序时,通过目标应用程序的主进程运行第一音视频源类型对应的第一SDK,通过目标应用程序的子进程运行第二音视频源类型对应的第二SDK。
其中,第一视频源类型对应的音视频数据为本地存储的音视频数据,或,对第一终端的显示画面进行录制的音视频数据,第二视频源类型对应的音视频数据为音视频采集设备采集的音视频数据。
在实施中,在视频会议应用程序中可以预先设置有两个SDK,当视频会议应用程序启动之后,视频会议应用程序可以在运行应用程序的主进程之外,再启动一个子进程,其中,主进程加载第一SDK,子进程加载第二SDK。主进程中加载第一SDK可被设置用于上传第一音视频源类型的视频,即上传终端本地存储的音视频数据,或是对第一终端的显示画面进行录制的音视频数据。子进程中的第二SDK可被设置用于上传第二音视频源类型对应的视频数据,即摄像设备拍摄的视频数据和麦克风采集的音频数据合成的音视频数据。
步骤202、确定目标音视频源类型对应的目标账户标识和SDK。
其中,每个SDK处理一路音视频数据的上传,不同的音视频源类型对应的账户标识不相同,且均为所述目标应用程序的当前登录账户对应的账户标识。
在实施中,技术人员可以预先为每个账户设置多个对应的账户标识。其中,账户标识可以是账户对应的账户ID,和通过账户ID以及预设的对应关系得到的账户子ID(Identity document,身份标识号),例如,当用户通过视频会议应用程序申请的账户ID为1234,则账户子ID可以是1234-1、1234-2、1234-3等,其中,1234、1234-1、1234-2、1234-3等都为账户对应的账户标识。在视频会议应用程序中可设置多个不同的SDK,不同的上传指令可以用于控制不同的SDK获取不同音视频源类型对应的音视频数据。不同的音视频源类型对应有不同的账户标识,例如,第一音视频源类型对应账户ID,第二音视频源类型对应账子ID。即不同的上传指令可指示不同的SDK获取对应的音视频源类型的视频数据,当应用程序向SDK发送上传指令之后,可根据上传指令确定处理待上传音视频数据的SDK,和对应的账户标识。
步骤203、调用SDK,获取目标音视频源类型对应的目标音视频数据,在目标音视频数据中添加目标账户标识、目标应用程序的应用标识、以及音视频上传指令对应的群组标识,向SDK服务器发送添加目标账户标识、应用标识、以及群组标识的目标音视频数据。
在实施中,视频会议应用程序中的SDK向SDK服务器上传音视频数据时,需要在上传的音视频数据中添加传输标识,传输标识可以由应用标识、视频群组标识、以及目标账户标识组成。其中,群组标识可以是当前视频会议应用程序中账户加入的视频会议群组的群组标识,应用标识为视频会议应用程序对应的应用标识,并且SDK服务器中预先存储有视频会议应用程序对应的应用标识。当视频会议应用程序中的SDK接收到视频会议应用程序发送的第一个上传指令之后,可根据上传指令获取音视频源类型对应音视频数据。然后SDK可以对音视频数据进行编码,并在编码之后的音视频数据中添加传输标识,然后将音视频数据上传至SDK服务器。例如,视频会议应用程序向运行在主进程上的第一SDK发送上传指令,SDK可根据上传指令中携带的存储地址获取对应的音视频数据,然后对音视频数据进行转码,并添加对应的传输标识,然后将第一SDK转码之后音视频数据上传至SDK服务器,其中,传输标识中的账户标识为第一音视频源类型对应的账户标识。当SDK接收到视频会议应用程序发送的第二个上传指令之后,可根据上传指令获取对应音视频源类型对应音视频数据。然后SDK可以对音视频数据进行编码,并在编码之后的音视频数据中添加第二个传输标识,然后将音视频数据上传至SDK服务器。例如,视频会议应用程序向运行在子进程上的第二SDK发送上传指令,SDK可根据上传指令中携带的摄像头的设备标识获取对应的音视频数据,然后对音视频数据进行转码,并添加第二个传输标识,然后将第二SDK转码之后的音视频数据上传至SDK服务器,其中,传输标识中的账户标识为第二音视频源类型对应的账户标识。
本申请实施例通过在应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据,对不同音视频源类型的音视频数据添加不同的账户标识,并上传至SDK服务器,而这些不同的账户标识都同属于应用程序当前登录的账户,采用本申请,可以在不改变现有SDK和SDK服务器的工作机制的前提下,能够使一个应用程序同时向SDK服务器上传多个音视频流。
图3是本申请实施例提供的一种进行音视频传输的方法的流程图。该方法应用于第二终端,其中,第二终端为可以是多个视频的接收终端,参见图3,该实施例包括:
步骤301、接收所述SDK服务器发送的添加目标账户标识、应用标识、以及群组标识的目标音视频数据;
在实施中,第二终端接收SDK服务器发送的音视频数据,音视频数据中添加有传输标识,即目标账户标识、应用标识、以及群组标识,其中,目标账户标识为发送音视频数据的账户对应的账户标识,应用标识为视频会议应用程序对应的应用标识,群组标识为当前第二终端登录的账户加入的视频会议群组对应的群组标识。
步骤302、基于预设的SDK对目标音视频数据进行解码。
在实施中,当第二终端接收到目标音视频数据之后,可通过视频会议应用程序中预先加载的SDK对接收的目标音视频数据进行解码。
步骤303、在目标应用程序中,播放解码之后的目标音视频数据。
在实施中,视频会议应用程序中的SDK对接收的音视频数据进行解码之后,视频会议应用程序可通过播放窗口对解码之后的音视频数据进行播放。当视频会议应用程序接收的音视频数据为多个时,可以通过多个播放窗口对解码之后的音视频数据进行播放,其中,每个播放窗口播放一个视频。另外,可以根据音视频数据中携带的账户标识,将账户标识对应为同一个账户发送的音视频数据对应的播放窗口并列显示,另外,在播放的过程中用户可以对多个播放窗口的位置和大小进行自行调节,以适合自己观看多个视频数据。
本申请实施例通过在应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据,对不同音视频源类型的音视频数据添加不同的账户标识,并上传至SDK服务器,而这些不同的账户标识都同属于应用程序当前登录的账户,采用本申请,可以在不改变现有SDK和SDK服务器的工作机制的前提下,能够使一个应用程序同时向SDK服务器上传多个音视频流。
图4为本申请实施例提供的一种进行音视频传输的方法的流程图,用于第一终端、第二终端和SDK服务器,如图4所示,本实施例包括:
步骤401,第一终端向SDK服务器发送添加目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据。
在实施中,当第一终端账户所在的视频会议群组在创建时,可将视频会议群组的标识以及群组中各账户的账户标识发送至SDK服务器,SDK服务器接收视频会议群组的标识以及视频会议群组中各账户的账户标识并与视频会议应用程序的对应的应用标识进行存储。其中,当第一终端向服务器上传多个音视频数据时,则可以将第一终端登录的账户对应的多个账户标识以及视频会议群组中其他账户标识与会议群组的标识和视频会议应用程序的对应的应用标识进行存储。如图5所示,当第一视频会议群组中的第一终端上传两个音视频数据时,则在第一视频会议群组中可存储第一终端登录账户对应的两个账户标识,如uid1和uid1-1,其中,uid1和uid1-1携带在第一终端上传SDK服务器中的音视频数据流中。
可选的,当第一终端再通过服务器向其他的设备发送音视频数据时,可能接收到其他终端发送的音视频数据,其中,在接收其他终端发送的音视频数据时,可进行如下处理:接收SDK服务器发送的携带有目标账户标识的音视频发送通知;如果目标账户标识是本地登录账户的账户标识,则向SDK服务器发送拒绝接收通知。
在实施中,音视频数据的发送通知中携带有对应音视频数据中添加的账户标识。由于SDK服务器转发终端发送的音视频数据时,是将携带账户标识的音视频数据转发给视频会议群组中的其他的账户所登录的终端,所以当第一终端在向SDK服务器发送多个音视频数据时,SDK服务器中会在视频会议群组中存储多个第一终端终端的账户对应的多个账户标识,可能会将第一终端发送的音视频数据通过对应的多个账户标识再次转发回第一终端。但是SDK服务器向终端发送其他终端发送的音视频数据之前,首先会向终端发送一个对应的发送通知,其中,发送通知携带有账户标识,终端接收到携带有账户标识的发送通知之后,可向SDK服务器确认接收通知,从而接收对应的音视频数据。所以当第一终端接收SDK服务器发送的携带有目标账户标识的音视频发送通知之后,可确定发送通知中携带的目标账户标识,如果目标账户标识不是本地登录账户的账户标识,则说明对应的音视频数据为其他终端发送的音视频数据,则向SDK服务器发送确认接收通知,然后接收对应的音视频数据。如果目标账户标识是本地登录账户对应的账户标识,则说明对应的音视频数据为第一终端发送的音视频数据,则向SDK服务器发送拒绝接收通知,不接收对应的音视频数据。
步骤402,SDK服务器基于目标应用标识,确定目标视频数据对应的至少一个接收账户。
在实施中,SDK服务器接收一终端发送的视频数据之后,可以根据视频数据中携带的传输标识,确定接收终端。根据每个视频数据中携带的应用标识和视频群组标识确定每个视频数据对应的应用程序和视频会议群组,根据确定的视频会议群组中其他的账户,确定其他的账户所登录的接收终端(即第二终端)。
步骤403,SDK服务器将添加目标账户标识、应用标识、以及所述群组标识的目标音视频数据,转发至至少一个接收账户对应的第二终端。
步骤404、第二终端基于预设的SDK对所述目标音视频数据进行解码,播放解码之后的目标音视频数据。
在实施中,当第二终端接收到目标音视频数据之后,可通过视频会议应用程序中预先加载的SDK对接收的目标音视频数据进行解码。视频会议应用程序中的SDK对接收的音视频数据进行解码之后,视频会议应用程序可通过播放窗口对解码之后的音视频数据进行播放。图6是本申请实例的方法示意图,如图6所示,当第一发送终端和第二发送终端都上传了两路音视频数据时,其中,第一发送终端登录的账户对应的账户标识分别为uid1、uid1-1,第二发送终端登录的账户对应的账户标识分别为uid2、uid2-1。服务器接收第一发送终端和第二发送终端都上传的视频数据后,将视频数据转发给接收终端,接收终端可通过预设的SDK对接收的视频数据进行解码,再通过多个播放窗口对解码之后的视频数据进行播放。当视频会议应用程序接收的音视频数据为多个时,可以通过多个播放窗口对解码之后的音视频数据进行播放,其中,每个播放窗口播放一个视频。另外,可以根据音视频数据中携带的账户标识,将账户标识对应为同一个账户发送的音视频数据对应的播放窗口并列显示,另外,由于在第一终端中不同音视频源类型对应的音视频数据所添加的账户标识不同,所以在第二终端可根据接收的音视频数据中携带的不同账户标识,对接收到的音视频数据的音视频源类型进行区分,例如,账户ID对应的音视频源类型为第一音视频源类型,账户子ID对应的音视频源类型为第二音视频源类型,然后在播放音视频数据时,可以将不同音视频源类型的音视频数据进行区别,例如,可在播放窗口中显示所播放音视频数据对应的音视频源类型。
可选的,第二终端在接收其他终端发送的音视频数据之前,会接收SDK服务器发送的发送通知,并根据发送通知确定是否接收对应的音视频数据。相应的处理可以如下:接收SDK服务器发送的携带有目标账户标识的音视频发送通知;如果目标账户标识不是本地登录账户的账户标识,则向SDK服务器发送确认接收通知。
在实施中,音视频数据的发送通知中携带有对应音视频数据中添加的账户标识。由于SDK服务器转发终端发送的音视频数据时,是将携带账户标识的音视频数据转发给视频会议群组中的其他的账户所登录的终端,所以当第二终端在接收SDK服务器发送多个音视频数据时,可能也会通过SDK服务器向其他终端发送多个音视频数据,SDK服务器可能会将第二终端发送的多个音视频数据通过第二终端登录账户对应的多个账户标识再次转发回第二终端。所以当第二终端接收SDK服务器发送的携带有目标账户标识的音视频发送通知之后,可确定发送通知中携带的目标账户标识,如果目标账户标识不是本地登录账户的账户标识,则说明对应的音视频数据为其他终端发送的音视频数据,则向SDK服务器发送确认接收通知,然后接收对应的音视频数据。如果目标账户标识是本地登录账户对应的账户标识,则说明对应的音视频数据为第二终端发送的音视频数据,则向SDK服务器发送拒绝接收通知,不接收对应的音视频数据。
本申请实施例通过在应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据,对不同音视频源类型的音视频数据添加不同的账户标识,并上传至SDK服务器,而这些不同的账户标识都同属于应用程序当前登录的账户,采用本申请,可以在不改变现有SDK和SDK服务器的工作机制的前提下,能够使一个应用程序同时向SDK服务器上传多个音视频流。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图7为本申请实施例提供的提供了一种进行音视频传输的装置,该装置可以是上述实施例中的第一终端,该装置包括:
第一接收模块710,被配置为接收目标应用程序中的对应目标音视频源类型的音视频上传指令;
确定模块720,被配置为确定所述目标音视频源类型对应的目标账户标识和SDK,其中,每个SDK处理一路音视频数据的上传,不同的音视频源类型对应的账户标识不相同,且均为所述目标应用程序的当前登录账户对应的账户标识;
第一发送模块730,被配置为调用所述SDK,获取所述目标音视频源类型对应的目标音视频数据,在所述目标音视频数据中添加所述目标账户标识、目标应用程序的应用标识、以及所述音视频上传指令对应的群组标识,向SDK服务器发送添加所述目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据。
可选的,所述装置还包括启动模块,被配置为:
在启动所述目标应用程序时,运行各音视频源类型分别对应的SDK。
可选的,所述启动模块,被配置为:
在启动所述目标应用程序时,通过所述目标应用程序的主进程运行第一音视频源类型对应的第一SDK,通过所述目标应用程序的子进程运行第二音视频源类型对应的第二SDK。
可选的,所述第一音视频源类型对应的音视频数据为所述本地存储的音视频数据,或,对所述第一终端的显示画面进行录制的音视频数据,所述第二音视频源类型对应的音视频数据为音视频采集设备采集的音视频数据。
可选的,所述装置还包括:
第二接收模块,被配置为接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
第二发送模块,被配置为如果所述目标账户标识是本地登录账户的账户标识,则向SDK服务器发送拒绝接收通知。
图8为本申请实施例提供的提供了一种进行音视频传输的装置,该装置可以是上述实施例中的第二终端,该装置包括:
第一接收模块810,被配置为接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
发送模块820,被配置为如果所述目标账户标识不是本地登录账户的账户标识,则向SDK服务器发送确认接收通知;
第二接收模块830,被配置为接收所述SDK服务器发送的添加目标账户标识、应用标识、以及群组标识的目标音视频数据;
解码模块840,被配置为基于预设的SDK对所述目标音视频数据进行解码;
播放模块850,被配置为在目标应用程序中,播放解码之后的目标音视频数据。
需要说明的是:上述实施例提供的进行视频传输的装置在进行视频传输时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的进行视频传输的装置与进行视频传输的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9示出了本申请一个示例性实施例提供的计算机设备的结构框图。该计算机设备可以是终端900,终端900可以是:智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的进行音视频传输的方法。
在一些实施例中,终端900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置终端900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在终端900的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在终端900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时,可以检测用户对终端900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时,由处理器901根据用户对触摸显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制触摸显示屏905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏905的显示亮度;当环境光强度较低时,调低触摸显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时,由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时,由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对终端900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图10是本申请实施例提供的一种服务器的结构示意图,该服务器1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central processingunits,CPU)1001和一个或一个以上的存储器1002,其中,所述存储器1002中存储有至少一条指令,所述至少一条指令由所述处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述实施例中进行视频传输的方法。该计算机可读存储介质可以是非暂态的。例如,所述计算机可读存储介质可以是ROM(Read-OnlyMemory,只读存储器,)、RAM(Random Access Memory,随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种进行音视频传输的方法,其特征在于,应用于第一终端,所述方法包括:
接收目标应用程序中的对应目标音视频源类型的音视频上传指令,其中,所述目标应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据;
确定所述目标音视频源类型对应的目标账户标识和SDK,其中,每个SDK处理一路音视频数据的上传,不同的音视频源类型对应的账户标识不相同,且均为所述目标应用程序的当前登录账户对应的账户标识;
调用所述目标音视频源类型对应的SDK,获取所述目标音视频源类型对应的目标音视频数据,在所述目标音视频数据中添加所述目标账户标识、目标应用程序的应用标识、以及所述音视频上传指令对应的群组标识,向SDK服务器发送添加所述目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据。
2.根据权利要求1所述的方法,其特征在于,所述接收目标应用程序中的对应目标音视频源类型的音视频上传指令之前还包括:
在启动所述目标应用程序时,运行各音视频源类型分别对应的SDK。
3.根据权利要求2所述的方法,其特征在于,所述在启动所述目标应用程序时,运行各音视频源类型分别对应的SDK,包括:
在启动所述目标应用程序时,通过所述目标应用程序的主进程运行第一音视频源类型对应的第一SDK,通过所述目标应用程序的子进程运行第二音视频源类型对应的第二SDK。
4.根据权利要求3所述的方法,其特征在于,所述第一音视频源类型对应的音视频数据为本地存储的音视频数据,或,对所述第一终端的显示画面进行录制的音视频数据,所述第二音视频源类型对应的音视频数据为音视频采集设备采集的音视频数据。
5.根据权利要求1所述的方法,其特征在于,所述向SDK服务器发送添加所述目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据之后,所述方法包括:
接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
如果所述目标账户标识是本地登录账户的账户标识,则向所述SDK服务器发送拒绝接收通知。
6.一种进行音视频传输的方法,其特征在于,应用于第二终端,所述方法包括:
接收SDK服务器发送的携带有目标账户标识的音视频发送通知;
如果所述目标账户标识不是本地登录账户的账户标识,则向所述SDK服务器发送确认接收通知;
接收所述SDK服务器发送的添加目标账户标识、应用标识、以及群组标识的目标音视频数据;
基于预设的SDK对所述目标音视频数据进行解码;
在目标应用程序中,播放解码之后的目标音视频数据,其中,所述目标应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据。
7.一种进行音视频传输的装置,其特征在于,应用于第一终端,所述装置包括:
第一接收模块,被配置为接收目标应用程序中的对应目标音视频源类型的音视频上传指令,其中,所述目标应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据;
确定模块,被配置为确定所述目标音视频源类型对应的目标账户标识和SDK,其中,每个SDK处理一路音视频数据的上传,不同的音视频源类型对应的账户标识不相同,且均为所述目标应用程序的当前登录账户对应的账户标识;
第一发送模块,被配置为调用所述目标音视频源类型对应的SDK,获取所述目标音视频源类型对应的目标音视频数据,在所述目标音视频数据中添加所述目标账户标识、目标应用程序的应用标识、以及所述音视频上传指令对应的群组标识,向SDK服务器发送添加所述目标账户标识、所述应用标识、以及所述群组标识的目标音视频数据。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括启动模块,被配置为:
在启动所述目标应用程序时,运行各音视频源类型分别对应的SDK。
9.根据权利要求8所述的装置,其特征在于,所述启动模块,被配置为:
在启动所述目标应用程序时,通过所述目标应用程序的主进程运行第一音视频源类型对应的第一SDK,通过所述目标应用程序的子进程运行第二音视频源类型对应的第二SDK。
10.根据权利要求9所述的装置,其特征在于,所述第一音视频源类型对应的音视频数据为本地存储的音视频数据,或,对所述第一终端的显示画面进行录制的音视频数据,所述第二音视频源类型对应的音视频数据为音视频采集设备采集的音视频数据。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二接收模块,被配置为接收所述SDK服务器发送的携带有目标账户标识的音视频发送通知;
第二发送模块,被配置为如果所述目标账户标识是本地登录账户的账户标识,则向SDK服务器发送拒绝接收通知。
12.一种进行音视频传输的装置,其特征在于,所述装置包括:
第一接收模块,被配置为接收SDK服务器发送的携带有目标账户标识的音视频发送通知;
发送模块,被配置为如果所述目标账户标识不是本地登录账户的账户标识,则向SDK服务器发送确认接收通知;
第二接收模块,被配置为接收所述SDK服务器发送的添加目标账户标识、应用标识、以及群组标识的目标音视频数据;
解码模块,被配置为基于预设的SDK对所述目标音视频数据进行解码;
播放模块,被配置为在目标应用程序中,播放解码之后的目标音视频数据,其中,所述目标应用程序中接入多个SDK,不同的SDK获取不同音视频源类型的音视频数据。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至6任一项所述的进行音视频传输的方法所执行的操作。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的进行音视频传输的方法所执行的操作。
CN202010115255.8A 2020-02-25 2020-02-25 进行音视频传输的方法、装置、设备及存储介质 Active CN111372132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115255.8A CN111372132B (zh) 2020-02-25 2020-02-25 进行音视频传输的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115255.8A CN111372132B (zh) 2020-02-25 2020-02-25 进行音视频传输的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111372132A CN111372132A (zh) 2020-07-03
CN111372132B true CN111372132B (zh) 2022-03-08

Family

ID=71210304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115255.8A Active CN111372132B (zh) 2020-02-25 2020-02-25 进行音视频传输的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111372132B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040813A1 (zh) * 2016-08-31 2018-03-08 腾讯科技(深圳)有限公司 音视频通信方法、终端、服务器及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086869A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 음성통화 중 영상을 전송하는 방법 및 장치
CN106791650A (zh) * 2016-12-22 2017-05-31 厦门中控生物识别信息技术有限公司 视频的预览方法、装置及智能终端
KR102393818B1 (ko) * 2017-02-02 2022-05-03 구글 엘엘씨 커스텀 디지털 컴포넌트
CN107613242A (zh) * 2017-09-12 2018-01-19 宇龙计算机通信科技(深圳)有限公司 视频会议处理方法及终端、服务器
CN108681436B (zh) * 2018-03-13 2020-09-22 Oppo广东移动通信有限公司 画质参数调节方法、装置、终端及存储介质
CN108900900A (zh) * 2018-06-29 2018-11-27 中国联合网络通信集团有限公司 流媒体播放方法及装置
CN109871291B (zh) * 2019-03-19 2023-07-04 广州华多网络科技有限公司 数据处理方法及装置
CN110377438B (zh) * 2019-07-22 2021-09-03 广州小鹏汽车科技有限公司 跨进程通信接口的路由方法、装置和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040813A1 (zh) * 2016-08-31 2018-03-08 腾讯科技(深圳)有限公司 音视频通信方法、终端、服务器及存储介质

Also Published As

Publication number Publication date
CN111372132A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN108966008B (zh) 直播视频回放方法及装置
CN110278464B (zh) 显示榜单的方法和装置
CN108881286B (zh) 多媒体播放控制的方法、终端、音箱设备和系统
CN111464830B (zh) 图像显示的方法、装置、系统、设备及存储介质
CN111355974A (zh) 虚拟礼物赠送处理的方法、装置、系统、设备及存储介质
CN111107389B (zh) 确定观看直播时长的方法、装置和系统
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN110121084B (zh) 切换端口的方法、装置和系统
CN111741366A (zh) 音频播放方法、装置、终端及存储介质
CN112104648A (zh) 数据处理方法、装置、终端、服务器及存储介质
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN113204671A (zh) 资源展示方法、装置、终端、服务器、介质及产品
CN111010588B (zh) 直播处理方法、装置、存储介质及设备
CN111818358A (zh) 音频文件的播放方法、装置、终端及存储介质
CN111294551B (zh) 进行音视频传输的方法、装置、设备及存储介质
CN112104913A (zh) 连麦切换方法、装置、计算机设备及存储介质
CN112616082A (zh) 视频预览方法、装置、终端及存储介质
CN108260023B (zh) 进行直播的方法和装置
CN110808021A (zh) 音频播放的方法、装置、终端及存储介质
CN111918084B (zh) 上麦方法、装置、服务器及终端
CN111372132B (zh) 进行音视频传输的方法、装置、设备及存储介质
CN111464829B (zh) 切换媒体数据的方法、装置、设备及存储介质
CN110996115B (zh) 直播视频播放方法、装置、设备、存储介质和程序产品
CN113141538A (zh) 媒体资源播放方法、装置、终端、服务器及存储介质
CN109189525B (zh) 加载子页面的方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200703

Assignee: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000030

Denomination of invention: Method, device, equipment and storage medium for audio and video transmission

License type: Common License

Record date: 20210125

GR01 Patent grant
GR01 Patent grant