CN114500914A - 音视频转发方法、装置、终端与系统 - Google Patents

音视频转发方法、装置、终端与系统 Download PDF

Info

Publication number
CN114500914A
CN114500914A CN202011257786.7A CN202011257786A CN114500914A CN 114500914 A CN114500914 A CN 114500914A CN 202011257786 A CN202011257786 A CN 202011257786A CN 114500914 A CN114500914 A CN 114500914A
Authority
CN
China
Prior art keywords
audio
stream
streams
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011257786.7A
Other languages
English (en)
Inventor
朱景升
梅君君
赵志东
官丹
孟天亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202011257786.7A priority Critical patent/CN114500914A/zh
Priority to EP21891053.7A priority patent/EP4243407A4/en
Priority to PCT/CN2021/129041 priority patent/WO2022100528A1/zh
Publication of CN114500914A publication Critical patent/CN114500914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种音视频转发方法、装置、终端与系统，上述方法包括在第一发送终端与第一接收终端进行会话的过程中，获取第一发送终端发送的多个第一视频流与多个第一音频流；按照第一接收终端的终端参数与第一接收终端所使用的网络带宽，从多个第一视频流与多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，第一目标视频流为在多个第一视频流中第一接收终端支持播放的分辨率最高的视频流，第一目标音频流为在多个第一音频流中第一接收终端支持播放的音质最好的音频流；将第一目标视频流与第一目标音频流发送给第一接收终端。通过本发明，解决了视频会议中会议稳定性差的问题，进而达到了提高视频会议稳定性的效果。

Description

音视频转发方法、装置、终端与系统
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种音视频转发方法、装置、终端与系统。
背景技术
现有技术中，在视频会议的过程中，通常涉及到多方会议，转发服务器需要将每一方的视频内容转发到其他参会方。而由于参会方的硬件设备的不同，视频可能会涉及到多种不同的格式。转发服务器需要将不同格式或者分辨率的音视频转发到不同的参会方，而在此过程中，会涉及到参会方不支持某个格式的视频或者参会方的网络状况不稳定，无法接收分辨率高的视频的情况，造成视频会议中，参会方无法播放视频，影响到会议稳定性。
发明内容
本发明实施例提供了一种音视频转发方法、装置、终端与系统，以至少解决相关技术中视频会议不稳定的问题。
根据本发明的一个实施例，提供了一种音视频转发方法，包括：在第一发送终端与第一接收终端进行会话的过程中，获取上述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流；将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端。
在一个示例性实施例中，在将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端之后，上述方法还包括：监控上述第一接收终端的上述终端参数与上述第一接收终端所使用的上述网络带宽；在上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第一目标视频流与上述第一目标音频流。
在一个示例性实施例中，在重新确定上述第一目标视频流与上述第一目标音频流之后，上述方法还包括：向上述第一接收终端发送重新确定的上述第一目标视频流与上述第一目标音频流。
在一个示例性实施例中，上述方法还包括：按照第二接收终端所使用的网络带宽与上述第二接收终端的终端参数，从上述多个第一视频流与上述多个第一音频流中确定出第二目标视频流与第二目标音频流，其中，上述第二目标视频流为在上述多个第一视频流中上述第二接收终端支持播放的分辨率最高的视频流，上述第二目标音频流为在上述多个第一音频流中上述第二接收终端支持播放的音质最好的音频流，上述第二接收终端为与上述第一发送终端、上述第一接收终端进行会话的终端；将上述第二目标视频流与上述第二目标音频流发送给上述第二接收终端。
在一个示例性实施例中，在将上述第二目标视频流与上述第二目标音频流发送给上述第二接收终端之后，上述方法还包括：监控上述第二接收终端所使用的上述网络带宽与上述终端参数；在上述第二接收终端的所使用上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第二目标视频流与上述第二目标音频流。
在一个示例性实施例中，在重新确定上述第二目标视频流与上述第二目标音频流之后，上述方法还包括：向上述第二接收终端发送重新确定的上述第二目标视频流与上述第二目标音频流。
在一个示例性实施例中，上述方法还包括：获取第二发送终端发送的多个第二视频流与多个第二音频流，其中，不同的上述第二视频流的格式不同或者分辨率不同，上述多个第二视频流对应的内容相同，不同的上述第二音频流的格式不同，上述多个第二音频流对应的内容相同，上述第二发送终端为与上述第一发送终端、第一接收终端进行会话的终端；按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第二视频流与上述多个第二音频流中确定出第三目标视频流与第三目标音频流，其中，上述第三目标视频流为在上述多个第二视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第三目标音频流为在上述多个第二音频流中上述第一接收终端支持播放的音质最好的音频流；将上述第三目标视频流与上述第三目标音频流发送给上述第一接收终端。
在一个示例性实施例中，在将上述第三目标视频流与上述第三目标音频流发送给上述第一接收终端之后，上述方法还包括：监控上述第一接收终端所使用的上述网络带宽与上述终端参数；在上述第一接收终端所使用的上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第三目标视频流与上述第三目标音频流。
在一个示例性实施例中，在重新确定上述第三目标视频流与上述第三目标音频流之后，上述方法还包括：向上述第一接收终端发送重新确定的上述第三目标视频流与上述第三目标音频流。
在一个示例性实施例中，上述方法还包括：按照第二接收终端所使用的网络带宽与上述第二接收终端的终端参数，从上述多个第二视频流与上述多个第二音频流中确定出第四目标视频流与第四目标音频流，其中，上述第四目标视频流为在上述多个第二视频流中上述第二接收终端支持播放的分辨率最高的视频流，上述第四目标音频流为在上述多个第二音频流中上述第二接收终端支持播放的音质最好的音频流，上述第二接收终端为与上述第一发送终端、第一接收终端、第二发送终端进行会话的终端；将上述第四目标视频流与上述第四目标音频流发送给上述第二接收终端。
在一个示例性实施例中，在将上述第四目标视频流与上述第四目标音频流发送给上述第二接收终端之后，上述方法还包括：监控上述第二接收终端所使用的上述网络带宽与上述终端参数；在上述第二接收终端所使用的上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第四目标视频流与上述第四目标音频流。
在一个示例性实施例中，在重新确定上述第四目标视频流与上述第四目标音频流之后，上述方法还包括：向上述第二接收终端发送重新确定的上述第四目标视频流与上述第四目标音频流。
在一个示例性实施例中，上述方法还包括：在获取到多个目标视频流与多个目标音频流的情况下，将上述多个目标视频流发送给会话过程中的每个接收终端，将上述多个目标音频流中声音最大的N个目标音频流发送给上述每个接收终端，其中，上述N为正整数，上述N根据上述目标音频流的数量确定，上述目标视频流包括上述第一目标视频流，上述目标音频流包括上述第一目标音频流，上述每个接收终端包括上述第一接收终端。
根据本发明的另一个实施例，提供了一种音视频转发方法，包括：在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；将上述多个第一视频流发送到服务器，以使上述服务器从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流。
在一个示例性实施例中，在获取上述多个第一视频流与上述多个第一音频流之前，上述方法还包括：从上述服务器获取视频编码格式、视频编码分辨率与音频编码格式；按照上述视频编码格式、视频编码分辨率与音频编码格式对原始视频流与原始音频流进行编码，得到上述多个第一视频流与上述多个第一音频流。
根据本发明的另一个实施例，提供了一种音视频转发方法，包括：在第一发送终端与第一接收终端进行会话的过程中，上述第一接收终端接收服务器发送的第一目标视频流与第一目标音频流，其中，上述第一目标视频流为上述服务器从多个第一视频流中确定出的视频流，上述第一目标音频流为从多个第一音频流中确定出的音频流，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；上述第一接收终端播放上述第一目标视频流与上述第一目标音频流。
在一个示例性实施例中，上述方法还包括：上述第一接收终端接收服务器发送的第三目标视频流与第三目标音频流，其中，上述第三目标视频流为上述服务器从多个第二视频流中确定出的视频流，上述第三目标音频流为从多个第二音频流中确定出的音频流，上述第三目标视频流为在上述多个第二视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第三目标音频流为在上述多个第二音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第二视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；上述第一接收终端播放上述第三目标视频流与上述第三目标音频流。
在一个示例性实施例中，上述第一接收终端播放上述第三目标视频流包括：上述第一接收终端停止播放上述第一目标视频流且上述第一接收终端播放上述第三目标视频流。
在一个示例性实施例中，上述第一接收终端播放上述第三目标视频流包括：上述第一接收终端在第一播放区域播放上述第一目标视频流且上述第一接收终端在第二播放区域播放上述第三目标视频流。
在一个示例性实施例中，上述方法还包括：在上述第一接收终端接收到多个目标音频流的情况下，将上述多个目标音频流混合为一个音频流，其中，上述目标音频流包括上述第一目标音频流；上述第一接收终端播放混合得到的上述音频流。
在一个示例性实施例中，上述第一接收终端播放上述第一目标视频流与上述第一目标音频流包括：上述第一接收终端对上述第一目标视频流与上述第一目标音频流执行同步操作；上述第一接收终端播放同步后的上述第一目标视频流与上述第一目标音频流。
根据本发明的另一个实施例，提供了一种音视频转发装置，包括：第一获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取上述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；第一确定单元，用于按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流；第一发送单元，用于将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端。
在一个示例性实施例中，上述装置还包括：第一监控单元，用于在将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端之后，监控上述第一接收终端的上述终端参数与上述第一接收终端所使用的上述网络带宽；第二确定单元，用于在上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第一目标视频流与上述第一目标音频流。
在一个示例性实施例中，上述装置还包括：第二发送单元，用于在重新确定上述第一目标视频流与上述第一目标音频流之后，向上述第一接收终端发送重新确定的上述第一目标视频流与上述第一目标音频流。
在一个示例性实施例中，上述装置还包括：第三确定单元，用于按照第二接收终端所使用的网络带宽与上述第二接收终端的终端参数，从上述多个第一视频流与上述多个第一音频流中确定出第二目标视频流与第二目标音频流，其中，上述第二目标视频流为在上述多个第一视频流中上述第二接收终端支持播放的分辨率最高的视频流，上述第二目标音频流为在上述多个第一音频流中上述第二接收终端支持播放的音质最好的音频流，上述第二接收终端为与上述第一发送终端、上述第一接收终端进行会话的终端；第三发送单元，用于将上述第二目标视频流与上述第二目标音频流发送给上述第二接收终端。
在一个示例性实施例中，上述装置还包括：第二监控单元，用于在将上述第二目标视频流与上述第二目标音频流发送给上述第二接收终端之后，监控上述第二接收终端所使用的上述网络带宽与上述终端参数；第四确定单元，用于在上述第二接收终端的所使用上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第二目标视频流与上述第二目标音频流。
在一个示例性实施例中，上述装置还包括：第四发送单元，用于在重新确定上述第二目标视频流与上述第二目标音频流之后，向上述第二接收终端发送重新确定的上述第二目标视频流与上述第二目标音频流。
在一个示例性实施例中，上述装置还包括：第二获取单元，用于获取第二发送终端发送的多个第二视频流与多个第二音频流，其中，不同的上述第二视频流的格式不同或者分辨率不同，上述多个第二视频流对应的内容相同，不同的上述第二音频流的格式不同，上述多个第二音频流对应的内容相同，上述第二发送终端为与上述第一发送终端、第一接收终端进行会话的终端；第五确定单元，用于按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第二视频流与上述多个第二音频流中确定出第三目标视频流与第三目标音频流，其中，上述第三目标视频流为在上述多个第二视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第三目标音频流为在上述多个第二音频流中上述第一接收终端支持播放的音质最好的音频流；第五发送单元，用于将上述第三目标视频流与上述第三目标音频流发送给上述第一接收终端。
在一个示例性实施例中，上述装置还包括：第三监控单元，用于在将上述第三目标视频流与上述第三目标音频流发送给上述第一接收终端之后，监控上述第一接收终端所使用的上述网络带宽与上述终端参数；第六确定单元，用于在上述第一接收终端所使用的上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第三目标视频流与上述第三目标音频流。
在一个示例性实施例中，上述装置还包括：第六发送单元，用于在重新确定上述第三目标视频流与上述第三目标音频流之后，向上述第一接收终端发送重新确定的上述第三目标视频流与上述第三目标音频流。
在一个示例性实施例中，上述装置还包括：第七确定单元，用于按照第二接收终端所使用的网络带宽与上述第二接收终端的终端参数，从上述多个第二视频流与上述多个第二音频流中确定出第四目标视频流与第四目标音频流，其中，上述第四目标视频流为在上述多个第二视频流中上述第二接收终端支持播放的分辨率最高的视频流，上述第四目标音频流为在上述多个第二音频流中上述第二接收终端支持播放的音质最好的音频流，上述第二接收终端为与上述第一发送终端、第一接收终端、第二发送终端进行会话的终端；第七发送单元，用于将上述第四目标视频流与上述第四目标音频流发送给上述第二接收终端。
在一个示例性实施例中，上述装置还包括：第四监控单元，用于在将上述第四目标视频流与上述第四目标音频流发送给上述第二接收终端之后，监控上述第二接收终端所使用的上述网络带宽与上述终端参数；第八确定单元，用于在上述第二接收终端所使用的上述网络带宽或上述终端参数发生变化的情况下，重新确定上述第四目标视频流与上述第四目标音频流。
在一个示例性实施例中，上述装置还包括：第八发送单元，用于在重新确定上述第四目标视频流与上述第四目标音频流之后，向上述第二接收终端发送重新确定的上述第四目标视频流与上述第四目标音频流。
在一个示例性实施例中，上述装置还包括：第九发送单元，用于在获取到多个目标视频流与多个目标音频流的情况下，将上述多个目标视频流发送给会话过程中的每个接收终端，将上述多个目标音频流中声音最大的N个目标音频流发送给上述每个接收终端，其中，上述N为正整数，上述N根据上述目标音频流的数量确定，上述目标视频流包括上述第一目标视频流，上述目标音频流包括上述第一目标音频流，上述每个接收终端包括上述第一接收终端。
根据本发明的另一个实施例，提供了一种音视频转发装置，包括：获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；发送单元，用于将上述多个第一视频流发送到服务器，以使上述服务器从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流。
在一个示例性实施例中，上述装置还包括：接收单元，用于在获取上述多个第一视频流与上述多个第一音频流之前，从上述服务器获取视频编码格式、视频编码分辨率与音频编码格式；编码单元，用于按照上述视频编码格式、视频编码分辨率与音频编码格式对原始视频流与原始音频流进行编码，得到上述多个第一视频流与上述多个第一音频流。
根据本发明的另一个实施例，提供了一种音视频转发装置，包括：第一接收单元，用于在第一发送终端与第一接收终端进行会话的过程中，接收服务器发送的第一目标视频流与第一目标音频流，其中，上述第一目标视频流为上述服务器从多个第一视频流中确定出的视频流，上述第一目标音频流为从多个第一音频流中确定出的音频流，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；第一播放单元，用于上述第一接收终端播放上述第一目标视频流与上述第一目标音频流。
在一个示例性实施例中，上述装置还包括：第二接收单元，用于接收服务器发送的第三目标视频流与第三目标音频流，其中，上述第三目标视频流为上述服务器从多个第二视频流中确定出的视频流，上述第三目标音频流为从多个第二音频流中确定出的音频流，上述第三目标视频流为在上述多个第二视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第三目标音频流为在上述多个第二音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第二视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；第二播放单元，用于上述第一接收终端播放上述第三目标视频流与上述第三目标音频流。
在一个示例性实施例中，上述第二播放单元包括：第一播放模块，用于停止播放上述第一目标视频流且上述第一接收终端播放上述第三目标视频流。
在一个示例性实施例中，上述第二播放单元包括：第二播放模块，用于在第一播放区域播放上述第一目标视频流且上述第一接收终端在第二播放区域播放上述第三目标视频流。
在一个示例性实施例中，上述装置还包括：混合单元，用于在上述第一接收终端接收到多个目标音频流的情况下，将上述多个目标音频流混合为一个音频流，其中，上述目标音频流包括上述第一目标音频流；第三播放单元，用于播放混合得到的上述音频流。
在一个示例性实施例中，上述第一播放单元包括：同步模块，用于对上述第一目标视频流与上述第一目标音频流执行同步操作；第三播放模块，用于播放同步后的上述第一目标视频流与上述第一目标音频流。
根据本发明的另一个实施例，提供了一种音视频转发系统，包括：第一获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取上述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；第一确定单元，用于按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流；第一发送单元，用于将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端。
根据本发明的另一个实施例，提供了一种音视频转发终端，包括：获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；发送单元，用于将上述多个第一视频流发送到服务器，以使上述服务器从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流。
根据本发明的另一个实施例，提供了一种音视频转发终端，包括：第一接收单元，用于在第一发送终端与第一接收终端进行会话的过程中，接收服务器发送的第一目标视频流与第一目标音频流，其中，上述第一目标视频流为上述服务器从多个第一视频流中确定出的视频流，上述第一目标音频流为从多个第一音频流中确定出的音频流，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；第一播放单元，用于上述第一接收终端播放上述第一目标视频流与上述第一目标音频流。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，其中，上述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。
附图说明
图1是根据本发明实施例的一种音视频转发方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种音视频转发方法的网络架构图；
图3是根据本发明实施例的一种音视频转发方法的流程图；
图4是根据本发明实施例的一种音视频转发方法的终端上行模块的结构框图；
图5是根据本发明实施例的一种音视频转发方法的终端下行模块的结构框图；
图6是根据本发明实施例的一种音视频转发方法的会议媒体转发服务器的结构框图；
图7是根据本发明实施例的一种音视频转发方法的终端码流发到会议媒体转发服务器进行转发模型的框图；
图8是根据本发明实施例的一种音视频转发方法的会议媒体转发服务器转发码流到终端模型的框图；
图9是根据本发明实施例的一种音视频转发方法的终端音频音量值排序转发流程图；
图10是根据本发明实施例的一种音视频转发方法的会议媒体转发服务器优选音频主动推流流程图；
图11是根据本发明实施例的一种音视频转发方法的会议媒体转发服务器优选视频主动推流流程图；
图12是根据本发明实施例的一种音视频转发方法的媒体源切换转发流程图；
图13是根据本发明实施例的另一种音视频转发方法的流程图；
图14是根据本发明实施例的又一种音视频转发方法的流程图；
图15是根据本发明实施例的音视频转发装置的结构框图；
图16是根据本发明实施例的另一种音视频转发装置的结构框图；
图17是根据本发明实施例的又一种音视频转发装置的结构框图；
图18是根据本发明实施例的音视频转发系统的结构框图；
图19是根据本发明实施例的音视频转发终端的结构框图；
图20是根据本发明实施例的另一种音视频转发终端的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种音视频转发方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的音视频转发方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本申请实施例可以运行于图2所示的网络架构上，如图2所示，该网络架构包括：第一发送终端、转发服务器与第一接收终端。第一发送终端将视频流编码为不同的格式或分辨率，以及将音频流编码为不同的格式，然后将不同格式或分辨率的多个第一视频流与不同格式的多个第一音频流发送到转发服务器，转发服务器获取第一接收终端的终端参数与第一接收终端使用的网络参数，然后从多个第一视频流中确定出第一接收终端支持的分辨率最高的第一目标视频流与从多个第一音频流中确定出音质最好的第一目标音频流，转发服务器将第一目标视频流与第一目标音频流转发给第二发送终端。
在本实施例中提供了一种运行于上述网络架构的音视频转发方法，图2是根据本发明实施例的音视频转发方法的流程图，如图3所示，该流程包括如下步骤：
S302，在第一发送终端与第一接收终端进行会话的过程中，获取上述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
S304，按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流；
S306，将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。
其中，上述步骤的执行主体可以转发服务器。
本申请中的上述方法可以应用在多人云会议的过程中。在多人云会议的过程中，每一个参会方都可以为第一发送终端，发送视频流与音频流，同时每一个参会方都可以为第一接收终端，接收视频流与音频流。服务器起到转发数据的作用。在会议过程中，可以中途加入新的参会方，某一个或者一些参会方也可以中途退出会议，退出后可以重新加入。
以下结合示例进行说明。本申请实施例中的音视频转发方法可以采用SFU的架构，终端将支持的音视频媒体能力(包括支持的格式、分辨率，终端参数以及网络参数)发送给媒体转发系统(转发服务器)，媒体转发系统根据终端带宽和能力，选择质量最优的码流转发给终端。终端具备自适应解码和多种格式编码的能力，让媒体转发系统只要选择终端支持的能力即可。本申请实施例可以在大容量会议中，快速切换媒体源，达到快速平滑切换的效果。如将当前观看的某参会方的视频切换到另一个参会方的视频，更换观看的参会方。
本申请中的终端可以为发送数据的终端或者也可以为接收数据的终端。应该说明的是，终端可以既具备第一发送终端(或第二发送终端以及其他发送终端)的能力，也可以具备第一接收终端(或第二接收终端以及其他接收终端)的能力。在多人会议中，一个终端需要将自身的视频发送给其他终端，也需要从其他终端获取其他终端的视频内容。
本申请中的音质可以通过音色、音场感、层次感、定位感、透明感、解析力、整体平衡性、结像力与形体感等各个方面进行打分，打分结果加权求和为音色的分值。分值越高，音色越好。
作为一种可选的实施例，上述终端包括上行模块和下行模块。如图4，上述上行模块包括：
采集模块，用于采集音视频原始数据。
音频编码模块，用于将音频数据编码为多个指定的音频格式。
视频编码模块，用于将视频数据编码为多个指定的视频格式。
打包发送模块，将多个音频流打包成多路流，通过一个端口发送；将多个视频流打包成多路流，通过一个端口发送。
编码控制模块，用于接收会议媒体转发服务器的控制，通知音频和视频编码模块启动要求的音视频格式编码，视频还会进行码流套餐的变换。码流套餐主要包括分辨率、码率和帧率等信息。
如图5，上述下行模块包括：
数据接收模块，用于接收音视频数据，将音频数据拆分为多个格式的码流；将视频数据拆分为多个格式和多个分辨率的码流。
解码自适应模块，用于检查音频码流的格式，根据检测出的格式启动音频解码；检查视频码流的格式，根据检测出的格式启动视频解码。
音频解码模块，用于将音频码流解析成线性码，支持多种格式同时解码。
视频解码模块，用于将视频码流解析成YUV数据，支持多种格式和分辨率同时解码。
输出模块，将音频码流混音后输出到声卡，将视频数据进行布局后输出到显卡，并进行音视频同步。
如图6所示，上述会议媒体转发结构(服务器)包括：
码流接收模块，接收终端发送的音视频码流，将多路流解复用。
码流发送模块，将多路终端的码流进行复用，发送给终端。
音频转发模块，包括：音量值获取模块，从选取的终端的码流的实时传送协议(Real-time Transport Protocol，简称为RTP)扩展中，将音量值获取出来；为了兼容老的终端，可以通过解码的方式获取音量值。音量值排序模块，将参与会议的所有终端，根据获取的音量值大小进行排序，选取声音最大的三个端，分别发送到对应的终端。音频码流优选模块，通过网络带宽预测和终端音频能力，根据设定的音频优选策略，选择最优的音频格式码流，给终端发送最佳音质的码流。音频码流控制模块，根据优选的音频格式，向终端请求或停止指定音频格式码流的发送。
上述视频转发模块包括：码率自适应模块，通过网络带宽预测和终端视频能力，根据设定的码率策略，调整码率，并在码率无法满足要求的场景下，由视频码流优选模块进行接管。视频码流优选模块，根据网络带宽预测和终端视频能力，重新选择最佳编码格式和最佳码流套餐。视频码流控制模块，根据优选的视频格式和码流套餐，向终端请求或停止指定码流的发送。视频码流切换模块，用于会议场景中，所有人看相同的广播源(1个或多个终端)时，能够快速切换广播源。
在会议前或会议过程中，上述视频终端和上述会议媒体转发服务器协商多个音视频编解码能力，会议媒体转发服务器根据终端协商能力和网络情况，选择发给上述视频终端最佳的音视频格式和码流套餐。上述视频终端，接受会议媒体转发服务器器的控制，生成不同音视频格式和不同套餐的码流。将生成的音频格式码流和视频格式码流分别打复用，发送给会议媒体转发服务器进行解复用，然后媒体转发服务器将音频码流根据音量值进行排序，选取声音最大的3个端转发给需要的终端；将视频码流根据码型和套餐信息，转发给需要的终端。接收终端接收到多个不同格式的音频码流，进行自适应解码，并将声音进行混音；接收多个不同格式或者码流套餐的视频码流，进行自适应解码，并进行画面布局。
会议媒体转发服务器音量排序，终端在发送音频码流时，会采集音量值，将音量值放在RTP的扩展中，会议媒体转发服务器解析RTP时，获取扩展的音量值；为了兼容老终端，RTP扩展种没有音量值，需要进行解码获取音量值，进一步地，减少解码的性能消耗，可以隔一段时间(比如1秒)解析一个音频包获取音量值。会议媒体转发服务器媒体切换，会议媒体服务器设置切换器的输入源和输出目的，输入源和输出目的都可以是多个，将收到的终端码流作为输入源输入到切换器，切换器将输入源的码流发送所有的输出目的终端，当需要切换广播源时，只需要将输入源进行切换即可，为了更好的平滑切换，一般需要等到新的输入源的I帧收到后，再切换到新的源。
图4中终端上行模块包括采集模块、音频编码模块、视频编码模块、编码控制模块和打包发送模块。采集模块采集终端设备的音频和视频，分别送到音频编码模块和视频编码模块进行编码，需要启动哪些格式和码流套餐，由编码控制模块接收会议媒体转发服务器的控制，将编码后的码流发送给打包模块发送给会议媒体转发服务器。打包发送模块，将音频和视频码流进行打包，然后分别将音频码流和视频码流打复用，发送给会议媒体转发服务器。
图5中终端下行模块包括数据接收模块、解码自适应模块、音频解码模块、视频解码模块和输出模块。数据接收模块接收会议媒体转发服务器的码流，分别将音频码流和视频码流解复用，然后自适应识别音频格式和视频格式，通知音频解码模块和视频解码模块进行解码，解码后的码流发送到输出模块。输出模块将解出的音频码流进行混音，将解出的视频数据进行多画面布局，然后进行音视频同步呈现。
图6中会议媒体转发服务器包括码流接收模块、音频转发模块、视频转发模块和码流发送模块。码流接收模块接收终端上行的码流，将音频码流和视频码流解复用，解析成不同格式和不同码流套餐的流，音频解析出的流发送到音频转发模块，视频解析出的流发送到视频转发模块。音频转发模块对收到的音频流获取音量值，将会议中的所有流的音量值进行排序，获取声音最大的3个端，然后发送给码流发送模块；根据终端接收模块的反馈和网络情况，优选发给这个终端的最佳音频，通过音频码流控制模块发送给码流源终端。视频转发模块对收到的视频流，转发到码流切换模块然后发送给码流发送模块或者直接发送给码流发送模块；根据终端接收模块的反馈和网络情况，优选发给这个终端的最佳视频格式和码流套餐，通过视频码流控制模块发送给码流源终端。码流发送模块，将多个不同格式和不同码流套餐的流打复用，发送给终端。
图7为终端码流发到会议媒体转发服务器进行转发模型，包括4个视频终端和1个会议媒体转发服务器。UE1终端音频编码出G711和EVS格式的2路音频流，视频编码出H264180P、H264 720P、H265 1080P套餐和H265 4K套餐视频流，发送到会议媒体转发服务器；会议媒体转发服务器，根据终端的能力和网络情况转发码流，音频转发模块将G711的码流转发给UE2，将EVS的码流转发给UE3和UE4；视频转发模块将H264 720P转发给UE2，将H265 4K转发给UE3和UE4；UE2、UE3和UE4自适应解码音频码流和视频码流。
图8为会议媒体转发服务器转发码流到终端模型，包括4个视频终端和1个会议媒体转发服务器。UE1终端音频编码出EVS何G711格式的音频流，视频编码出H265 4K、H264180P和H264 720P套餐的视频流；UE2终端音频编码出G711、AMR格式的音频流，视频编码出H264180P、H264 360P和H264 1080P套餐的视频流；UE3终端音频编码出G711、EVS格式的音频流，视频编码出H264 180P、H264 1080P和H265 4K套餐的视频流；会议媒体转发服务器，根据终端的能力和网络情况转发码流，音频转发模块将UE1的EVS、UE2的G711和UE3的G711码流转发给UE4；视频转发模块将UE1的H265 4K、UE2的H264 180P和UE3的H264 180P码流转发给UE4；UE4自适应解码音频码流和视频码流，然后进行混音和多画面显示。
图9为终端音频音量值排序转发流程，包括6个视频终端和1个会议媒体转发服务器。UE1、UE3和UE5终端在RTP扩展里面携带音量值，UE2、UE4和UE6终端未携带音量值。音频转发收到6个终端的音频流，在UE1、UE3和UE5的RTP中获取音量值，在UE2、UE4和UE6的码流解码后获取音量值；将6个终端的音量值排序后，获得声音最大的4个端是按照音量值排序后为UE2、UE4、UE3和UE1；将声音最大的3个端排除自己分别转发给UE1-4，也就是说，即使终端发送的音频流的音量值最大，终端也不会接收该音频流，因为该音频流为该终端自己发送的。将UE2、UE3和UE4转发给UE5和UE6。
图10所示，为会议媒体转发服务器优选音频主动推流流程。终端协商出支持的音频媒体能力，然后上会；会议媒体转发服务器获取声音最大的3个终端；然后根据终端能力和网络情况，优选出声音最大的3个终端的最佳音频媒体能力，转发终端。
图11为会议媒体转发服务器优选视频主动推流流程。终端上会后，根据上会顺序，会议媒体转发服务器主动推默认的画面给终端；然后根据每个终端的能力和网络情况，优选出最佳的视频码流转发给终端；推送画面数随着上会终端数发生变化，推送的最佳码流也跟着变化。
图12为媒体源切换转发流程，包括4个视频终端，UEA-UED、1个业务控制和1个会议媒体转发服务器。UEA和UEB上会后，业务控制通过HTTP REST接口控制会议媒体转发服务器接收码流，UEA和UEB的码流接收模块分别注册码流接收队列，终端上行码流分别流转到媒体码流池；UEC和UED上会后，业务控制通过HTTP REST接口控制会议媒体转发服务器发送码流，UEC和UED的码流发送模块分别注册码流接收队列；业务控制通过HTTP REST接口控制切换模块接收UEA的码流，然后发送到UEC和UED，切换模块分别注册接收队列接收UEA的码流，注册发送队列将码流分别发送UEC和UED的接收队列；UEC和UED的码流发送模块接收到码流后转发给UEC和UED。当需要将发给UEC和UED的UEA的码流切换为UEB时，业务控制通过HTTPREST接口控制将切换模块的接收由UEA变为UEB，然后通知码流接收模块停止发送UEA的码流，开始发送UEB的码流。接收队列S1接收A1和B1，发送队列S2发送A1和B1。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例上述的方法。
在本实施例中还提供了一种音视频转发方法，如图13所示，包括：
S1302，在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
S1304，将上述多个第一视频流发送到服务器，以使上述服务器从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
在本实施例中还提供了一种音视频转发方法，如图14所示，包括：
S1402，在第一发送终端与第一接收终端进行会话的过程中，上述第一接收终端接收服务器发送的第一目标视频流与第一目标音频流，其中，上述第一目标视频流为上述服务器从多个第一视频流中确定出的视频流，上述第一目标音频流为从多个第一音频流中确定出的音频流，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
S1404，上述第一接收终端播放上述第一目标视频流与上述第一目标音频流。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
在本实施例中还提供了一种音视频转发装置，如图15所示，包括：
第一获取单元1502，用于在第一发送终端与第一接收终端进行会话的过程中，获取上述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
第一确定单元1504，用于按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流；
第一发送单元1506，用于将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
在本实施例中还提供了一种音视频转发装置，如图16所示，包括：
获取单元1602，用于在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
发送单元1604，用于将上述多个第一视频流发送到服务器，以使上述服务器从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
在本实施例中还提供了一种音视频转发装置，如图17所示，包括：
第一接收单元1702，用于在第一发送终端与第一接收终端进行会话的过程中，接收服务器发送的第一目标视频流与第一目标音频流，其中，上述第一目标视频流为上述服务器从多个第一视频流中确定出的视频流，上述第一目标音频流为从多个第一音频流中确定出的音频流，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
第一播放单元1704，用于上述第一接收终端播放上述第一目标视频流与上述第一目标音频流。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
在本实施例中还提供了一种音视频转发系统，如图18所示，包括：
第一获取单元1802，用于在第一发送终端与第一接收终端进行会话的过程中，获取上述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
第一确定单元1804，用于按照上述第一接收终端的终端参数与上述第一接收终端所使用的网络带宽，从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流；
第一发送单元1806，用于将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
在本实施例中还提供了一种音视频转发终端，如图19所示，包括：
获取单元1902，用于在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
发送单元1904，用于将上述多个第一视频流发送到服务器，以使上述服务器从上述多个第一视频流与上述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将上述第一目标视频流与上述第一目标音频流发送给上述第一接收终端，其中，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
在本实施例中还提供了一种音视频转发终端，如图20所示，包括：
第一接收单元2002，用于在第一发送终端与第一接收终端进行会话的过程中，接收服务器发送的第一目标视频流与第一目标音频流，其中，上述第一目标视频流为上述服务器从多个第一视频流中确定出的视频流，上述第一目标音频流为从多个第一音频流中确定出的音频流，上述第一目标视频流为在上述多个第一视频流中上述第一接收终端支持播放的分辨率最高的视频流，上述第一目标音频流为在上述多个第一音频流中上述第一接收终端支持播放的音质最好的音频流，不同的上述第一视频流的格式不同或者分辨率不同，上述多个第一视频流对应的内容相同，上述多个第一音频流为第一发送终端发送给上述服务器的音频流，不同的上述第一音频流的格式不同，上述多个第一音频流对应的内容相同；
第一播放单元2004，用于上述第一接收终端播放上述第一目标视频流与上述第一目标音频流。
通过本发明，由于在转发第一发送终端的视频的过程中，可以获取第一发送终端发送的格式与分辨率不同的多个第一视频流和第一发送终端发送的格式不同的多个第一音频流，以及按照第一接收终端的终端参数和第一接收终端的所用的网络带宽来决定向第一接收终端发送哪一个视频流与哪一个音频流，因此，可以保证第一接收终端播放能够支持的最佳的视频流与音频流，解决了视频会议中无法播放视频的问题，达到提高视频会议稳定性的效果。本实施例的其他示例请参见上述示例，在此不做赘述。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (29)

1.一种音视频转发方法，其特征在于，包括：
在第一发送终端与第一接收终端进行会话的过程中，获取所述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
按照所述第一接收终端的终端参数与所述第一接收终端所使用的网络带宽，从所述多个第一视频流与所述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流；
将所述第一目标视频流与所述第一目标音频流发送给所述第一接收终端。
2.根据权利要求1所述的方法，其特征在于，在将所述第一目标视频流与所述第一目标音频流发送给所述第一接收终端之后，所述方法还包括：
监控所述第一接收终端的所述终端参数与所述第一接收终端所使用的所述网络带宽；
在所述网络带宽或所述终端参数发生变化的情况下，重新确定所述第一目标视频流与所述第一目标音频流。
3.根据权利要求2所述的方法，其特征在于，在重新确定所述第一目标视频流与所述第一目标音频流之后，所述方法还包括：
向所述第一接收终端发送重新确定的所述第一目标视频流与所述第一目标音频流。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照第二接收终端所使用的网络带宽与所述第二接收终端的终端参数，从所述多个第一视频流与所述多个第一音频流中确定出第二目标视频流与第二目标音频流，其中，所述第二目标视频流为在所述多个第一视频流中所述第二接收终端支持播放的分辨率最高的视频流，所述第二目标音频流为在所述多个第一音频流中所述第二接收终端支持播放的音质最好的音频流，所述第二接收终端为与所述第一发送终端、所述第一接收终端进行会话的终端；
将所述第二目标视频流与所述第二目标音频流发送给所述第二接收终端。
5.根据权利要求4所述的方法，其特征在于，在将所述第二目标视频流与所述第二目标音频流发送给所述第二接收终端之后，所述方法还包括：
监控所述第二接收终端所使用的所述网络带宽与所述终端参数；
在所述第二接收终端的所使用所述网络带宽或所述终端参数发生变化的情况下，重新确定所述第二目标视频流与所述第二目标音频流。
6.根据权利要求5所述的方法，其特征在于，在重新确定所述第二目标视频流与所述第二目标音频流之后，所述方法还包括：
向所述第二接收终端发送重新确定的所述第二目标视频流与所述第二目标音频流。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第二发送终端发送的多个第二视频流与多个第二音频流，其中，不同的所述第二视频流的格式不同或者分辨率不同，所述多个第二视频流对应的内容相同，不同的所述第二音频流的格式不同，所述多个第二音频流对应的内容相同，所述第二发送终端为与所述第一发送终端、第一接收终端进行会话的终端；
按照所述第一接收终端的终端参数与所述第一接收终端所使用的网络带宽，从所述多个第二视频流与所述多个第二音频流中确定出第三目标视频流与第三目标音频流，其中，所述第三目标视频流为在所述多个第二视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第三目标音频流为在所述多个第二音频流中所述第一接收终端支持播放的音质最好的音频流；
将所述第三目标视频流与所述第三目标音频流发送给所述第一接收终端。
8.根据权利要求7所述的方法，其特征在于，在将所述第三目标视频流与所述第三目标音频流发送给所述第一接收终端之后，所述方法还包括：
监控所述第一接收终端所使用的所述网络带宽与所述终端参数；
在所述第一接收终端所使用的所述网络带宽或所述终端参数发生变化的情况下，重新确定所述第三目标视频流与所述第三目标音频流。
9.根据权利要求8所述的方法，其特征在于，在重新确定所述第三目标视频流与所述第三目标音频流之后，所述方法还包括：
向所述第一接收终端发送重新确定的所述第三目标视频流与所述第三目标音频流。
10.根据权利要求7所述的方法，其特征在于，所述方法还包括：
按照第二接收终端所使用的网络带宽与所述第二接收终端的终端参数，从所述多个第二视频流与所述多个第二音频流中确定出第四目标视频流与第四目标音频流，其中，所述第四目标视频流为在所述多个第二视频流中所述第二接收终端支持播放的分辨率最高的视频流，所述第四目标音频流为在所述多个第二音频流中所述第二接收终端支持播放的音质最好的音频流，所述第二接收终端为与所述第一发送终端、第一接收终端、第二发送终端进行会话的终端；
将所述第四目标视频流与所述第四目标音频流发送给所述第二接收终端。
11.根据权利要求10所述的方法，其特征在于，在将所述第四目标视频流与所述第四目标音频流发送给所述第二接收终端之后，所述方法还包括：
监控所述第二接收终端所使用的所述网络带宽与所述终端参数；
在所述第二接收终端所使用的所述网络带宽或所述终端参数发生变化的情况下，重新确定所述第四目标视频流与所述第四目标音频流。
12.根据权利要求11所述的方法，其特征在于，在重新确定所述第四目标视频流与所述第四目标音频流之后，所述方法还包括：
向所述第二接收终端发送重新确定的所述第四目标视频流与所述第四目标音频流。
13.根据权利要求1至12任意一项所述的方法，其特征在于，所述方法还包括：
在获取到多个目标视频流与多个目标音频流的情况下，将所述多个目标视频流发送给会话过程中的每个接收终端，将所述多个目标音频流中声音最大的N个目标音频流发送给所述每个接收终端，其中，所述N为正整数，所述N根据所述目标音频流的数量确定，所述目标视频流包括所述第一目标视频流，所述目标音频流包括所述第一目标音频流，所述每个接收终端包括所述第一接收终端。
14.一种音视频转发方法，其特征在于，包括：
在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
将所述多个第一视频流发送到服务器，以使所述服务器从所述多个第一视频流与所述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将所述第一目标视频流与所述第一目标音频流发送给所述第一接收终端，其中，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流。
15.根据权利要求14所述的方法，其特征在于，在获取所述多个第一视频流与所述多个第一音频流之前，所述方法还包括：
从所述服务器获取视频编码格式、视频编码分辨率与音频编码格式；
按照所述视频编码格式、视频编码分辨率与音频编码格式对原始视频流与原始音频流进行编码，得到所述多个第一视频流与所述多个第一音频流。
16.一种音视频转发方法，其特征在于，包括：
在第一发送终端与第一接收终端进行会话的过程中，所述第一接收终端接收服务器发送的第一目标视频流与第一目标音频流，其中，所述第一目标视频流为所述服务器从多个第一视频流中确定出的视频流，所述第一目标音频流为从多个第一音频流中确定出的音频流，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，所述多个第一音频流为第一发送终端发送给所述服务器的音频流，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
所述第一接收终端播放所述第一目标视频流与所述第一目标音频流。
17.根据权利要求16所述的方法，其特征在于，所述方法还包括：
所述第一接收终端接收服务器发送的第三目标视频流与第三目标音频流，其中，所述第三目标视频流为所述服务器从多个第二视频流中确定出的视频流，所述第三目标音频流为从多个第二音频流中确定出的音频流，所述第三目标视频流为在所述多个第二视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第三目标音频流为在所述多个第二音频流中所述第一接收终端支持播放的音质最好的音频流，不同的所述第二视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，所述多个第一音频流为第一发送终端发送给所述服务器的音频流，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
所述第一接收终端播放所述第三目标视频流与所述第三目标音频流。
18.根据权利要求17所述的方法，其特征在于，所述第一接收终端播放所述第三目标视频流包括：
所述第一接收终端停止播放所述第一目标视频流且所述第一接收终端播放所述第三目标视频流。
19.根据权利要求17所述的方法，其特征在于，所述第一接收终端播放所述第三目标视频流包括：
所述第一接收终端在第一播放区域播放所述第一目标视频流且所述第一接收终端在第二播放区域播放所述第三目标视频流。
20.根据权利要求16所述的方法，其特征在于，所述方法还包括：
在所述第一接收终端接收到多个目标音频流的情况下，将所述多个目标音频流混合为一个音频流，其中，所述目标音频流包括所述第一目标音频流；
所述第一接收终端播放混合得到的所述音频流。
21.根据权利要求16所述的方法，其特征在于，所述第一接收终端播放所述第一目标视频流与所述第一目标音频流包括：
所述第一接收终端对所述第一目标视频流与所述第一目标音频流执行同步操作；
所述第一接收终端播放同步后的所述第一目标视频流与所述第一目标音频流。
22.一种音视频转发装置，其特征在于，包括：
第一获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取所述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
第一确定单元，用于按照所述第一接收终端的终端参数与所述第一接收终端所使用的网络带宽，从所述多个第一视频流与所述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流；
第一发送单元，用于将所述第一目标视频流与所述第一目标音频流发送给所述第一接收终端。
23.一种音视频转发装置，其特征在于，包括：
获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
发送单元，用于将所述多个第一视频流发送到服务器，以使所述服务器从所述多个第一视频流与所述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将所述第一目标视频流与所述第一目标音频流发送给所述第一接收终端，其中，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流。
24.一种音视频转发装置，其特征在于，包括：
第一接收单元，用于在第一发送终端与第一接收终端进行会话的过程中，接收服务器发送的第一目标视频流与第一目标音频流，其中，所述第一目标视频流为所述服务器从多个第一视频流中确定出的视频流，所述第一目标音频流为从多个第一音频流中确定出的音频流，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，所述多个第一音频流为第一发送终端发送给所述服务器的音频流，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
第一播放单元，用于所述第一接收终端播放所述第一目标视频流与所述第一目标音频流。
25.一种音视频转发系统，其特征在于，包括：
第一获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取所述第一发送终端发送的多个第一视频流与多个第一音频流，其中，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
第一确定单元，用于按照所述第一接收终端的终端参数与所述第一接收终端所使用的网络带宽，从所述多个第一视频流与所述多个第一音频流中确定出第一目标视频流与第一目标音频流，其中，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流；
第一发送单元，用于将所述第一目标视频流与所述第一目标音频流发送给所述第一接收终端。
26.一种音视频转发终端，其特征在于，包括：
获取单元，用于在第一发送终端与第一接收终端进行会话的过程中，获取多个第一视频流与多个第一音频流，其中，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
发送单元，用于将所述多个第一视频流发送到服务器，以使所述服务器从所述多个第一视频流与所述多个第一音频流中确定出第一目标视频流与第一目标音频流，并将所述第一目标视频流与所述第一目标音频流发送给所述第一接收终端，其中，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流。
27.一种音视频转发终端，其特征在于，包括：
第一接收单元，用于在第一发送终端与第一接收终端进行会话的过程中，接收服务器发送的第一目标视频流与第一目标音频流，其中，所述第一目标视频流为所述服务器从多个第一视频流中确定出的视频流，所述第一目标音频流为从多个第一音频流中确定出的音频流，所述第一目标视频流为在所述多个第一视频流中所述第一接收终端支持播放的分辨率最高的视频流，所述第一目标音频流为在所述多个第一音频流中所述第一接收终端支持播放的音质最好的音频流，不同的所述第一视频流的格式不同或者分辨率不同，所述多个第一视频流对应的内容相同，所述多个第一音频流为第一发送终端发送给所述服务器的音频流，不同的所述第一音频流的格式不同，所述多个第一音频流对应的内容相同；
第一播放单元，用于所述第一接收终端播放所述第一目标视频流与所述第一目标音频流。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至13或14至15或16至21任一项中所述的方法的步骤。
29.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至13或14至15或16至21任一项中所述的方法的步骤。
CN202011257786.7A 2020-11-11 2020-11-11 音视频转发方法、装置、终端与系统 Pending CN114500914A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011257786.7A CN114500914A (zh) 2020-11-11 2020-11-11 音视频转发方法、装置、终端与系统
EP21891053.7A EP4243407A4 (en) 2020-11-11 2021-11-05 AUDIO/VIDEO TRANSFER METHOD AND APPARATUS, TERMINALS, AND SYSTEM
PCT/CN2021/129041 WO2022100528A1 (zh) 2020-11-11 2021-11-05 音视频转发方法、装置、终端与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011257786.7A CN114500914A (zh) 2020-11-11 2020-11-11 音视频转发方法、装置、终端与系统

Publications (1)

Publication Number Publication Date
CN114500914A true CN114500914A (zh) 2022-05-13

Family

ID=81490717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011257786.7A Pending CN114500914A (zh) 2020-11-11 2020-11-11 音视频转发方法、装置、终端与系统

Country Status (3)

Country Link
EP (1) EP4243407A4 (zh)
CN (1) CN114500914A (zh)
WO (1) WO2022100528A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883501A (zh) * 2022-12-08 2023-03-31 武汉斗鱼鱼乐网络科技有限公司 一种多人即时通信方法、系统、介质及设备
CN117692598A (zh) * 2024-02-04 2024-03-12 浙江华创视讯科技有限公司 视频流的发送方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144187B2 (en) * 2008-03-14 2012-03-27 Microsoft Corporation Multiple video stream capability negotiation
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
US10757365B2 (en) * 2013-06-26 2020-08-25 Touchcast LLC System and method for providing and interacting with coordinated presentations
CN108134915B (zh) * 2014-03-31 2020-07-28 宝利通公司 用于混合式拓扑媒体会议系统的方法和系统
US20190103122A1 (en) * 2016-03-28 2019-04-04 Sony Corporation Reproduction device and reproduction method, and file generation device and file generation method
US10523820B2 (en) * 2017-06-02 2019-12-31 Apple Inc. High-quality audio/visual conferencing
US20200126513A1 (en) * 2018-10-17 2020-04-23 Mythical Labs, Inc. System and method for web enabled application execution and management
CN111385515B (zh) * 2018-12-27 2022-01-11 北京紫荆视通科技有限公司 视频会议数据的传输方法和视频会议数据的传输系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883501A (zh) * 2022-12-08 2023-03-31 武汉斗鱼鱼乐网络科技有限公司 一种多人即时通信方法、系统、介质及设备
CN117692598A (zh) * 2024-02-04 2024-03-12 浙江华创视讯科技有限公司 视频流的发送方法及装置

Also Published As

Publication number Publication date
EP4243407A1 (en) 2023-09-13
EP4243407A4 (en) 2024-04-24
WO2022100528A1 (zh) 2022-05-19

Similar Documents

Publication Publication Date Title
AU2022209216B2 (en) Methods and apparatus for use of compact concurrent codecs in multimedia communications
CN101471804B (zh) 一种音频处理方法、系统和控制服务器
CN100553329C (zh) 图像编码数据的转换方法以及装置、系统
US7898950B2 (en) Techniques to perform rate matching for multimedia conference calls
US20110261151A1 (en) Video and audio processing method, multipoint control unit and videoconference system
US20060085823A1 (en) Media communications method and apparatus
US8385234B2 (en) Media stream setup in a group communication system
CN114600468B (zh) 将复合视频流中的视频流与元数据组合的组合器系统、接收器设备、计算机实现的方法和计算机可读介质
US20090300201A1 (en) Method for Sending a Media Data Stream and Method for Receiving and Creating a Reconstructed Media Data Stream, and Associated Transmission Apparatus and Receiption Apparatus
CN106303682B (zh) 频道切换的方法、装置、终端及服务器
WO2022100528A1 (zh) 音视频转发方法、装置、终端与系统
CN108989836A (zh) 一种多媒体数据流的处理方法及装置
KR20050038646A (ko) 멀티미디어 데이터를 스트리밍하는 방법
JP2012151555A (ja) テレビ会議システム、テレビ会議中継装置、テレビ会議中継方法および中継プログラム
CN117176972B (zh) 一个基于WebRTC技术的云会议音视频传输系统及方法
CN102664900A (zh) 媒体业务提供方法和装置、媒体业务显示方法和装置
CN112839197B (zh) 图像码流处理方法、装置、系统及存储介质
CN115134628B (zh) 流媒体传输方法、装置、终端设备及存储介质
CN115734028A (zh) 一种基于级联编码的媒体流推送方法及系统
WO2024179766A1 (en) A method and apparatus for negotiation of conversational immersive audio session
CN117692598A (zh) 视频流的发送方法及装置
CN115499682A (zh) 一种基于sfu架构的视频通讯方法及装置
CN112399126A (zh) 视频处理方法、装置、终端设备和存储介质
CN117221637A (zh) 视频播放方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination