CN111385515B - 视频会议数据的传输方法和视频会议数据的传输系统 - Google Patents

视频会议数据的传输方法和视频会议数据的传输系统 Download PDF

Info

Publication number
CN111385515B
CN111385515B CN201811615796.6A CN201811615796A CN111385515B CN 111385515 B CN111385515 B CN 111385515B CN 201811615796 A CN201811615796 A CN 201811615796A CN 111385515 B CN111385515 B CN 111385515B
Authority
CN
China
Prior art keywords
video stream
stream data
type
terminal equipment
media processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811615796.6A
Other languages
English (en)
Other versions
CN111385515A (zh
Inventor
王建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Viazijing Technology Co ltd
Original Assignee
Beijing Viazijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Viazijing Technology Co ltd filed Critical Beijing Viazijing Technology Co ltd
Priority to CN201811615796.6A priority Critical patent/CN111385515B/zh
Publication of CN111385515A publication Critical patent/CN111385515A/zh
Application granted granted Critical
Publication of CN111385515B publication Critical patent/CN111385515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种视频会议数据的传输方法和视频会议数据的传输系统，其中，视频会议数据的传输方法包括：接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求；采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备。通过本发明的技术方案，提高了视频会议系统对与会终端设备的兼容度，推广了云视频方案的并发度和灵活性。

Description

视频会议数据的传输方法和视频会议数据的传输系统
技术领域
本发明涉及视频会议技术领域，具体而言，涉及一种视频会议数据的传输方法和一种视频会议数据的传输系统。
背景技术
为了使参与视频会议的终端用户得到更好的使用体验，服务器通常采用多画面合成技术，将多个与会终端上传的画面合成为一个组合画面再发送给接收端的与会终端。
虽然终端用户的参会体验得到了提升，但是，会导致服务器的计算量增大，提高了服务器的造价成本，且服务器的容量非常有限，无法满足视频会议规模和容量不断扩大的需求。
相关技术中，新型的视频会议技术中出现了交换概念，即服务器不再处理多画面合成任务，而是将视频流在各个与会终端之间进行简单的交换，从而极大降低了服务器的运算压力、网络布线的复杂度和硬件成本，但是，至少存在以下技术缺陷：
如果服务器不再处理多画面合成任务，则需要与会终端自行对多视频流进行编码和解码，但是，这种新的与会终端并不能采用与传统的与会终端(支持SIP(SessionInitiation Protocol，会话初始协议)或H.323协议)相同的协议进行数据交互，因此导致了视频会议整机的兼容性差。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个目的在于提供一种视频会议数据的传输方法。
本发明的另一个目的在于提供一种视频会议数据的传输系统。
为了实现上述目的，根据本发明的第一方面的实施例，提供了一种视频会议数据的传输方法，包括：接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求；采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备。
在该技术方案中，通过接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求，并且采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备，其实质是在服务器侧生成融合的多路AVC(Audio Video Coding，音视频会议编码技术)数据，在保证高效的视频压缩性能的基础上，云端服务器可以通过一次编码产生具有不同帧率、分辨率的视频压缩码流，以适应不同网络带宽、不同的显示屏幕和与会终端解码能力的应用需求，从而有效地避免了视频会议系统中MCU(Microprogrammed Control Unit，微控制器)增设复杂而昂贵的转码设备，同时，也降低了网络丢包率，也不需要设置网关等硬件设备来实现与第一类终端设备的兼容性，尤其是在不设置媒体处理模块的视频会议场景下。
其中，第一类终端设备是支持SIP或H.323协议的与会终端，本申请后文限定的第二类终端设备是能够对多视频流进行编码和解码的新型与会终端。
值得特别指出的是，相较于现有技术采用“SVC(Scalable Video Coding，分级视频会议编码技术)-网关”架构来接入第一类终端设备，本申请通过采用音视频会议编码技术生成多路的单视频流数据，不仅能接入第一类终端设备，也能够接入第二类终端设备，而不需要设置网关，即可满足第一类终端设备的视频会议需求，另外，也可以直接将多路的单视频流数据融合发送至第二类终端设备。
在上述任一技术方案中，优选地，还包括：接入进行视频会议的第二类终端设备；接收任一第一类终端设备发送的单视频流数据，并对单视频流数据执行指定的媒体处理进程，以得到合并的多视频流数据；将完成媒体处理进程的多视频流数据转发至第二类终端设备。
在该技术方案中，通过接收任一第一类终端设备发送的多视频流数据，并对多视频流数据执行指定的媒体处理进程，以及将完成媒体处理进程的多视频流数据转发至待接收的第一类终端设备，其中，第一类终端设备是支持SIP或H.323协议的与会终端，第二类终端设备是能够对多视频流进行编码和解码的新型与会终端，通过对单视频流数据执行指定的媒体处理进程，不仅同时兼容了第一类终端设备和第二类终端设备，而且提升了与会终端的用户对视频流数据的视觉体验和声效体验。
值得特别指出的是，上述接入第一类终端设备和接入第二类终端设备是通过创建相应的进程实现的，而不是在通过网关或网桥接入第二类终端设备，即接入第一类终端设备和接入第二类终端设备的进程可以功能化为一种可伸缩的媒体处理模块，在不需要接入终端设备时，释放空闲的媒体处理模块，以提高计算资源的利用率。
在上述任一技术方案中，优选地，还包括：接收任一第二类终端设备发送的多视频流数据；将多视频流数据转发至待接收的第二类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，并将多视频流数据转发至待接收的第二类终端设备，不需要对多视频流数据进行复杂的计算处理，而仅仅是在多个第二类终端设备之间进行转发，能够有效地降低服务器的计算压力，减少了通信资源的占用，进而有效地提升了网络数据吞吐量。
在上述任一技术方案中，优选地，还包括：接收任一第二类终端设备发送的多视频流数据；按照预设拆分方式将多视频流数据拆分为单视频流数据；将拆分后的单视频流数据转发至待接收的第一类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，按照预设拆分方式将多视频流数据拆分为单视频流数据，将拆分后的单视频流数据转发至待接收的第一类终端设备，由于第一类终端设备不具备编码和解码多视频流数据的能力，而上述媒体处理模块通过拆分多视频流数据为单视频流数据，提高了第一类终端设备的用户参与视频会议的体验，另外，不需要额外提高服务器的造价成本或对服务器的通信协议进行修改。
在上述任一技术方案中，优选地，媒体处理进程包括解码进程、缩放进程、画面合成进程、字幕叠加进程、特效处理进程和编码处理进程中的至少一种。
在上述任一技术方案中，优选地，还包括：响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数；根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享。
在该技术方案中，通过响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数，根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享，也即通过去除重复冗余的视频流处理进程，从而提高了对视频流数据的处理效率，极大地降低了处理视频流数据的运算压力，更多地节省了云端服务器的计算资源，另外，也有利于提高用户观看视频流数据的流畅度。
其中，需求参数包括终端设备对视频流数据的码率、清晰度、分辨率和帧数等与视听需求相关的参数。
根据本发明的第二方面的技术方案，提供了一种视频会议数据的传输系统，视频会议数据的传输系统包括处理器，处理器能够执行以下步骤：接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求；采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备。
在该技术方案中，通过接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求，并且采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备，其实质是在服务器侧生成融合的多路AVC(Audio Video Coding，音视频会议编码技术)数据，在保证高效的视频压缩性能的基础上，云端服务器可以通过一次编码产生具有不同帧率、分辨率的视频压缩码流，以适应不同网络带宽、不同的显示屏幕和与会终端解码能力的应用需求，从而有效地避免了视频会议系统中MCU(Microprogrammed Control Unit，微控制器)增设复杂而昂贵的转码设备，同时，也降低了网络丢包率，也不需要设置网关等硬件设备来实现与第一类终端设备的兼容性，尤其是在不设置媒体处理模块的视频会议场景下。
其中，第一类终端设备是支持SIP或H.323协议的与会终端，本申请后文限定的第二类终端设备是能够对多视频流进行编码和解码的新型与会终端。
值得特别指出的是，相较于现有技术采用“SVC(Scalable Video Coding，分级视频会议编码技术)-网关”架构来接入第一类终端设备，本申请通过采用音视频会议编码技术生成多路的单视频流数据，不仅能接入第一类终端设备，也能够接入第二类终端设备，而不需要设置网关，即可满足第一类终端设备的视频会议需求，另外，也可以直接将多路的单视频流数据融合发送至第二类终端设备。
在上述任一技术方案中，优选地，处理器还能够执行以下步骤：接入进行视频会议的第二类终端设备；接收任一第一类终端设备发送的单视频流数据，并对单视频流数据执行指定的媒体处理进程，以得到合并的多视频流数据；将完成媒体处理进程的多视频流数据转发至第二类终端设备。
在该技术方案中，通过接收任一第一类终端设备发送的多视频流数据，并对多视频流数据执行指定的媒体处理进程，以及将完成媒体处理进程的多视频流数据转发至待接收的第一类终端设备，其中，第一类终端设备是支持SIP或H.323协议的与会终端，第二类终端设备是能够对多视频流进行编码和解码的新型与会终端，通过对单视频流数据执行指定的媒体处理进程，不仅同时兼容了第一类终端设备和第二类终端设备，而且提升了与会终端的用户对视频流数据的视觉体验和声效体验。
值得特别指出的是，上述接入第一类终端设备和接入第二类终端设备是通过创建相应的进程实现的，而不是在通过网关或网桥接入第二类终端设备，即接入第一类终端设备和接入第二类终端设备的进程可以功能化为一种可伸缩的媒体处理模块，在不需要接入终端设备时，释放空闲的媒体处理模块，以提高计算资源的利用率。
在上述任一技术方案中，优选地，处理器还能够执行以下步骤：接收任一第二类终端设备发送的多视频流数据；将多视频流数据转发至待接收的第二类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，并将多视频流数据转发至待接收的第二类终端设备，不需要对多视频流数据进行复杂的计算处理，而仅仅是在多个第二类终端设备之间进行转发，能够有效地降低服务器的计算压力，减少了通信资源的占用，进而有效地提升了网络数据吞吐量。
在上述任一技术方案中，优选地，处理器还能够执行以下步骤：接收任一第二类终端设备发送的多视频流数据；按照预设拆分方式将多视频流数据拆分为单视频流数据；将拆分后的单视频流数据转发至待接收的第一类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，按照预设拆分方式将多视频流数据拆分为单视频流数据，将拆分后的单视频流数据转发至待接收的第一类终端设备，由于第一类终端设备不具备编码和解码多视频流数据的能力，而上述媒体处理模块通过拆分多视频流数据为单视频流数据，提高了第一类终端设备的用户参与视频会议的体验，另外，不需要额外提高服务器的造价成本或对服务器的通信协议进行修改。
在上述任一技术方案中，优选地，媒体处理进程包括解码进程、缩放进程、画面合成进程、字幕叠加进程、特效处理进程和编码处理进程中的至少一种。
在上述任一技术方案中，优选地，处理器还能够执行以下步骤：响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数；根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享。
在该技术方案中，通过响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数，根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享，也即通过去除重复冗余的视频流处理进程，从而提高了对视频流数据的处理效率，极大地降低了处理视频流数据的运算压力，更多地节省了云端服务器的计算资源，另外，也有利于提高用户观看视频流数据的流畅度。
其中，需求参数包括终端设备对视频流数据的码率、清晰度、分辨率和帧数等与视听需求相关的参数。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了根据本发明的一个实施例的视频会议数据的传输方法的示意流程图；
图2示出了根据本发明的一个实施例的视频会议数据的传输系统的示意框图；
图3示出了根据本发明的另一个实施例的视频会议数据的传输系统的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一：
图1示出了根据本发明的一个实施例的视频会议数据的传输方法的示意流程图。
如图1所示，根据本发明的一个实施例的视频会议数据的传输方法，包括：步骤S102，接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求；步骤S104，采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备。
在该技术方案中，通过接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求，并且采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备，其实质是在服务器侧生成融合的多路AVC(Audio Video Coding，音视频会议编码技术)数据，在保证高效的视频压缩性能的基础上，云端服务器可以通过一次编码产生具有不同帧率、分辨率的视频压缩码流，以适应不同网络带宽、不同的显示屏幕和与会终端解码能力的应用需求，从而有效地避免了视频会议系统中MCU(Microprogrammed Control Unit，微控制器)增设复杂而昂贵的转码设备，同时，也降低了网络丢包率，也不需要设置网关等硬件设备来实现与第一类终端设备的兼容性，尤其是在不设置媒体处理模块的视频会议场景下。
其中，第一类终端设备是支持SIP或H.323协议的与会终端，本申请后文限定的第二类终端设备是能够对多视频流进行编码和解码的新型与会终端。
值得特别指出的是，相较于现有技术采用“SVC(Scalable Video Coding，分级视频会议编码技术)-网关”架构来接入第一类终端设备，本申请通过采用音视频会议编码技术生成多路的单视频流数据，不仅能接入第一类终端设备，也能够接入第二类终端设备，而不需要设置网关，即可满足第一类终端设备的视频会议需求，另外，也可以直接将多路的单视频流数据融合发送至第二类终端设备。
在上述任一技术方案中，优选地，还包括：接入进行视频会议的第二类终端设备；接收任一第一类终端设备发送的单视频流数据，并对单视频流数据执行指定的媒体处理进程，以得到合并的多视频流数据；将完成媒体处理进程的多视频流数据转发至第二类终端设备。
在该技术方案中，通过接收任一第一类终端设备发送的多视频流数据，并对多视频流数据执行指定的媒体处理进程，以及将完成媒体处理进程的多视频流数据转发至待接收的第一类终端设备，其中，第一类终端设备是支持SIP或H.323协议的与会终端，第二类终端设备是能够对多视频流进行编码和解码的新型与会终端，通过对单视频流数据执行指定的媒体处理进程，不仅同时兼容了第一类终端设备和第二类终端设备，而且提升了与会终端的用户对视频流数据的视觉体验和声效体验。
值得特别指出的是，上述接入第一类终端设备和接入第二类终端设备是通过创建相应的进程实现的，而不是在通过网关或网桥接入第二类终端设备，即接入第一类终端设备和接入第二类终端设备的进程可以功能化为一种可伸缩的媒体处理模块，在不需要接入终端设备时，释放空闲的媒体处理模块，以提高计算资源的利用率。
在上述任一技术方案中，优选地，还包括：接收任一第二类终端设备发送的多视频流数据；将多视频流数据转发至待接收的第二类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，并将多视频流数据转发至待接收的第二类终端设备，不需要对多视频流数据进行复杂的计算处理，而仅仅是在多个第二类终端设备之间进行转发，能够有效地降低服务器的计算压力，减少了通信资源的占用，进而有效地提升了网络数据吞吐量。
在上述任一技术方案中，优选地，还包括：接收任一第二类终端设备发送的多视频流数据；按照预设拆分方式将多视频流数据拆分为单视频流数据；将拆分后的单视频流数据转发至待接收的第一类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，按照预设拆分方式将多视频流数据拆分为单视频流数据，将拆分后的单视频流数据转发至待接收的第一类终端设备，由于第一类终端设备不具备编码和解码多视频流数据的能力，而上述媒体处理模块通过拆分多视频流数据为单视频流数据，提高了第一类终端设备的用户参与视频会议的体验，另外，不需要额外提高服务器的造价成本或对服务器的通信协议进行修改。
在上述任一技术方案中，优选地，媒体处理进程包括解码进程、缩放进程、画面合成进程、字幕叠加进程、特效处理进程和编码处理进程中的至少一种。
在上述任一技术方案中，优选地，还包括：响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数；根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享。
在该技术方案中，通过响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数，根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享，也即通过去除重复冗余的视频流处理进程，从而提高了对视频流数据的处理效率，极大地降低了处理视频流数据的运算压力，更多地节省了云端服务器的计算资源，另外，也有利于提高用户观看视频流数据的流畅度。
其中，需求参数包括终端设备对视频流数据的码率、清晰度、分辨率和帧数等与视听需求相关的参数。
实施例二：
图2示出了根据本发明的一个实施例的视频会议数据的传输系统的示意框图。
如图2所示，根据本发明的一个实施例的视频会议数据的传输系统200，视频会议数据的传输系统包括处理器202，处理器202能够执行以下步骤：接入进行视频会议的第一类终端设备400，并接收第一类终端设备400发送的分辨率请求；采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备400。
在该技术方案中，通过接入进行视频会议的第一类终端设备400，并接收第一类终端设备400发送的分辨率请求，并且采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备400，其实质是在服务器侧生成融合的多路AVC(Audio Video Coding，音视频会议编码技术)数据，在保证高效的视频压缩性能的基础上，云端服务器可以通过一次编码产生具有不同帧率、分辨率的视频压缩码流，以适应不同网络带宽、不同的显示屏幕和与会终端解码能力的应用需求，从而有效地避免了视频会议系统中MCU(Microprogrammed Control Unit，微控制器)增设复杂而昂贵的转码设备，同时，也降低了网络丢包率，也不需要设置网关等硬件设备来实现与第一类终端设备400的兼容性，尤其是在不设置媒体处理模块的视频会议场景下。
其中，第一类终端设备400是支持SIP或H.323协议的与会终端，本申请后文限定的第二类终端设备300是能够对多视频流进行编码和解码的新型与会终端。
值得特别指出的是，相较于现有技术采用“SVC(Scalable Video Coding，分级视频会议编码技术)-网关”架构来接入第一类终端设备400，本申请通过采用音视频会议编码技术生成多路的单视频流数据，不仅能接入第一类终端设备400，也能够接入第二类终端设备300，而不需要设置网关，即可满足第一类终端设备400的视频会议需求，另外，也可以直接将多路的单视频流数据融合发送至第二类终端设备300。
在上述任一技术方案中，优选地，处理器202还能够执行以下步骤：接入进行视频会议的第二类终端设备300；接收任一第一类终端设备400发送的单视频流数据，并对单视频流数据执行指定的媒体处理进程，以得到合并的多视频流数据；将完成媒体处理进程的多视频流数据转发至第二类终端设备300。
在该技术方案中，通过接收任一第一类终端设备400发送的多视频流数据，并对多视频流数据执行指定的媒体处理进程，以及将完成媒体处理进程的多视频流数据转发至待接收的第一类终端设备400，其中，第一类终端设备400是支持SIP或H.323协议的与会终端，第二类终端设备300是能够对多视频流进行编码和解码的新型与会终端，通过对单视频流数据执行指定的媒体处理进程，不仅同时兼容了第一类终端设备400和第二类终端设备300，而且提升了与会终端的用户对视频流数据的视觉体验和声效体验。
值得特别指出的是，上述接入第一类终端设备400和接入第二类终端设备300是通过创建相应的进程实现的，而不是在通过网关或网桥接入第二类终端设备300，即接入第一类终端设备400和接入第二类终端设备300的进程可以功能化为一种可伸缩的媒体处理模块，在不需要接入终端设备时，释放空闲的媒体处理模块，以提高计算资源的利用率。
在上述任一技术方案中，优选地，处理器202还能够执行以下步骤：接收任一第二类终端设备300发送的多视频流数据；将多视频流数据转发至待接收的第二类终端设备300。
在该技术方案中，通过接收任一第二类终端设备300发送的多视频流数据，并将多视频流数据转发至待接收的第二类终端设备300，不需要对多视频流数据进行复杂的计算处理，而仅仅是在多个第二类终端设备300之间进行转发，能够有效地降低服务器的计算压力，减少了通信资源的占用，进而有效地提升了网络数据吞吐量。
在上述任一技术方案中，优选地，处理器202还能够执行以下步骤：接收任一第二类终端设备300发送的多视频流数据；按照预设拆分方式将多视频流数据拆分为单视频流数据；将拆分后的单视频流数据转发至待接收的第一类终端设备400。
在该技术方案中，通过接收任一第二类终端设备300发送的多视频流数据，按照预设拆分方式将多视频流数据拆分为单视频流数据，将拆分后的单视频流数据转发至待接收的第一类终端设备400，由于第一类终端设备400不具备编码和解码多视频流数据的能力，而上述媒体处理模块通过拆分多视频流数据为单视频流数据，提高了第一类终端设备400的用户参与视频会议的体验，另外，不需要额外提高服务器的造价成本或对服务器的通信协议进行修改。
在上述任一技术方案中，优选地，媒体处理进程包括解码进程、缩放进程、画面合成进程、字幕叠加进程、特效处理进程和编码处理进程中的至少一种。
在上述任一技术方案中，优选地，处理器202还能够执行以下步骤：响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数；根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享。
在该技术方案中，通过响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数，根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享，也即通过去除重复冗余的视频流处理进程，从而提高了对视频流数据的处理效率，极大地降低了处理视频流数据的运算压力，更多地节省了云端服务器的计算资源，另外，也有利于提高用户观看视频流数据的流畅度。
其中，需求参数包括终端设备对视频流数据的码率、清晰度、分辨率和帧数等与视听需求相关的参数。
综上，上述视频会议数据的传输系统200可以兼容于或集成于局域网服务器或核心网服务器。
实施例三：
图3示出了根据本发明的另一个实施例的视频会议数据的传输系统的示意框图。
如图3所示，根据本发明的另一个实施例的视频会议数据的传输系统200，包括：能够进行数据交互且可随时创建的核心交换模块和媒体处理模块，T302、T304……T30n为第二类终端设备300，T402、T404……T40m为第一类终端设备400，其中，m和n均为大于或等于4的偶数，则视频会议数据的传输方案具体包括以下步骤：
(1)媒体处理模块可以实现视频数据的解码、缩放、画面合成、字幕叠加、特效处理、编码等媒体处理任务。
(2)核心交换模块能够在接入第二类终端设备300时，也能够直接接入第一类终端设备(比如H.323终端和SIP终端等)。
(3)第一类终端设备400不具备的多视频流发送能力，可以由媒体处理模块代为处理，将单视频流转换为多视频流。
(4)第一类终端设备400不具备的多视频流接收能力，同样可以由媒体处理模块代为处理，将多视频流最终变成单视频流发送给第一类终端设备400。
(5)媒体处理模块在调度媒体处理任务时，会依据处理任务的具体参数，智能合并和共享相同的处理任务，使得媒体处理任务在最优的情况下工作。
(6)媒体处理模块是可伸缩的模块，在需要时创建，在不需要时释放。
实施例四：
根据本发明的实施例，还提出了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被执行时实现以下步骤：接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求；采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备。
在该技术方案中，通过接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求，并且采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备，其实质是在服务器侧生成融合的多路AVC(Audio Video Coding，音视频会议编码技术)数据，在保证高效的视频压缩性能的基础上，云端服务器可以通过一次编码产生具有不同帧率、分辨率的视频压缩码流，以适应不同网络带宽、不同的显示屏幕和与会终端解码能力的应用需求，从而有效地避免了视频会议系统中MCU(Microprogrammed Control Unit，微控制器)增设复杂而昂贵的转码设备，同时，也降低了网络丢包率，也不需要设置网关等硬件设备来实现与第一类终端设备的兼容性，尤其是在不设置媒体处理模块的视频会议场景下。
其中，第一类终端设备是支持SIP或H.323协议的与会终端，本申请后文限定的第二类终端设备是能够对多视频流进行编码和解码的新型与会终端。
值得特别指出的是，相较于现有技术采用“SVC(Scalable Video Coding，分级视频会议编码技术)-网关”架构来接入第一类终端设备，本申请通过采用音视频会议编码技术生成多路的单视频流数据，不仅能接入第一类终端设备，也能够接入第二类终端设备，而不需要设置网关，即可满足第一类终端设备的视频会议需求，另外，也可以直接将多路的单视频流数据融合发送至第二类终端设备。
在上述任一技术方案中，优选地，还包括：接入进行视频会议的第二类终端设备；接收任一第一类终端设备发送的单视频流数据，并对单视频流数据执行指定的媒体处理进程，以得到合并的多视频流数据；将完成媒体处理进程的多视频流数据转发至第二类终端设备。
在该技术方案中，通过接收任一第一类终端设备发送的多视频流数据，并对多视频流数据执行指定的媒体处理进程，以及将完成媒体处理进程的多视频流数据转发至待接收的第一类终端设备，其中，第一类终端设备是支持SIP或H.323协议的与会终端，第二类终端设备是能够对多视频流进行编码和解码的新型与会终端，通过对单视频流数据执行指定的媒体处理进程，不仅同时兼容了第一类终端设备和第二类终端设备，而且提升了与会终端的用户对视频流数据的视觉体验和声效体验。
值得特别指出的是，上述接入第一类终端设备和接入第二类终端设备是通过创建相应的进程实现的，而不是在通过网关或网桥接入第二类终端设备，即接入第一类终端设备和接入第二类终端设备的进程可以功能化为一种可伸缩的媒体处理模块，在不需要接入终端设备时，释放空闲的媒体处理模块，以提高计算资源的利用率。
在上述任一技术方案中，优选地，还包括：接收任一第二类终端设备发送的多视频流数据；将多视频流数据转发至待接收的第二类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，并将多视频流数据转发至待接收的第二类终端设备，不需要对多视频流数据进行复杂的计算处理，而仅仅是在多个第二类终端设备之间进行转发，能够有效地降低服务器的计算压力，减少了通信资源的占用，进而有效地提升了网络数据吞吐量。
在上述任一技术方案中，优选地，还包括：接收任一第二类终端设备发送的多视频流数据；按照预设拆分方式将多视频流数据拆分为单视频流数据；将拆分后的单视频流数据转发至待接收的第一类终端设备。
在该技术方案中，通过接收任一第二类终端设备发送的多视频流数据，按照预设拆分方式将多视频流数据拆分为单视频流数据，将拆分后的单视频流数据转发至待接收的第一类终端设备，由于第一类终端设备不具备编码和解码多视频流数据的能力，而上述媒体处理模块通过拆分多视频流数据为单视频流数据，提高了第一类终端设备的用户参与视频会议的体验，另外，不需要额外提高服务器的造价成本或对服务器的通信协议进行修改。
在上述任一技术方案中，优选地，媒体处理进程包括解码进程、缩放进程、画面合成进程、字幕叠加进程、特效处理进程和编码处理进程中的至少一种。
在上述任一技术方案中，优选地，还包括：响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数；根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享。
在该技术方案中，通过响应于对多视频流数据执行指定的媒体处理进程的请求，解析媒体处理进程对应的需求参数，根据请求创建多个媒体处理进程，并根据需求参数控制多个媒体处理进程之间进行合并或共享，也即通过去除重复冗余的视频流处理进程，从而提高了对视频流数据的处理效率，极大地降低了处理视频流数据的运算压力，更多地节省了云端服务器的计算资源，另外，也有利于提高用户观看视频流数据的流畅度。
其中，需求参数包括终端设备对视频流数据的码率、清晰度、分辨率和帧数等与视听需求相关的参数。
以上结合附图详细说明了本发明的技术方案，本发明提供了一种视频会议数据的传输方法、系统、视频终端和计算机可读存储介质，通过接入进行视频会议的第一类终端设备，并接收第一类终端设备发送的分辨率请求，并且采用音视频会议编码技术生成多路的单视频流数据，根据分辨率请求将对应的一路单视频流数据发送至第一类终端设备，其实质是在服务器侧生成融合的多路AVC(Audio Video Coding，音视频会议编码技术)数据，在保证高效的视频压缩性能的基础上，云端服务器可以通过一次编码产生具有不同帧率、分辨率的视频压缩码流，以适应不同网络带宽、不同的显示屏幕和与会终端解码能力的应用需求，从而有效地避免了视频会议系统中MCU(Microprogrammed Control Unit，微控制器)增设复杂而昂贵的转码设备，同时，也降低了网络丢包率，也不需要设置网关等硬件设备来实现与第一类终端设备的兼容性，尤其是在不设置媒体处理模块的视频会议场景下。
本发明方法中的步骤可根据实际需要进行顺序调整、合并和删减。
本发明系统中的单元可根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种视频会议数据的传输方法，其特征在于，包括：
接入进行视频会议的第一类终端设备，并接收所述第一类终端设备发送的分辨率请求；
采用音视频会议编码技术生成多路的单视频流数据，根据所述分辨率请求将对应的一路所述单视频流数据发送至所述第一类终端设备；
接入进行视频会议的第二类终端设备；
接收任一所述第二类终端设备发送的多视频流数据，并将所述多视频流数据转发至待接收的第二类终端设备；
按照预设拆分方式将所述多视频流数据拆分为单视频流数据，并将拆分后的单视频流数据转发至待接收的第一类终端设备；
其中，所述第一类终端设备是支持SIP或H.323协议的与会终端，所述第二类终端设备是能够对所述多视频流进行编码和解码的新型与会终端，并且，接入所述第一类终端设备和接入所述第二类终端设备是通过创建相应的进程实现的，而不是通过网关或网桥接入的。
2.根据权利要求1所述的视频会议数据的传输方法，其特征在于，还包括：
接收任一所述第一类终端设备发送的单视频流数据，并对所述单视频流数据执行指定的媒体处理进程，以得到合并的多视频流数据；
将完成所述媒体处理进程的多视频流数据转发至所述第二类终端设备。
3.根据权利要求2所述的视频会议数据的传输方法，其特征在于，
所述媒体处理进程包括解码进程、缩放进程、画面合成进程、字幕叠加进程、特效处理进程和编码处理进程中的至少一种。
4.根据权利要求1或2所述的视频会议数据的传输方法，其特征在于，还包括：
响应于对所述多视频流数据执行指定的媒体处理进程的请求，解析所述媒体处理进程对应的需求参数；
根据所述请求创建多个媒体处理进程，并根据所述需求参数控制多个所述媒体处理进程之间进行合并或共享。
5.一种视频会议数据的传输系统，其特征在于，所述视频会议数据的传输系统包括处理器，所述处理器能够执行以下步骤：
接入进行视频会议的第一类终端设备，并接收所述第一类终端设备发送的分辨率请求；
采用音视频会议编码技术生成多路的单视频流数据，根据所述分辨率请求将对应的一路所述单视频流数据发送至所述第一类终端设备；
接入进行视频会议的第二类终端设备；
接收任一所述第二类终端设备发送的多视频流数据，并将所述多视频流数据转发至待接收的第二类终端设备；
按照预设拆分方式将所述多视频流数据拆分为单视频流数据，并将拆分后的单视频流数据转发至待接收的第一类终端设备；
其中，所述第一类终端设备是支持SIP或H.323协议的与会终端，所述第二类终端设备是能够对所述多视频流进行编码和解码的新型与会终端，并且，接入所述第一类终端设备和接入所述第二类终端设备是通过创建相应的进程实现的，而不是通过网关或网桥接入的。
6.根据权利要求5所述的视频会议数据的传输系统，其特征在于，所述处理器还能够执行以下步骤：
接收任一所述第一类终端设备发送的单视频流数据，并对所述单视频流数据执行指定的媒体处理进程，以得到合并的多视频流数据；
将完成所述媒体处理进程的多视频流数据转发至所述第二类终端设备。
7.根据权利要求6所述的视频会议数据的传输系统，其特征在于，
所述媒体处理进程包括解码进程、缩放进程、画面合成进程、字幕叠加进程、特效处理进程和编码处理进程中的至少一种。
8.根据权利要求5或6所述的视频会议数据的传输系统，其特征在于，所述处理器还能够执行以下步骤：
响应于对所述多视频流数据执行指定的媒体处理进程的请求，解析所述媒体处理进程对应的需求参数；
根据所述请求创建多个媒体处理进程，并根据所述需求参数控制多个所述媒体处理进程之间进行合并或共享。
CN201811615796.6A 2018-12-27 2018-12-27 视频会议数据的传输方法和视频会议数据的传输系统 Active CN111385515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811615796.6A CN111385515B (zh) 2018-12-27 2018-12-27 视频会议数据的传输方法和视频会议数据的传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811615796.6A CN111385515B (zh) 2018-12-27 2018-12-27 视频会议数据的传输方法和视频会议数据的传输系统

Publications (2)

Publication Number Publication Date
CN111385515A CN111385515A (zh) 2020-07-07
CN111385515B true CN111385515B (zh) 2022-01-11

Family

ID=71217931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811615796.6A Active CN111385515B (zh) 2018-12-27 2018-12-27 视频会议数据的传输方法和视频会议数据的传输系统

Country Status (1)

Country Link
CN (1) CN111385515B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938468A (zh) * 2020-07-10 2022-01-14 华为技术有限公司 视频传输方法、设备、系统及存储介质
CN112104835A (zh) * 2020-08-14 2020-12-18 视联动力信息技术股份有限公司 一种视频传输方法、装置、设备和可读存储介质
CN114500914A (zh) * 2020-11-11 2022-05-13 中兴通讯股份有限公司 音视频转发方法、装置、终端与系统
CN115118921B (zh) * 2022-08-29 2023-01-20 全时云商务服务股份有限公司 一种云会议中视频合屏自适应输出的方法及系统
WO2024120009A1 (zh) * 2022-12-05 2024-06-13 华为云计算技术有限公司 一种多媒体处理系统、多媒体处理方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257607A (zh) * 2008-03-12 2008-09-03 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
CN102246458A (zh) * 2008-12-15 2011-11-16 微软公司 使用多个比特率流的视频会议订阅
CN205647835U (zh) * 2016-03-29 2016-10-12 博瑞恒创（天津）科技有限公司 一种云环境下的视频转码系统
CN106941598A (zh) * 2016-01-04 2017-07-11 中兴通讯股份有限公司 多画面码流合成方法、多画面码流合成控制方法及装置
CN108063911A (zh) * 2017-12-30 2018-05-22 深圳市潮流网络技术有限公司 一种视频会议扩容方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO333235B1 (no) * 2010-05-25 2013-04-15 Cisco Systems Int Sarl System og fremgangsmate for konferanser med skalerbar mediesvitsjing
CN103414868B (zh) * 2013-06-25 2016-06-22 苏州科达科技股份有限公司 一种基于h323协议的视频会议单会议终端数扩容方法
US10523820B2 (en) * 2017-06-02 2019-12-31 Apple Inc. High-quality audio/visual conferencing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257607A (zh) * 2008-03-12 2008-09-03 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
CN102246458A (zh) * 2008-12-15 2011-11-16 微软公司 使用多个比特率流的视频会议订阅
CN106941598A (zh) * 2016-01-04 2017-07-11 中兴通讯股份有限公司 多画面码流合成方法、多画面码流合成控制方法及装置
CN205647835U (zh) * 2016-03-29 2016-10-12 博瑞恒创（天津）科技有限公司 一种云环境下的视频转码系统
CN108063911A (zh) * 2017-12-30 2018-05-22 深圳市潮流网络技术有限公司 一种视频会议扩容方法

Also Published As

Publication number Publication date
CN111385515A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111385515B (zh) 视频会议数据的传输方法和视频会议数据的传输系统
US8791978B2 (en) Scalable video encoding in a multi-view camera system
CN108134915B (zh) 用于混合式拓扑媒体会议系统的方法和系统
AU2011258272B2 (en) Systems and methods for scalable video communication using multiple cameras and multiple monitors
EP2214410B1 (en) Method and system for conducting continuous presence conferences
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
KR101224097B1 (ko) 다자간 회의의 제어 방법 및 장치
NO318911B1 (no) Distribuert sammensetting av sanntids-media
US9398257B2 (en) Methods and systems for sharing a plurality of encoders between a plurality of endpoints
JP2014068339A (ja) 様々な参加装置からなるビデオ会議を管理するための方法及びシステム
US20220329883A1 (en) Combining Video Streams in Composite Video Stream with Metadata
US11503085B2 (en) Multimedia composition in meeting spaces
US9369671B2 (en) Method and system for handling content in videoconferencing
CN113194278A (zh) 一种会议控制方法、装置及计算机可读存储介质
CN108156413B (zh) 视频会议的传输方法及装置、mcu
CN102082945A (zh) 实现多方视频通话的方法、视频终端及系统
CN114600468B (zh) 将复合视频流中的视频流与元数据组合的组合器系统、接收器设备、计算机实现的方法和计算机可读介质
CN112839197B (zh) 图像码流处理方法、装置、系统及存储介质
CN115734028A (zh) 一种基于级联编码的媒体流推送方法及系统
CN111385516A (zh) 多媒体资源的传输方法、装置、系统和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant