CN106998328A - 一种视频传输方法及装置 - Google Patents

一种视频传输方法及装置 Download PDF

Info

Publication number
CN106998328A
CN106998328A CN201710202766.1A CN201710202766A CN106998328A CN 106998328 A CN106998328 A CN 106998328A CN 201710202766 A CN201710202766 A CN 201710202766A CN 106998328 A CN106998328 A CN 106998328A
Authority
CN
China
Prior art keywords
client
video
video image
server
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710202766.1A
Other languages
English (en)
Other versions
CN106998328B (zh
Inventor
李晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710202766.1A priority Critical patent/CN106998328B/zh
Publication of CN106998328A publication Critical patent/CN106998328A/zh
Application granted granted Critical
Publication of CN106998328B publication Critical patent/CN106998328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种视频传输方法及装置，服务器将多个客户端所发送的视频图像拼接成综合视频图像；将综合视频图像，按多个客户端的视频图像所在的不同位置，划分成多个区域；服务器将所述多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据；服务器根据预设条件，确定待发送至客户端的全部视频数据或部分视频数据，并将所述全部视频数据或所述部分视频数据发送至客户端；向客户端发送的视频数据适应了客户端所处的网络环境，可以在网络传输状态不好时，通过减少传输的码流提高传输速率，避免视频通话卡顿和延时，提高了用户体验。

Description

一种视频传输方法及装置
技术领域
本发明涉及网络通信技术领域，特别是涉及一种视频传输方法及装置。
背景技术
随着互联网技术的高速发展，越来越多的即时通信软件也得到了快速的普及，很多即时通信软件都可以实现多方视频通话，多方视频通话成了目前信息沟通最有效的方式之一。
目前应用最为广泛的多方视频通话技术为服务器混合模式，即多个客户端分别向服务器发送各自的视频图像，服务器接收多个客户端发送的多路视频图像，并将进行混合后，形成一路视频数据，向各个客户端发送，从而在每个客户端中都能够看到其他各个客户端的视频图像，实现多方视频通话。
然而目前服务器混合模式中，每个客户端所处的网络环境各不相同，混合后的视频数据不一定能够适应所有的客户端所处的网络环境，例如多方视频通话中的一个客户端网络传输状态较好，另一个客户端网络传输状态较差，混合后的视频数据中，存在所有客户端的视频图像，传输码流较大，网络传输状态较好的客户端可以流畅的进行多方视频通话，而网络传输状态较差的客户端则无法及时接收较大的码流，从而导致传输速率低下，造成视频通话卡顿和延时，降低了用户体验。
发明内容
本发明实施例的目的在于提供一种视频传输方法及装置，以实现在客户端进行多方视频通话时，根据用户需求或者客户端所在的网络环境，向用户端发送包含全部客户端视频图像的视频数据或者个别客户端视频图像的视频数据，从而提高传输速率，避免视频通话卡顿和延时，提高了用户体验。具体技术方案如下：
本发明实施例公开了一种视频传输方法，包括：
服务器将多个客户端所发送的视频图像拼接成综合视频图像，所述综合视频图像包含所述多个客户端的视频图像，且所述多个客户端的视频图像位于所述综合视频图像中的不同位置；
所述服务器将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域，所述多个区域分别对应所述多个客户端的视频图像；
所述服务器将所述多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据；
所述服务器根据预设条件，确定待发送至客户端的全部视频数据或部分视频数据，并将所述全部视频数据或所述部分视频数据发送至客户端，所述全部视频数据中包含全部所述多个视频图像的视频数据，所述部分视频数据包含所述多个视频图像中的个别视频图像的视频数据，所述预设条件至少包括：网络的传输状态或所述客户端所发送的服务请求，所述服务请求用于配置所述服务器向所述客户端发送所述全部视频数据或所述部分视频数据。
可选的，所述服务器将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域，包括：
所述服务器拼接所述多个客户端的视频图像时，记录所述综合视频图像中所述多个客户端的视频图像的位置布局；
根据所述位置布局，将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域。
可选的，所述服务器将所述多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据，包括：
所述服务器将所述多个区域中每一个区域的宏块，单独进行视频编码，构成多个视频数据。
可选的，所述服务器根据预设条件，向客户端发送全部视频数据或部分视频数据，包括：
当所述服务器接收到所述客户端发送的服务请求时，根据所述服务请求，向所述客户端发送所述全部视频数据或所述部分视频数据；
当所述服务器没有接收到所述客户端发送的服务请求时，根据所述网络的传输状态，向所述客户端发送所述全部视频数据或所述部分视频数据。
可选的，所述当所述服务器没有接收到所述客户端发送的服务请求时，根据网络的传输状态，向所述客户端发送所述全部视频数据或所述部分视频数据，包括：
所述服务器在预设周期内向所述客户端发送访问数据包，所述客户端接收到所述访问数据包后，向所述服务器发送回应数据包，所述服务器接收到的所述回应数据包的丢包率小于预设值时，下一个预设周期向所述客户端发送所述全部视频数据；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送所述部分视频数据。
可选的，所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送所述部分视频数据，包括：
所述服务器监测在所述预设周期内，检测所述多个客户端所发送的视频图像，将所述预设周期内所述多个客户端的视频图像中，非静音帧数目最多的视频图像作为主视频图像；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送包含所述主视频图像的视频数据。
本发明实施例还公开了一种视频传输装置，包括：
拼接模块，用于服务器将多个客户端所发送的视频图像拼接成综合视频图像，所述综合视频图像包含所述多个客户端的视频图像，且所述多个客户端的视频图像位于所述综合视频图像中的不同位置；
划分模块，用于所述服务器将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域，所述多个区域分别对应所述多个客户端的视频图像；
编码模块，用于所述服务器将所述多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据；
发送模块，用于所述服务器根据预设条件，确定待发送至客户端的全部视频数据或部分视频数据，并将所述全部视频数据或所述部分视频数据发送至客户端，所述全部视频数据中包含全部所述多个视频图像的视频数据，所述部分视频数据包含所述多个视频图像中的个别视频图像的视频数据，所述预设条件至少包括：网络的传输状态或所述客户端所发送的服务请求，所述服务请求用于配置所述服务器向所述客户端发送所述全部视频数据或所述部分视频数据。
可选的，所述划分模块，具体用于所述服务器拼接所述多个客户端的视频图像时，记录所述综合视频图像中所述多个客户端的视频图像的位置布局；
根据所述位置布局，将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域。
可选的，所述编码模块，具体用于所述服务器将所述多个区域中每一个区域的宏块，单独进行视频编码，构成多个视频数据。
可选的，所述发送模块，包括：
第一发送子模块，用于当所述服务器接收到所述客户端发送的服务请求时，根据所述服务请求，向所述客户端发送所述全部视频数据或所述部分视频数据；
第二发送子模块，用于当所述服务器没有接收到所述客户端发送的服务请求时，根据所述网络的传输状态，向所述客户端发送所述全部视频数据或所述部分视频数据。
可选的，所述第二发送子模块具体用于所述服务器在预设周期内向所述客户端发送访问数据包，所述客户端接收到所述访问数据包后，向所述服务器发送回应数据包，所述服务器接收到的所述回应数据包的丢包率小于预设值时，下一个预设周期向所述客户端发送所述全部视频数据；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送所述部分视频数据。
可选的，所述第二发送子模块具体还用于所述服务器监测在所述预设周期内，检测所述多个客户端所发送的视频图像，将所述预设周期内所述多个客户端的视频图像中，非静音帧数目最多的视频图像作为主视频图像；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送包含所述主视频图像的视频数据。本发明实施例提供的一种视频传输方法及装置，在客户端进行多方视频通话时，可以通过网络的传输状态判断客户端所在的网络环境状态，根据网络环境或用户需求，向客户端发送其他全部客户端视频图像的视频数据或者个别客户端视频图像的视频数据，从而使得向客户端发送的视频数据适应客户端所处的网络环境，提高传输速率，避免视频通话卡顿和延时，提高了用户体验，并且使得用户能够自主的选择观看全部客户端或个别客户端的视频图像，满足了用户差异化的需求。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频传输方法的流程图；
图2为本发明实施例提供的综合视频图像示意图；
图3为本发明实施例提供的应用视频传输方法的示意图；
图4为本发明实施例提供的视频传输装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例提供的视频传输方法的流程图，包括：
步骤101，服务器将多个客户端所发送的视频图像拼接成综合视频图像，综合视频图像包含多个客户端的视频图像，且多个客户端的视频图像位于综合视频图像中的不同位置。
用户在进行多方视频通话时，每一个多方通话的参与者都会通过各自的客户端将自己的视频图像上传至服务器，客户端可以有很多类型，例如手机、平板电脑、个人电脑等等设备，服务器可以是MCU(Multipoint Control Unit，多点触控单元)服务器或其他用于提供多方通信服务的服务器。
实际应用中，客户端采集了视频图像后，首先将视频图像进行编码并压缩，然后向服务器发送，服务器接收到每一个客户端发送的视频图像的数据后，需要进行解码，从而得到形成每一个客户端所发送的视频图像。
服务器获得每一个客户端发送的视频图像后，可以根据客户端数量将每一个客户端发送的视频图像拼接在一起，构成综合视频图像。
参见图2，图2为本发明实施例提供的综合视频图像示意图，其中第一视频图像201，第二视频图像202，第三视频图像203，第四视频图像204，分别表示客户端A，客户端B，客户端C，客户端D所发送的视频图像。服务器将客户端A，客户端B，客户端C，客户端D所发送的4个视频图像拼接在一起得到“田”字型的综合视频图像。并且每一个客户端所发送的视频图像都位于综合视频图像的不同位置，例如，图2中客户端A所发送的第一视频图像201位于综合视频图像的左上角区域。
具体的对于多个视频图像的拼接，属于现有技术，目前已经存在很多种成熟的方法，可以根据需要在现有的技术方法中进行选择，此处不再赘述。
步骤102，服务器将综合视频图像，按多个客户端的视频图像所在的不同位置，划分成多个区域，多个区域分别对应多个客户端的视频图像。
服务器将各个客户端的视频图像拼接成综合视频图像后，不同客户端的视频图像处于综合视频图像的不同位置，每个客户端视频图像的位置可以作为位置信息，根据位置信息，可以将综合视频图像划分为多个区域，每一个区域对应一个客户端的视频图像。
例如，图2所示的综合视频图像中，综合视频图像的像素为100×100，客户端A的第一视频图像201所在的位置为左上角的位置，占据了50×50的像素，则可以根据以上的位置信息，将综合视频图像中客户端A的第一视频图像201划分为一个区域。同样可以根据客户端B，客户端C，客户端D的位置信息，将客户端B，客户端C，客户端D的视频图像分别划分为一个区域。
需要说明的是，位置信息不仅仅可以包含像素位置或面积等形式，还可以包括其他多种形式，只要在通过拼接得到的综合视频图像中，能够将不同客户端的视频图像进行区分的方法，都可以应用在本发明实施例中，并都属于本发明实施例的保护范围。
步骤103，服务器将多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据。
完成区域划分后就可以将每个区域，单独的进行视频编码，从而进行压缩，以便于传输和保存。
每一个区域进行视频编码后得到的视频数据，组合在一起就完成了对整个综合视频图像的视频编码。
最终得到的视频数据中可以含有对应多个区域视频图像的多个独立视频数据。多个独立视频数据可以形成一路码流向客户端发送，也可以多个独立视频数据中的一个或几个视频数据形成一路码流向客户端发送。
具体的视频编码方法属于现有技术，例如可以采用H264等编码技术，在此不再进行赘述。
步骤104，服务器根据预设条件，确定待发送至客户端的全部视频数据或部分视频数据，并将全部视频数据或部分视频数据发送至客户端，全部视频数据中包含全部多个视频图像的视频数据，部分视频数据包含多个视频图像中的个别视频图像的视频数据，预设条件至少包括：网络的传输状态或客户端所发送的服务请求，服务请求用于配置服务器向客户端发送全部视频数据或部分视频数据。
对综合视频图像的多个区域单独进行视频编码后，得到了含有多个视频图像的视频数据。该视频数据中含有对应多个区域视频图像的多个独立视频数据。
服务器可以根据预设条件，向客户端发送全部视频数据或部分视频数据。当发送全部视频数据时，多个区域的视频图像的独立视频数据可以形成一路码流向客户端发送；当发送部分视频数据时，多个区域的视频图像的独立视频数据中，一个或几个区域的视频图像的视频数据形成一路码流向客户端发送。
预设条件是用于确定服务器向客户端发送全部视频数据或部分视频数据的判断方法，包括：网络的传输状态或客户端所发送的服务请求。
在实际应用中，如果服务器接收到客户端所发送的服务请求，则可以根据服务请求中的配置信息，向客户端发送全部视频数据或部分视频数据。用户通过客户端向服务器发送服务请求，服务请求中包含有用户的配置信息，配置信息可以配置服务器向客户端发送全部视频数据或部分视频数据，具体的，用户使用客户端进行多方视频通话时，可以在客户端上进行设置，选择接收全部视频数据或部分视频数据，客户端根据用户的设置，生成配置信息，并将其作为服务请求向服务器发送。
服务器接收到客户端发送的服务请求之前可能已经在向客户端发送全部视频数据或部分视频数据，当收到服务请求时，服务器的编码器可以强制产生一个IDR帧，在进行视频编码时，IDR帧可以禁止IDR帧后面帧向IDR帧前面的帧进行参照，从而使得服务器能够根据服务请求中的配置信息，重新向客户端发送全部视频数据或部分视频数据，而不会受到接收服务请求之前所发送的视频数据的影响。
当然，容易理解的是服务器在接收到客户端发送的服务请求后，又一次接收到该客户端发送的服务请求，则服务器根据最新收到的服务请求中的配置信息，按上述的方法，重新向客户端发送全部视频数据或部分视频数据。
或者，服务器也可以根据网络的传输状态，向客户端发送全部视频数据或部分视频数据，例如，当一个客户端的网络传输状态不佳时，可以向该客户端发送部分视频数据，以保证该客户端的正常通信，避免发生延时和卡顿，当另一个客户端的网络传输状态较好时，可以向该客户端发送全部视频数据。
对于客户端网络传输状态的判断可以通过上传/下载的速率，或者数据传输丢包率等进行判断。
现有技术中，服务器将各个不同客户端发送的视频图像拼接成综合视频图像后，将整个综合视频图像直接进行视频编码，形成视频数据并向各个客户端发送。并且当视频数据的数据包在传输过程中发生丢失，则客户端就丢失了全部的视频图像。
本发明实施例中，将拼接完成的综合视频图像按不同的客户端划分成了多个区域，对每一个区域进行独立的视频编码。从而在向客户端发送时，可以根据用户通过客户端发送的服务请求或者网络传输状态来确定，向客户端发送全部视频数据或者是部分视频数据。向客户端发送的视频数据适应了客户端所处的网络环境，可以在网络传输状态不好时，通过减少传输的码流提高传输速率，避免视频通话卡顿和延时，提高了用户体验，并且使得用户能够自主的选择观看全部客户端或个别客户端的视频图像，满足了用户差异化的需求。综合视频图像被按照各个客户端不同的视频图像划分成多个区域并进行单独编码，使得在进行视频数据的数据包传输时，即使发生数据包的丢失，也只是影响到了个别视频图像，而其他视频图像则不会受到影响。
可选的，在本发明实施例提供的视频传输方法中，服务器将综合视频图像，按多个客户端的视频图像所在的不同位置，划分成多个区域，包括：
第一步，服务器拼接多个客户端的视频图像时，记录综合视频图像中多个客户端的视频图像的位置布局。
服务器进行综合视频拼接时，会按照一定的布局方式进行拼接，所以服务器可以直接记录下每一个客户端的视频图像在综合视频图像中的位置布局。位置布局中含有每一个客户端的视频图像的位置信息。
第二步，根据位置布局，将综合视频图像，按多个客户端的视频图像所在的不同位置，划分成多个区域。
通过位置布局中包含的位置信息，服务器就可以按照每个客户端的视频图像，将综合视频图像划分为多个对应每个视频图像的区域。
在本发明实施例中，服务器在进行综合视频图像的拼接时，直接记录下位置布局，再根据位置布局对综合视频图像进行区域划分，使得区域划分更加的快捷方便，从而提高了服务器的运行效率。
可选的，在本发明实施例提供的视频传输方法中，服务器将多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据，包括：
服务器将多个区域中每一个区域的宏块，单独进行视频编码，构成多个视频数据。
宏块是视频编码技术中的一个基本概念，在视频编码中，一个视频图像通常划分成若干宏块组成，一个宏块由一个亮度像素块和附加的两个色度像素块组成。
每个区域的视频图像中，都可以划分为若干宏块，视频编码算法以宏块为单位，逐个宏块进行视频编码。
具体的，在实际应用中，可以使用H264编码方法的FMO(Flexible MacroblockOrdering，灵活宏模块顺序)特性，将每一区域的的宏块，送到编码器内部，使得各个区域的视频图像独立进行视频编码。
在本发明实施例中，通过对每个区域中的宏块进行单独视频编码，实现了对不同区域的视频图像单独进行视频编码。利用宏块进行视频编码，使得视频编码的过程更加迅速高效，从而提高了服务器对视频图像的处理效率，提高了服务器性能。
可选的，在本发明实施例提供的视频传输方法中，服务器根据预设条件，向客户端发送全部视频数据或部分视频数据，包括：
当服务器接收到客户端发送的服务请求时，根据服务请求，向客户端发送全部视频数据或部分视频数据。
在服务器的预设条件中，可以将客户端发送的服务请求作为优先级最高的预设条件，当服务器接收到客户端发送的服务请求时，则不论网络传输状态如何，都按客户端发送的服务请求中的配置信息，来配置服务器向客户端发送全部视频数据或部分视频数据。
例如，客户端A，客户端B，客户端C，客户端D，四个客户端进行多方视频通话，服务器接收到客户端A发送的服务请求，该服务请求中含有的配置信息为向客户端A发送客户端C的视频图像。则此时不论客户端A的网络传输状态如何，都只向客户端A发送客户端C的视频图像。
当服务器没有接收到客户端发送的服务请求时，根据网络的传输状态，向客户端发送全部视频数据或部分视频数据。
如果服务器没有接收到客户端发送的服务请求，则可以表示用户使用客户端进行多方视频通话时，没有在客户端上进行设置，并选择出接收全部视频数据或部分视频数据。此时，服务器就可以根据网络的传输状态来自主的选择向客户端发送全部视频数据或部分视频数据。
在本发明实施例中，优先根据客户端发送的服务请求，来确定向客户端发送全部视频数据或部分视频数据，满足了用户差异化的需求，减少了网络流量的使用，同时减少了客户端接收到视频数据后进行视频解码的工作量，提高了用户体验。当没有接收到客户端发送的服务请求时，再通过客户端的网络传输状态来确定发送的视频数据，从而保证了数据传输的质量，减小了数据延时和卡顿。
可选的，在本发明实施例提供的视频传输方法中，当服务器没有接收到客户端发送的服务请求时，根据网络的传输状态，向客户端发送全部视频数据或部分视频数据，包括：
服务器在预设周期内向客户端发送访问数据包，客户端接收到访问数据包后，向服务器发送回应数据包，服务器接收到的回应数据包的丢包率小于预设值时，下一个预设周期向客户端发送全部视频数据。
预设周期可以根据需要进行灵活的设置，例如可以设置10秒，20秒，或5分钟等等。服务器在一个预设周期内检测与客户端连接的网络的传输状态，并根据网络的传输状态在下一个预设周期时调整向客户端发送的视频数据。
在实际应用中，服务器和客户端之间的通信可以采用RTP(Real-time TransportProtocol，实时传输协议)协议和RTCP(Real-time ControlProtocol，实时传输控制协议)协议来进行数据传输，服务器和客户端之间视频数据的码流可以使用RTP数据包进行传输，在传输RTP数据包的同时，服务器和客户端之间还周期性地传输有RTCP数据包，RTCP负责管理服务器和客户端之间交换控制信息。RTCP数据包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料。访问数据包和回应数据包都属于RTCP数据包。
具体的，服务器可以在预设周期内向客户端发送多个访问数据包，例如，当预设周期为10秒时，可以每1秒发送一个访问数据包，或者当预设周期为1分钟时，可以每10秒发送一个访问数据包，访问数据包可以是SR(sender report，发送报告)数据包。
按照网络通信协议的规则，客户端每接收到一个访问数据包后，都会向服务器发送一个回应数据包，回应数据包可以是RR(receive report，回应报告)数据包。
在预设周期内，服务器接收到的回应数据包的丢包率可以通过应该接收到的回应数据包数量和实际接收到的回应数据包数量计算得到，例如，服务器在预设周期内发送了50个访问数据包，则应该接收到的回应数据包为50个，但实际上服务器直接收到了48个数据包，则丢包率为(50-48)/50＝0.04，即丢包率为4％。
当一个预设周期内的丢包率小于预设值时，则认为网络传输状态良好，下一个预设周期时可以向客户端发送全部视频数据。预设值可以根据需要进行设置，例如可以设置为10％。
服务器接收到的回应数据包的丢包率大于或等于预设值时，下一个预设周期向客户端发送部分视频数据。
如果丢包率大于或等于预设值，则可以认为网络传输状态不良，为了保证视频传输质量，在下一个预设周期时，向客户端发送部分视频数据。
具体的，服务器的编码器在下一个预设周期开始时，可以强制产生一个IDR帧，实现与上一个预设周期内进行编码并传输的视频数据的切换。
本发明实施例中，通过丢包率来判断网络传输状态，能够更加精确的发映出真实的网络传输状态，并且按照预设周期进行及时的监测，可以在网络传输状态发生变化时，及时的做出调整，保证了视频数据传输的质量，避免视频通话的延时和卡顿。
可选的，在本发明实施例提供的视频传输方法中，服务器接收到的回应数据包的丢包率大于或等于预设值时，下一个预设周期向客户端发送部分视频数据，包括：
第一步，服务器监测在预设周期内，检测多个客户端所发送的视频图像，将预设周期内多个客户端的视频图像中，非静音帧数目最多的视频图像作为主视频图像。
当用户通过客户端在进行多方视频通话时，服务器需要向客户端发送部分视频数据，则需要从参与多方通话的客户端所发送的视频图像中选择出个别的视频图像的视频数据向客户端发送。
本发明实施例中可以从各个客户端发送的视频图像中，选择出非静音帧数目最多的视频图像作为主视频图像。主视频图像为目前的多方视频通话中，最为活跃的或正在进行发言的用户的客户端所发送的视频图像。
非静音帧是指客户端所发送的视频图像中含有音频数据的视频帧。服务器通过使用静音检测方法判断在一定时间或预设周期内视频图像的各帧是静音或非静音。非静音帧的检测属于现有技术，此处不再赘述。
例如，客户端A，客户端B，客户端C，客户端D，四个客户端进行多方视频通话，服务器经过丢包率的检测，发现客户端A的网络传输状态不良，需要向客户端A发送部分视频数据，预设周期为10秒，服务器实时的检测客户端A，客户端B，客户端C，客户端D所发送视频图像中的非静音帧数目，服务器可以将各个客户端所发送的视频图像都以20ms为单位将本次预设周期内的视频图像分成500帧，然后进行非静音帧的检测。通过检测，确定客户端B所发送的视频图像中非静音帧数目最多，将客户端B所发送的视频图像作为主视频图像。当然，如果确定出客户端A自身所发送的视频图像中中非静音帧数目最多时，由于不需要客户端A发送客户端A自身的视频图像，可以将其他客户端所发送的视频图像中非静音帧数目最多的视频图像作为主视频图像。
第二步，服务器接收到的回应数据包的丢包率大于或等于预设值时，下一个预设周期向客户端发送包含主视频图像的视频数据。
服务器根据丢包率确定出客户端的网络传输状态不良，则在下一个预设周期时，向客户端发送只含有主视频图像的视频数据。并且继续检测各个客户端所发送的视频图像的非静音帧数目，为再下一个预设周期，确定出需要发送的主视频图像。
例如，设置预设周期为10秒，在上一个预设周期的10秒内，确定出客户端B所发送的视频图像为主视频图像，则在本次的预设周期10秒内向客户端发送只包含客户端B的视频图像的视频数据，并且继续检测各个客户端所发送的视频图像的非静音帧数目，确定出客户端C所发送的视频图像为主视频图像，则在下一个预设周期的10秒内，向客户端发送只包含客户端C的视频图像的视频数据。
通过只向客户端发送包含主视频图像的视频数据，降低了向客户端发送的码流，使得客户端在网络传输状态不好时，依然可以接收到目前最为主要的或最为活跃的视频图像，避免了由于网络传输状态不良，无法及时接收较大码流的视频数据，导致延时卡顿，进而接收不到任何视频数据。
参见图3，图3为本发明实施例提供的应用视频传输方法的示意图。
本发明实施例中共有客户端A，客户端B，客户端C，客户端D，四个客户端进行多方视频通话，图3中仅通过客户端A301与服务器302的交互来进行说明。
客户端A 301可以通过摄像头等设备采集视频图像，通过H264编码器311将采集到的视频图像进行编码，然后通过RTP发送器312形成RTP数据包，向服务器302发送。
服务器302接收到客户端A 301发送的视频数据的同时，也会接收到客户端B，客户端C，客户端D所发送的视频数据，服务器302将各个客户端发送的视频数据解码，然后将各个客户端的视频图像拼接成综合视频图像，同时记录下各个视频图像在综合视频图像中的位置布局。
服务器302通过位置布局将综合视频图像划分为4个区域，分别对应四个客户端所发送的视频图像。再通过服务器302中的H264编码器321，将各个区域的视频图像进行单独的视频编码。
通过服务器302中的RTP发送器321形成RTP数据包，向客户端A301发送全部视频数据或部分视频数据。
客户端A301通过RTP接收器314接收服务器302所发送的RTP数据包，并且向服务器302返回RTCP数据包，用于监测客户端A301和服务器302之间网络传输的状态。
客户端A301通过H264解码器315将接收到的视频数据进行解码，转换成可以直接观看的视频图像。并且客户端A301中还包括设置模块313，用户可以通过设置模块313，选择需要观看的哪些客户端的视频图像，设置模块313根据用户的选择，生成配置信息，并将配置信息作为服务请求向服务器302发送。例如，用户选择了观看客户端C和客户端D的视频图像，并向服务器302发送了服务请求，则服务器302根据该服务请求，只向客户端A301发送区域C视频数据和区域D视频数据，其中区域C和区域D分别对应客户端C和客户端D的视频图像。
如果服务器302没有接收到服务请求，则可以根据接收到的RTCP数据包的丢包率，判断出客户端A301和服务器302相连接的网络的传输状态，根据网络传输状态，自主的选择向客户端A301发送全部视频数据或部分视频数据。当发送部分视频数据时，服务器302可以确定出预设周期内各个客户端所发送的视频图像中非静音帧数目最多的视频图像，将其作为主视频图像，在下一个预设周期时向客户端A301只发送主视频图像的视频数据。
参见图4，图4为本发明实施例提供的视频传输装置的结构图，包括：
拼接模块401，用于服务器将多个客户端所发送的视频图像拼接成综合视频图像，综合视频图像包含多个客户端的视频图像，且多个客户端的视频图像位于综合视频图像中的不同位置；
划分模块402，用于服务器将综合视频图像，按多个客户端的视频图像所在的不同位置，划分成多个区域，多个区域分别对应多个客户端的视频图像；
编码模块403，用于服务器将多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据；
发送模块404，用于服务器根据预设条件，确定待发送至客户端的全部视频数据或部分视频数据，并将全部视频数据或部分视频数据发送至客户端，全部视频数据中包含全部多个视频图像的视频数据，部分视频数据包含多个视频图像中的个别视频图像的视频数据，预设条件至少包括：网络的传输状态或客户端所发送的服务请求，服务请求用于配置服务器向客户端发送全部视频数据或部分视频数据。
本发明实施例中，将拼接完成的综合视频图像按不同的客户端划分成了多个区域，对每一个区域进行独立的视频编码。从而在向客户端发送时，可以根据用户通过客户端发送的服务请求或者网络传输状态来确定，向客户端发送全部视频数据或者是部分视频数据。向客户端发送的视频数据适应了客户端所处的网络环境，可以在网络传输状态不好时，通过减少传输的码流提高传输速率，避免视频通话卡顿和延时，提高了用户体验，并且使得用户能够自主的选择观看全部客户端或个别客户端的视频图像，满足了用户差异化的需求。综合视频图像被按照各个客户端不同的视频图像划分成多个区域并进行单独编码，使得在进行视频数据的数据包传输时，即使发生数据包的丢失，也只是影响到了个别视频图像，而其他视频图像则不会受到影响。
本发明实施例的装置是应用上述视频传输方法的装置，则上述视频传输方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
可选的，本发明实施例提供的视频传输装置中，划分模块402，具体用于服务器拼接多个客户端的视频图像时，记录综合视频图像中多个客户端的视频图像的位置布局；
根据位置布局，将综合视频图像，按多个客户端的视频图像所在的不同位置，划分成多个区域。
可选的，本发明实施例提供的视频传输装置中，编码模块403，具体用于服务器将多个区域中每一个区域的宏块，单独进行视频编码，构成多个视频数据。
可选的，本发明实施例提供的视频传输装置中，发送模块404，包括：
第一发送子模块，用于当服务器接收到客户端发送的服务请求时，根据服务请求，向客户端发送全部视频数据或部分视频数据；
第二发送子模块，用于当服务器没有接收到客户端发送的服务请求时，根据网络的传输状态，向客户端发送全部视频数据或部分视频数据。
可选的，本发明实施例提供的视频传输装置中，第二发送子模块具体用于服务器在预设周期内向客户端发送访问数据包，客户端接收到访问数据包后，向服务器发送回应数据包，服务器接收到的回应数据包的丢包率小于预设值时，下一个预设周期向客户端发送全部视频数据；
服务器接收到的回应数据包的丢包率大于或等于预设值时，下一个预设周期向客户端发送部分视频数据。
可选的，本发明实施例提供的视频传输装置中，第二发送子模块具体还用于服务器监测在预设周期内，检测多个客户端所发送的视频图像，将预设周期内多个客户端的视频图像中，非静音帧数目最多的视频图像作为主视频图像；
服务器接收到的回应数据包的丢包率大于或等于预设值时，下一个预设周期向客户端发送包含主视频图像的视频数据。
需要说明的是，在本文中，诸如第一和等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种视频传输方法，其特征在于，包括：
服务器将多个客户端所发送的视频图像拼接成综合视频图像，所述综合视频图像包含所述多个客户端的视频图像，且所述多个客户端的视频图像位于所述综合视频图像中的不同位置；
所述服务器将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域，所述多个区域分别对应所述多个客户端的视频图像；
所述服务器将所述多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据；
所述服务器根据预设条件，确定待发送至客户端的全部视频数据或部分视频数据，并将所述全部视频数据或所述部分视频数据发送至客户端，所述全部视频数据中包含全部所述多个视频图像的视频数据，所述部分视频数据包含所述多个视频图像中的个别视频图像的视频数据，所述预设条件至少包括：网络的传输状态或所述客户端所发送的服务请求，所述服务请求用于配置所述服务器向所述客户端发送所述全部视频数据或所述部分视频数据。
2.根据权利要求1所述的方法，其特征在于，所述服务器将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域，包括：
所述服务器拼接所述多个客户端的视频图像时，记录所述综合视频图像中所述多个客户端的视频图像的位置布局；
根据所述位置布局，将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域。
3.根据权利要求1所述的方法，其特征在于，所述服务器将所述多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据，包括：
所述服务器将所述多个区域中每一个区域的宏块，单独进行视频编码，构成多个视频数据。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述服务器根据预设条件，向客户端发送全部视频数据或部分视频数据，包括：
当所述服务器接收到所述客户端发送的服务请求时，根据所述服务请求，向所述客户端发送所述全部视频数据或所述部分视频数据；
当所述服务器没有接收到所述客户端发送的服务请求时，根据所述网络的传输状态，向所述客户端发送所述全部视频数据或所述部分视频数据。
5.根据权利要求4所述的方法，其特征在于，所述当所述服务器没有接收到所述客户端发送的服务请求时，根据网络的传输状态，向所述客户端发送所述全部视频数据或所述部分视频数据，包括：
所述服务器在预设周期内向所述客户端发送访问数据包，所述客户端接收到所述访问数据包后，向所述服务器发送回应数据包，所述服务器接收到的所述回应数据包的丢包率小于预设值时，下一个预设周期向所述客户端发送所述全部视频数据；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送所述部分视频数据。
6.根据权利要求5所述的方法，其特征在于，所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送所述部分视频数据，包括：
所述服务器监测在所述预设周期内，检测所述多个客户端所发送的视频图像，将所述预设周期内所述多个客户端的视频图像中，非静音帧数目最多的视频图像作为主视频图像；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送包含所述主视频图像的视频数据。
7.一种视频传输装置，其特征在于，包括：
拼接模块，用于服务器将多个客户端所发送的视频图像拼接成综合视频图像，所述综合视频图像包含所述多个客户端的视频图像，且所述多个客户端的视频图像位于所述综合视频图像中的不同位置；
划分模块，用于所述服务器将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域，所述多个区域分别对应所述多个客户端的视频图像；
编码模块，用于所述服务器将所述多个区域的视频图像单独进行视频编码，构成含有多个视频图像的视频数据；
发送模块，用于所述服务器根据预设条件，确定待发送至客户端的全部视频数据或部分视频数据，并将所述全部视频数据或所述部分视频数据发送至客户端，所述全部视频数据中包含全部所述多个视频图像的视频数据，所述部分视频数据包含所述多个视频图像中的个别视频图像的视频数据，所述预设条件至少包括：网络的传输状态或所述客户端所发送的服务请求，所述服务请求用于配置所述服务器向所述客户端发送所述全部视频数据或所述部分视频数据。
8.根据权利要求7所述的装置，其特征在于，所述划分模块，具体用于所述服务器拼接所述多个客户端的视频图像时，记录所述综合视频图像中所述多个客户端的视频图像的位置布局；
根据所述位置布局，将所述综合视频图像，按所述多个客户端的视频图像所在的不同位置，划分成多个区域。
9.根据权利要求7所述的装置，其特征在于，所述编码模块，具体用于所述服务器将所述多个区域中每一个区域的宏块，单独进行视频编码，构成多个视频数据。
10.根据权利要求7至9中任一项所述的装置，其特征在于，所述发送模块，包括：
第一发送子模块，用于当所述服务器接收到所述客户端发送的服务请求时，根据所述服务请求，向所述客户端发送所述全部视频数据或所述部分视频数据；
第二发送子模块，用于当所述服务器没有接收到所述客户端发送的服务请求时，根据所述网络的传输状态，向所述客户端发送所述全部视频数据或所述部分视频数据。
11.根据权利要求10所述的装置，其特征在于，所述第二发送子模块具体用于所述服务器在预设周期内向所述客户端发送访问数据包，所述客户端接收到所述访问数据包后，向所述服务器发送回应数据包，所述服务器接收到的所述回应数据包的丢包率小于预设值时，下一个预设周期向所述客户端发送所述全部视频数据；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送所述部分视频数据。
12.根据权利要求11所述的装置，其特征在于，所述第二发送子模块具体还用于所述服务器监测在所述预设周期内，检测所述多个客户端所发送的视频图像，将所述预设周期内所述多个客户端的视频图像中，非静音帧数目最多的视频图像作为主视频图像；
所述服务器接收到的所述回应数据包的丢包率大于或等于预设值时，下一个预设周期向所述客户端发送包含所述主视频图像的视频数据。
CN201710202766.1A 2017-03-30 2017-03-30 一种视频传输方法及装置 Active CN106998328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710202766.1A CN106998328B (zh) 2017-03-30 2017-03-30 一种视频传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710202766.1A CN106998328B (zh) 2017-03-30 2017-03-30 一种视频传输方法及装置

Publications (2)

Publication Number Publication Date
CN106998328A true CN106998328A (zh) 2017-08-01
CN106998328B CN106998328B (zh) 2019-12-13

Family

ID=59433963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710202766.1A Active CN106998328B (zh) 2017-03-30 2017-03-30 一种视频传输方法及装置

Country Status (1)

Country Link
CN (1) CN106998328B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900919A (zh) * 2018-06-29 2018-11-27 乐蜜有限公司 一种直播中的连麦方法、装置、服务器及终端
CN112929667A (zh) * 2021-03-26 2021-06-08 咪咕文化科技有限公司 一种编解码方法、装置、设备及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1946079A (zh) * 2006-11-02 2007-04-11 北京大学 一种网络带宽自适应的流媒体传输选择性丢帧方法
CN101166270A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 多媒体视频通信方法及系统
CN102098540A (zh) * 2009-12-14 2011-06-15 深圳速浪数字技术有限公司 一种多节目复用方法及设备
CN102244608A (zh) * 2011-06-09 2011-11-16 杭州米加科技有限公司 流媒体内容优先级自适应传输的方法
CN102547206A (zh) * 2010-12-30 2012-07-04 中国移动通信集团公司 一种视频通信过程中确定视频传输参数的方法及装置
CN102547212A (zh) * 2011-12-13 2012-07-04 浙江元亨通信技术股份有限公司 多路视频图像的拼接方法
CN104125429A (zh) * 2013-04-27 2014-10-29 杭州海康威视数字技术股份有限公司 视频数据传输的调节方法及装置
CN104754283A (zh) * 2013-12-25 2015-07-01 北京新媒传信科技有限公司 音视频通讯方法、服务器和系统
CN105376614A (zh) * 2015-10-27 2016-03-02 南京创维信息技术研究院有限公司 视频质量优化方法和装置
CN105828201A (zh) * 2016-04-22 2016-08-03 北京小米移动软件有限公司 视频处理方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166270A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 多媒体视频通信方法及系统
CN1946079A (zh) * 2006-11-02 2007-04-11 北京大学 一种网络带宽自适应的流媒体传输选择性丢帧方法
CN102098540A (zh) * 2009-12-14 2011-06-15 深圳速浪数字技术有限公司 一种多节目复用方法及设备
CN102547206A (zh) * 2010-12-30 2012-07-04 中国移动通信集团公司 一种视频通信过程中确定视频传输参数的方法及装置
CN102244608A (zh) * 2011-06-09 2011-11-16 杭州米加科技有限公司 流媒体内容优先级自适应传输的方法
CN102547212A (zh) * 2011-12-13 2012-07-04 浙江元亨通信技术股份有限公司 多路视频图像的拼接方法
CN104125429A (zh) * 2013-04-27 2014-10-29 杭州海康威视数字技术股份有限公司 视频数据传输的调节方法及装置
CN104754283A (zh) * 2013-12-25 2015-07-01 北京新媒传信科技有限公司 音视频通讯方法、服务器和系统
CN105376614A (zh) * 2015-10-27 2016-03-02 南京创维信息技术研究院有限公司 视频质量优化方法和装置
CN105828201A (zh) * 2016-04-22 2016-08-03 北京小米移动软件有限公司 视频处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900919A (zh) * 2018-06-29 2018-11-27 乐蜜有限公司 一种直播中的连麦方法、装置、服务器及终端
CN112929667A (zh) * 2021-03-26 2021-06-08 咪咕文化科技有限公司 一种编解码方法、装置、设备及可读存储介质
CN112929667B (zh) * 2021-03-26 2023-04-28 咪咕文化科技有限公司 一种编解码方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN106998328B (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
US8649426B2 (en) Low latency high resolution video encoding
US8988486B2 (en) Adaptive video communication channel
US7436454B2 (en) Method and apparatus for transmitting encoded information based upon piority data in the encoded information
KR101365882B1 (ko) 멀티미디어 회의 호에 대한 시각적 구성의 관리 기법
EP2469853B1 (en) Method and device for processing video image data, system and terminal for video conference
CN100568947C (zh) 通信系统、终端设备和通信方法
CN105635636B (zh) 一种视频会议系统及其实现视频图像传输控制的方法
CN106303693B (zh) 一种视频数据解码的方法及装置
US20080100694A1 (en) Distributed caching for multimedia conference calls
WO2012075951A1 (zh) 会场带宽的调整方法、装置、会议终端和媒体控制服务器
AU2003258912B2 (en) Audio visual media encoding system
CN102158690A (zh) 远程多路实时视频监控系统
CN101282454A (zh) 一种基于ip机顶盒的视频通讯系统
CN111147860B (zh) 一种视频数据的解码方法及装置
CN110460728A (zh) 视频彩铃数据处理方法、网络设备及计算机可读存储介质
CN107172376B (zh) 一种基于屏幕共享的视频编码方法和装置
CN102892032A (zh) 实时互动高清网络视频通讯系统
CN104320716A (zh) 一种基于多终端协同的视频上行链路传输方法
CN110300278A (zh) 视频传输方法和设备
CN105979284B (zh) 移动终端视频共享方法
CN106998328A (zh) 一种视频传输方法及装置
CN103581695B (zh) 一种实现移动终端接入全球眼的系统和方法
CN106412617A (zh) 远程调试控制方法及装置
CN101755442A (zh) 多媒体提供业务
US8928728B2 (en) Systems, methods, and media for controlling a presentation of data images in a video stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant