CN110602519B - 连麦视频处理方法及装置、存储介质、电子设备 - Google Patents

连麦视频处理方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN110602519B
CN110602519B CN201910894322.8A CN201910894322A CN110602519B CN 110602519 B CN110602519 B CN 110602519B CN 201910894322 A CN201910894322 A CN 201910894322A CN 110602519 B CN110602519 B CN 110602519B
Authority
CN
China
Prior art keywords
video
microphone
continuous
live
test data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910894322.8A
Other languages
English (en)
Other versions
CN110602519A (zh
Inventor
罗创
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201910894322.8A priority Critical patent/CN110602519B/zh
Publication of CN110602519A publication Critical patent/CN110602519A/zh
Application granted granted Critical
Publication of CN110602519B publication Critical patent/CN110602519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种连麦视频处理方法、连麦视频处理装置、计算机可读存储介质和电子设备，涉及互联网技术领域。该连麦视频处理方法包括：获取连麦目标端的网络连接参数；基于网络连接参数向连麦目标端发送测试数据；根据连麦目标端响应测试数据的结果确定连麦视频参数；根据连麦视频参数对连麦视频进行编码，将编码后的连麦视频发送给连麦目标端。本公开可以降低连麦视频两端的连麦视频传输时延，同时提高连麦视频的处理效率。

Description

连麦视频处理方法及装置、存储介质、电子设备
技术领域
本公开涉及互联网技术领域，具体而言，涉及一种连麦视频处理方法、连麦视频处理装置、计算机可读存储介质和电子设备。
背景技术
在互联网技术高速发展的时代，网络直播逐渐成为丰富人们日常生活的一种重要方式。为了提高网络直播互动的效果，可以在网络直播中引入视频连麦的方式。
目前，视频连麦方式存在视频连麦两端之间的视频传输时延大的问题。例如，在网络直播中，视频连麦两端的主播需要进行合唱。首先，将连麦两端主播的视频数据传输至视频服务器，然后，由视频服务器将视频数据转发给连麦对方的直播设备，随后，连麦两端的主播根据传输的视频进行合唱。然而，在上述视频传输过程中会产生传输时延，使得连麦两端的主播无法达到同声合唱的效果。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种连麦视频处理方法、连麦视频处理装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于现有技术的限制和缺陷而导致连麦视频两端的视频传输时延大问题。
根据本公开的第一个方面，提供一种连麦视频处理方法，包括：获取连麦目标端的网络连接参数；基于网络连接参数向连麦目标端发送测试数据；根据连麦目标端响应测试数据的结果确定连麦视频参数；根据连麦视频参数对连麦视频进行编码，将编码后的连麦视频发给连麦目标端。
根据本公开的第二个方面，提供一种连麦视频处理装置，包括：参数获取模块，用于获取连麦目标端的网络连接参数；数据测试模块，用于基于网络连接参数向连麦目标端发送测试数据；视频参数确定模块，用于根据连麦目标端响应测试数据的结果确定连麦视频参数；视频编码模块，用于根据连麦视频参数对连麦视频进行编码，将编码后的连麦视频发给连麦目标端。
可选地，数据测试模块包括：数据检测单元，用于向连麦目标端发送检测数据；数据获取单元，用于若能够获取到连麦目标端响应检测数据的结果，则基于网络连接参数向连麦目标端发送测试数据。
可选地，视频参数确定模块包括：时间确定单元，用于确定测试数据的传输时间；时间判断单元，用于若测试数据的传输时间小于预设时间阈值，则根据连麦目标端响应测试数据的结果确定连麦视频参数。
可选地，连麦视频处理装置还包括：连麦时间戳确定模块，用于确定连麦视频的时间戳；连麦视频校准模块，用于基于连麦视频的时间戳和标准时间戳对编码后的连麦视频进行校准。
可选地，连麦视频处理装置还包括：信息获取模块，用于获取连麦目标端对连麦视频进行解码后的反馈信息，其中，反馈信息包含一时间戳，时间戳为连麦目标端对连麦视频解码后的时间戳与标准时间戳的差值；参数修改模块，用于若时间戳差值大于预设阈值，则根据时间戳差值对连麦视频参数进行修改。
可选地，连麦视频处理装置还包括：直播视频获取模块，用于结合一视频参数调整结果对编码后的连麦视频进行调整，得到直播视频；直播视频发送模块，用于将直播视频发送至服务器，以便服务器将直播视频发送给视频观看端。
可选地，连麦视频处理装置还包括：直播时间戳确定模块，用于确定直播视频的时间戳；直播视频校准模块，用于基于直播视频的时间戳和标准时间戳对直播视频进行校准，将校准后的直播视频发送至服务器，以便服务器将校准后的直播视频发送给视频观看端。
根据本公开的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述的连麦视频处理方法。
根据本公开的第四个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的连麦视频处理方法。
本公开的示例性实施例具有以下有益效果：
本公开的一些实施例所提供的技术方案中，连麦请求端对连麦视频处理后，并发送至连麦目标端。其中，对连麦视频的处理方法包括：获取连麦目标端的网络连接参数；基于网络连接参数向连麦目标端发送测试数据；根据连麦目标端响应测试数据的结果确定连麦视频参数；根据连麦视频参数对连麦视频进行编码，将编码后的连麦视频发给连麦目标端。一方面，将连麦视频发送至连麦目标端，可以减少执行先发送连麦视频至服务器，再由服务器转发连麦视频的步骤，减少了传输时延。另一方面，连麦请求端仅对连麦视频进行编码，而未同时对直播视频进行编码，提高了连麦视频的处理效率，减少了连麦视频处理过程的时延。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了根据本公开的示例性实施方式的一种连麦视频处理方法的系统图；
图2示意性示出了根据本公开的示例性实施方式的一种连麦视频处理方法的流程图；
图3示意性示出了根据本公开的示例性实施方式的一种连麦视频处理方法的交互流程图；
图4示意性示出了根据本公开的示例性实施方式的一种连麦视频处理装置的方框图；
图5示意性示出了根据本公开的示例性实施方式的数据测试模块的方框图；
图6示意性示出了根据本公开的示例性实施方式的视频参数确定模块的方框图；
图7示意性示出了根据本公开的示例性实施方式的另一种连麦视频处理装置的方框图；
图8示意性示出了根据本公开的示例性实施方式的另一种连麦视频处理装置的方框图；
图9示意性示出了根据本公开的示例性实施方式的另一种连麦视频处理装置的方框图；
图10示意性示出了根据本公开的示例性实施方式的另一种连麦视频处理装置的方框图；
图11示意性示出了根据本公开的示例性实施方式的电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
需要说明的是，本公开中，用语“包括”用以表示开放式的包括在内的意思，并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
随着网络直播的发展，人们对直播体验也提出了严格的要求，为此，可以增强直播互动的视频连麦方式得到了关注。
例如：在线上会议中使用多人视频连麦，在讨论问题时，参会人员可以及时参与到讨论中，及时反馈想法、问题等。但现有的连麦视频方法，将连麦视频发送至服务器，再转发给参会人员，会产生传输时延，使得参会人员不能及时获取连麦视频，延缓了会议的进程。
针对上述问题，本公开涉及一种连麦直播系统。
如图1所示，本公开的连麦直播系统可以包括：服务器102、连麦请求端106以及连麦目标端。其中，连麦目标端可以包括连麦目标端104和连麦目标端108。图1中给出的连麦请求端106、连麦目标端104、连麦目标端108仅仅为示例，对连麦直播系统连接的连麦请求端和连麦目标端的数量不进行限制。
服务器102可以根据连麦请求端106的连麦请求发送连麦目标端的网络连接参数，以便连麦请求端和连麦目标端进行连麦。其中，该连麦请求端可以是请求连麦的终端设备，连麦目标端可以是连麦请求端请求连麦的对象的终端设备，上述终端设备可以是个人计算机、手机、平板等。网络连接参数可以是连麦目标端的网络地址、网络端口号等。服务器102可以接收由连麦请求端106发送的直播视频，该直播视频可以是连麦请求端106对编码后的连麦视频进行调整后得到的视频。
连麦请求端106可以根据网络连接参数传输数据至连麦目标端，该数据可以是连麦视频、检测通信链路的检测数据、用于计算连麦视频参数的测试数据等等。
下面对本公开示例性实施方式的连麦视频处理方法进行说明。应当注意的是，下述连麦视频处理方法可以由连麦请求端实现，也就是说，连麦请求端可以执行下述方法的各个步骤，在这种情况下，本公开示例性实施方式的连麦请求装置可以配置于该连麦请求端内。
参考图2，本公开的示例性实施方式的连麦视频处理方法可以包括以下步骤：
S201.获取连麦目标端的网络连接参数。
其中，网络连接参数可以是连麦请求端的网络端口号、网络地址等，例如，网络连接参数可以是公网IP(公用网络协议)地址。
在本公开中，首先，连麦请求端可以发送连麦请求至服务器，然后，服务器确定出连麦请求端请求连麦的对象的网络连接参数，接着，服务器可以发送连麦目标端的网络连接参数至连麦请求端，随后，连麦请求端获取连麦目标端的网络连接参数。需要说明的是，在连麦请求端执行步骤S201的情况下，服务器也可以将连麦请求端的网络连接参数发送至连麦目标端，以使连麦目标端可以与连麦请求端建立通信连接。
例如，在准备进行连麦合唱的设备A和设备B之间，首先，设备A作为连麦请求端向服务器发送连麦请求，然后，服务器根据该连麦请求确定出作为连麦目标端的设备B的网络连接参数，接着，服务器将设备B的网络连接参数发送至设备A。由此，设备A即可获取到设备B的网络连接参数。
S203.基于网络连接参数向连麦目标端发送测试数据。
在本公开的示例性实施方式中，测试数据可以是用于测试连麦请求端与连麦目标端之间数据传输速率的数据，例如，测试数据可以是一段视频、一段文字等等。
在一个实施例中，本公开还可以包括对连麦请求端与连麦目标端之间的连接状态进行检测的过程。具体的，连麦请求端在步骤S201中获取到连麦目标端的网络连接参数后，连麦请求端可以向连麦目标端发送检测数据，其中，检测数据可以是用来测试连麦请求端与连麦目标端之间是否建立通信连接，例如，检测数据可以是一段视频、一段文字等。
若连麦请求端能够获取到连麦目标端响应检测数据的结果，则可以说明连麦请求端与连麦目标端之间建立通信连接。也就是说，连麦目标端接收到检测数据后，向连麦请求端发送一个接收到检测数据的响应结果，该响应结果可以表征连麦请求端与连麦目标端之间建立通信连接。在这种情况下，连麦请求端基于网络连接参数向连麦目标端发送测试数据。
连麦请求端也可以将检测数据发送至服务器，并由服务器转发至连麦目标端，同时，连麦请求端将相同的检测数据发送至连麦目标端，若连麦目标端接收到服务器发送的检测数据和连麦请求端发送的检测数据相同，则连麦请求端基于网络连接参数向连麦目标端发送测试数据。
另外，在连麦请求端在发送检测数据后，正常情况下，连麦请求端会立刻接收到连麦目标端响应检测数据而发送的反馈结果，然而，连麦请求端等待连麦目标端响应结果的等待时间大于预设时限，则连麦请求端可以重新发送检测数据。预设时限可以是一个固定值，也可以根据实际情况进行调整，也就是说，根据检测数据的大小，预设时限可以进行相应的调整。
例如，在连麦合唱场景中，设备A为连麦请求端，设备B为连麦目标端。设备A发送检测数据至设备B，经过10ms后，设备A仍未接收到设备B响应检测数据的结果，设备A则重新发送检测数据，此时，设备A立刻接收到了设备B发送的两者之间已建立通信连接的反馈信息。
S205.根据连麦目标端响应测试数据的结果确定连麦视频参数。
其中，连麦目标端响应测试数据的结果可以是，连麦目标端接收到测试数据后，反馈给连麦请求端的一响应结果。该响应结果可以包括测试数据的传输时间、测试数据的大小、测试数据的传输速率、传输带宽等等，连麦视频参数可以包括视频分辨率、视频帧率、视频传输码率等等。
在本公开中，首先，连麦请求端在步骤S203中发送测试数据至连麦目标端，然后，连麦目标端接收到测试数据后，发送一响应结果至连麦请求端，随后，连麦请求端根据该响应结果，确定出连麦视频参数。
另外，在一个实施例中，连麦请求端可以确定测试数据的传输时间，若测试数据的传输时间小于预设时间阈值，则根据连麦目标端响应测试数据的结果确定连麦视频参数。另外，若测试数据的传输时间大于等于预设时间阈值，则连麦请求端可以重新发送相同的测试数据至连麦目标端，也可以重新发送一个测试数据。
该预设时间阈值可以是一个固定的值，也可以是根据实际情况进行调整的动态值，也就是说，根据测试数据的大小，预设时间阈值可以进行相应的调整。
S207.根据连麦视频参数对连麦视频进行编码，将编码后的连麦视频发送给连麦目标端。
在本公开中，对连麦视频进行编码可以指，连麦请求端可以通过对原视频图像的视频分辨率进行调整得到视频图像，作为连麦视频的视频图像源，接着，可以根据视频帧率和视频传输码率，在该视频图像源的基础上确定连麦视频。
连麦请求端可以采用实时信息传输协议(RTMP)将编码后的连麦视频发送给连麦目标端。
另外，在一些实施例中，连麦请求端可以确定连麦视频的时间戳，并基于连麦视频的时间戳和标准时间戳对编码后的连麦视频进行校准。
其中，标准时间戳可以是由服务器发送至连麦请求端的标准时间戳。需要说明的是，在执行步骤S201的情况下，或者在连麦请求端对连麦视频编码后，连麦请求端可以获取标准时间戳。
根据本公开的一个实施例，连麦请求端可以获取连麦目标端对连麦视频进行解码后的反馈信息，其中，反馈信息包含一时间戳差值，时间戳差值为连麦目标端对连麦视频解码后的时间戳与标准时间戳的差值。
若时间戳差值大于预设阈值，连麦请求端则根据时间戳差值对连麦视频参数进行修改。其中，预设阈值可以是一个固定值，例如，连麦视频的视频帧率为30，时间戳为1/90000，那么，预设阈值可以设置为3000。
若时间戳差值小于预设阈值，则说明连麦请求端的连麦视频的时间戳与连麦目标端解码后的连麦视频的时间戳相同，也就是说，若时间戳差值小于预设阈值，则可以说明连麦请求端的连麦视频与连麦目标端解码后的连麦视频满足实时性和同步性的条件。
需要说明的是，在连麦请求端执行步骤S201的情况下，服务器可以将标准时间戳发送至连麦目标端，以使连麦目标端在对连麦视频进行解码后，计算解码后的连麦视频的时间戳与标准时间戳的差值。
在本公开的示例性实施方式中，连麦请求端不仅可以基于连麦视频的时间戳和标准时间戳对编码后的连麦视频进行校准，而且连麦请求端可以基于连麦目标端对连麦视频进行解码后的时间戳与标准时间戳的时间戳差值，对连麦视频参数进行修改。也就是说，上述的处理过程可以通过标准时间戳对连麦请求端编码后的连麦视频的时间戳进行校准，对连麦目标端解码后的连麦视频的时间戳进行校准，可以提高连麦请求端的连麦视频与连麦目标端解码后的连麦视频的同步性和实时性。
根据本公开的另一个实施例，连麦请求端可以结合一视频参数调整结果对编码后的连麦视频进行调整，得到直播视频，并将直播视频发送至服务器，以便服务器将直播视频发送给视频观看端。
视频参数调整结果可以是编码后的连麦视频的视频分辨率。连麦请求端可以结合该视频分辨率对编码后的连麦视频进行调整，得到连麦请求端的直播视频。也就是说，连麦请求端对连麦视频和直播视频是分开编码的，首先，对连麦视频进行编码，然后，结合一视频参数调整结果对编码后的连麦视频进行调整，得到直播视频。使用该方法可以提高对连麦视频的处理效率，减少处理时延。
连麦请求端可以将直播视频发送至服务器，同时，连麦目标端也可以将直播视频发送至服务器，接着，服务器可以将两个直播视频进行合并，并将合并后的直播视频发送至视频观看端。服务器也可以将两个直播视频转发给视频观看端，由视频观看端合并直播视频。
例如：连麦合唱场景中，设备A编码后的连麦视频的视频分辨率为394*443，将该视频分辨率调整为1280*720，则得到连麦请求端的直播视频。
另外，在本公开的示例性实施方式中，连麦请求端可以确定直播视频的时间戳，基于直播视频的时间戳和标准时间戳对直播视频进行校准，将校准后的直播视频发送至服务器，以便服务器将校准后的直播视频发送给视频观看端。
连麦请求端不仅基于直播视频的时间戳和标准时间戳对直播视频进行校准，而且基于连麦视频的时间戳和标准时间戳对连麦视频进行校准，可以使得直播视频与连麦视频的时间戳相同，也就是说使得由服务器转发至视频观看端的视频与连麦视频同步性得到提高。
图3示出了本公开示例性实施例中一种连麦视频处理方法的交互流程图。具体的，在步骤S302中，连麦请求端发送连麦请求至服务器；在步骤S304中，连麦请求端从服务器获取连麦目标端的网络连接参数；在步骤S306中，连麦请求端发送测试数据至连麦目标端；在步骤S308中，连麦请求端接收连麦目标端响应测试数据的结果；在步骤S310中，连麦请求端根据步骤S308中接收的响应结果确定连麦视频参数；在步骤S312中，连麦请求端根据视频参数对连麦视频进行编码；在步骤S314中，连麦请求端将编码后的连麦视频发送至连麦目标端。
在本公开中，服务器可以是位于连麦请求端的本地服务器，也可以是位于云端的集中服务器。另外，服务器可以接收到连麦请求端的连麦请求后，确定出连麦目标端的网络连接参数，并发送至连麦请求端，同时将连麦请求端的网络连接参数发送至连麦目标端，以使连麦目标端可以与连麦请求端建立通信连接，降低了连麦请求端与连麦目标端之间进行连麦视频传输的时延。
在步骤308中，若连麦目标端接收到的测试数据的大小与连麦请求端向连麦目标端发送的测试数据的大小不同，也就是说，连麦请求端发出测试数据后，若测试数据在传输过程中因损坏数据导致测试数据的大小变化，使得连麦请求端发出的测试数据与连麦目标端接收的测试数据不同，则连麦请求端可以重新执行步骤S306。
例如，在连麦表演的场景中，设备A作为连麦请求端，设备B作为连麦目标端。
首先，设备A发送连麦请求至服务器，然后，服务器将设备B的公网IP和端口号发送至设备A；同时，将设备A的公网IP和端口号发送至设备B；其次，设备A发送检测数据至设备B，等待1ms后仍未收到设备B响应检测数据的结果，设备A则重新发送检测数据；再次，设备B接收到该检测数据后，并将已建立通信连接的信息立刻反馈给设备A；接下来，设备A发送测试数据，设备A根据设备B响应测试数据的结果确定连麦视频的视频分辨率为394*443，视频帧率为30，视频传输码率为2000；随后，设备A根据视频分辨率为394*443对连麦表演视频进行编码，并将编码后的连麦表演视频发送至设备B。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中还提供了一种连麦视频处理装置400，参考图4，连麦视频处理装置400可以包括：参数获取模块401，用于获取连麦目标端的网络连接参数；数据测试模块403，用于基于网络连接参数向连麦目标端发送测试数据；视频参数确定模块405，用于根据连麦目标端响应测试数据的结果确定连麦视频参数；视频编码模块407，用于根据连麦视频参数对连麦视频进行编码，将编码后的连麦视频发给连麦目标端。
根据本公开的示例性实施例，参考图5，数据测试模块403可以包括：数据检测单元502和数据获取单元504。
其中，数据检测单元502，用于向连麦目标端发送检测数据；数据获取单元504，用于若能够获取到连麦目标端响应检测数据的结果，则基于网络连接参数向连麦目标端发送测试数据。
根据本公开的示例性实施例，参考图6，视频参数确定模块405可以包括：时间确定单元601和时间判断单元603。
其中，时间确定单元601，用于确定测试数据的传输时间；时间判断单元603，用于若测试数据的传输时间小于预设时间阈值，则根据连麦目标端响应测试数据的结果确定连麦视频参数。
根据本公开的另一示例性实施例，参考图7，相比于连麦视频处理装置400，连麦视频处理装置700还可以包括：连麦时间戳确定模块702和连麦视频校准模块704。
其中，连麦时间戳确定模块702，用于确定连麦视频的时间戳；连麦视频校准模块704，用于基于连麦视频的时间戳和标准时间戳对编码后的连麦视频进行校准。
根据本公开的另一示例性实施例，参考图8，相比于连麦视频处理装置400，连麦视频处理装置800还可以包括：信息获取模块801和参数修改模块803。
其中，信息获取模块801，用于获取连麦目标端对连麦视频进行解码后的反馈信息，其中，反馈信息包含一时间戳，时间戳为连麦目标端对连麦视频解码后的时间戳与标准时间戳的差值；参数修改模块803，用于若时间戳差值大于预设阈值，则根据时间戳差值对连麦视频参数进行修改。
根据本公开的另一示例性实施例，参考图9，相比于连麦视频处理装置400，连麦视频处理装置900还可以包括：直播视频获取模块902和直播视频发送模块904。
其中，直播视频获取模块902，用于结合一视频参数调整结果对编码后的连麦视频进行调整，得到直播视频；直播视频发送模块904，用于将直播视频发送至服务器，以便服务器将直播视频发送给视频观看端。
根据本公开的另一示例性实施例，参考图10，相比于连麦视频处理装置900，连麦视频处理装置1000还可以包括：直播时间戳确定模块1001和直播视频校准模块1003。
其中，直播时间戳确定模块1001，用于确定直播视频的时间戳；直播视频校准模块1003，用于基于直播视频的时间戳和标准时间戳对直播视频进行校准，将校准后的直播视频发送至服务器，以便服务器将校准后的直播视频发送给视频观看端。
上述装置中各模块/单元的具体细节在方法部分的实施例中已经详细说明，因此不再赘述。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图11来描述根据本发明的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130、显示单元1140。
其中，存储单元存储有程序代码，程序代码可以被处理单元1110执行，使得处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1110可以执行如图2所示的步骤S201至步骤S207。
存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(ROM)11203。
存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (9)

1.一种连麦视频处理方法，其特征在于，包括：
获取连麦目标端的网络连接参数；
基于所述网络连接参数向所述连麦目标端发送测试数据；
根据所述连麦目标端响应所述测试数据的结果确定连麦视频参数；
根据所述连麦视频参数对连麦视频进行编码，并结合一视频参数调整结果对编码后的所述连麦视频进行调整，得到直播视频；
将编码后的所述连麦视频发送给所述连麦目标端，并且将所述直播视频发送至服务器，以便所述服务器将所述直播视频发送给视频观看端。
2.根据权利要求1所述的连麦视频处理方法，其特征在于，基于所述网络连接参数向所述连麦目标端发送测试数据包括：
向所述连麦目标端发送检测数据；
若能够获取到所述连麦目标端响应所述检测数据的结果，则基于所述网络连接参数向所述连麦目标端发送测试数据。
3.根据权利要求1所述的连麦视频处理方法，其特征在于，根据所述连麦目标端响应所述测试数据的结果确定连麦视频参数包括：
确定所述测试数据的传输时间；
若所述测试数据的传输时间小于预设时间阈值，则根据所述连麦目标端响应所述测试数据的结果确定连麦视频参数。
4.根据权利要求1所述的连麦视频处理方法，其特征在于，在将编码后的所述连麦视频发送给所述连麦目标端前，所述连麦视频处理方法还包括：
确定所述连麦视频的时间戳；
基于所述连麦视频的时间戳和标准时间戳对编码后的所述连麦视频进行校准。
5.根据权利要求1所述的连麦视频处理方法，其特征在于，所述连麦视频处理方法还包括：
获取所述连麦目标端对所述连麦视频进行解码后的反馈信息，其中，所述反馈信息包含一时间戳差值，所述时间戳差值为所述连麦目标端对所述连麦视频解码后的时间戳与标准时间戳的差值；
若所述时间戳差值大于预设阈值，则根据所述时间戳差值对所述连麦视频参数进行修改。
6.根据权利要求1所述的连麦视频处理方法，其特征在于，所述连麦视频处理方法还包括：
确定所述直播视频的时间戳；
基于所述直播视频的时间戳和标准时间戳对所述直播视频进行校准，将校准后的所述直播视频发送至所述服务器，以便所述服务器将校准后的所述直播视频发送给视频观看端。
7.一种连麦视频处理装置，其特征在于，包括：
获取模块，用于获取连麦目标端的网络连接参数；
发送模块，用于基于所述网络连接参数向所述连麦目标端发送测试数据；
确定参数模块，用于根据所述连麦目标端响应所述测试数据的结果确定连麦视频参数；
编码模块，用于根据所述连麦视频参数对连麦视频进行编码，并且结合一视频参数调整结果对编码后的所述连麦视频进行调整，得到直播视频；以及用于将编码后的连麦视频发给所述连麦目标端，并且将所述直播视频发送至服务器，以便所述服务器将所述直播视频发送给视频观看端。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的连麦视频处理方法。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的连麦视频处理方法。
CN201910894322.8A 2019-09-20 2019-09-20 连麦视频处理方法及装置、存储介质、电子设备 Active CN110602519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910894322.8A CN110602519B (zh) 2019-09-20 2019-09-20 连麦视频处理方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910894322.8A CN110602519B (zh) 2019-09-20 2019-09-20 连麦视频处理方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN110602519A CN110602519A (zh) 2019-12-20
CN110602519B true CN110602519B (zh) 2021-12-10

Family

ID=68861901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910894322.8A Active CN110602519B (zh) 2019-09-20 2019-09-20 连麦视频处理方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN110602519B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010587A (zh) * 2019-12-24 2020-04-14 网易（杭州）网络有限公司 直播控制方法、装置及系统
CN111385349B (zh) * 2020-02-07 2021-07-16 北京达佳互联信息技术有限公司 通信处理方法、装置、终端、服务器及存储介质
CN112003711B (zh) * 2020-07-31 2023-01-20 北京达佳互联信息技术有限公司 连麦方法及装置
CN117440209B (zh) * 2023-12-15 2024-03-01 牡丹江师范学院 一种基于演唱场景的实现方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027048A (zh) * 2017-05-17 2017-08-08 广州市千钧网络科技有限公司 一种直播连麦及信息展示的方法及装置
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法
CN108848391A (zh) * 2018-06-21 2018-11-20 深圳市思迪信息技术股份有限公司 视频直播多人连麦方法及装置
CN108900919A (zh) * 2018-06-29 2018-11-27 乐蜜有限公司 一种直播中的连麦方法、装置、服务器及终端
CN110213609A (zh) * 2019-06-12 2019-09-06 珠海读书郎网络教育有限公司 在网络教育直播中进行连麦直播的方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630739B2 (en) * 2017-06-27 2020-04-21 Atlassian Pty Ltd Parallel peer to peer connection establishment in WebRTC conferencing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027048A (zh) * 2017-05-17 2017-08-08 广州市千钧网络科技有限公司 一种直播连麦及信息展示的方法及装置
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法
CN108848391A (zh) * 2018-06-21 2018-11-20 深圳市思迪信息技术股份有限公司 视频直播多人连麦方法及装置
CN108900919A (zh) * 2018-06-29 2018-11-27 乐蜜有限公司 一种直播中的连麦方法、装置、服务器及终端
CN110213609A (zh) * 2019-06-12 2019-09-06 珠海读书郎网络教育有限公司 在网络教育直播中进行连麦直播的方法、装置及存储介质

Also Published As

Publication number Publication date
CN110602519A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110602519B (zh) 连麦视频处理方法及装置、存储介质、电子设备
EP3562163B1 (en) Audio-video synthesis method and system
US9641559B2 (en) Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogeneous devices
CN108289187B (zh) 网络直播接入视频会议方法及系统
US9118729B2 (en) Method for sharing resource of a videoconference using a video conferencing system
EP3329670B1 (en) Virtual video driver bridge system for multi-source collaboration within a web conferencing system
WO2020220902A1 (zh) 视频资源的传输参数分发方法及装置
CN111050185A (zh) 直播间连麦视频混流方法、存储介质、电子设备及系统
CN101848382A (zh) 一种视频流图像分辨率和码流的调整方法及系统
WO2016192431A1 (zh) 一种实现片源推送的方法、机顶盒及视频服务器
CN113489805B (zh) 一种云桌面系统的对接方法、装置、设备及存储介质
CN112291502B (zh) 信息交互方法、装置、系统和电子设备
CN113612979A (zh) 一种投影方法、电子设备及计算机设备
CN113766270A (zh) 视频播放方法、系统、服务器、终端设备、以及电子设备
CN113286190A (zh) 一种跨网络同屏控制方法、装置和跨网络同屏系统
US20170374319A1 (en) Video image generation system and video image generating method thereof
US20170310932A1 (en) Method and system for sharing content in videoconferencing
WO2015085873A1 (zh) 视频码流的获取方法及装置
CN110996039B (zh) 电子白板共享方法、系统和计算机可读存储介质
CN111385590A (zh) 直播数据处理方法、装置及终端
US20180277136A1 (en) Image-Based Techniques for Audio Content
TW201528821A (zh) 基於網路協議的視頻會議控制系統及方法
CN113573004A (zh) 视频会议处理方法、装置、计算机设备及存储介质
JP2020053904A (ja) データ受信装置、データ配信制御方法、及びデータ配信制御プログラム
CN111614699A (zh) 白板共享方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant