CN107483971A - 一种音视频流的处理方法、服务装置及观看装置 - Google Patents

一种音视频流的处理方法、服务装置及观看装置 Download PDF

Info

Publication number
CN107483971A
CN107483971A CN201710493821.7A CN201710493821A CN107483971A CN 107483971 A CN107483971 A CN 107483971A CN 201710493821 A CN201710493821 A CN 201710493821A CN 107483971 A CN107483971 A CN 107483971A
Authority
CN
China
Prior art keywords
audio
video
synchronized audio
video stream
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710493821.7A
Other languages
English (en)
Inventor
陈奇辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU QIANJUN NETWORK TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
GUANGZHOU QIANJUN NETWORK TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU QIANJUN NETWORK TECHNOLOGY DEVELOPMENT Co Ltd filed Critical GUANGZHOU QIANJUN NETWORK TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201710493821.7A priority Critical patent/CN107483971A/zh
Publication of CN107483971A publication Critical patent/CN107483971A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技术方案提供了一种音视频流的控制方法，应用于音视频流的服务装置，方法包括接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息，接收符合连麦请求的直播装置发送的音视频流，基于音视频流生成与音视频流的数量相等的同步音视频流，发送同步音视频流至观看装置。与现有技术的区别在于，在接收到不同直播装置发送的音视频流后，将其同步处理后，将不同直播装置的同步音视频流发送至观看装置，并不将不同的同步音视频流进行合并，观众可对不同的同步音视频流的画面及语音进行调整，收看直播的自由度高，提升了用户体验感。

Description

一种音视频流的处理方法、服务装置及观看装置
技术领域
本发明涉及流媒体技术领域，更具体地说，涉及一种音视频流处理方法、服务装置及观看装置。
背景技术
现今移动互联网在社交场景的使用越来越广泛，也越来越多花样，有较早前的BBS(Bulletin Board System，电子公告牌装置)这种通过发帖和回帖模式进行非即时性的文字交流和早期QQ只支持文字的即时通讯。再到后来使用语音聊天等。而随时网络的快速发展，带宽的提升，人们开始使用视频来直接聊天。而移动终端普及，更加促使了这种视频化的社交模式的发展，并且延伸出很多以视频聊天为主的社交方式，网络直播就是其中之一。
它将实时的在线视频技术运用到直播上，通过视频，让主播与观众互动。在现有技术中，主播为了活跃直播间气氛，往往会邀请其他直播间的主播一起进行直播，观众可以通过接收后台服务器合并后的音视频流来同时观看多个主播的直播，但是，接收的音视频流中，每个主播的直播画面大小及位置都是固定的，观众无法对单个主播的画面及语音进行调整，收看直播的自由度低，用户体验感差。
发明内容
有鉴于此，本发明的目的在于提供一种音视频流的控制方法，与现有技术的区别在于，在接收到不同直播装置发送的音视频流后，将其同步处理后，将不同直播装置的同步音视频流发送至观看装置，并不将不同的同步音视频流进行合并，观众可对不同的同步音视频流的画面及语音进行调整，收看直播的自由度高，提升了用户体验感。
为实现上述目的，本发明提供如下技术方案：
一种音视频流的控制方法，应用于音视频流的服务装置，所述方法包括：
接收至少一个直播装置发送的连麦请求，所述连麦请求包括连麦的直播装置的身份信息；
接收符合所述连麦请求的直播装置发送的音视频流；
基于所述音视频流生成与所述音视频流的数量相等的同步音视频流；
发送所述同步音视频流至观看装置。
优选地，所述发送所述同步音视频流至观看装置包括：
基于所述同步音视频流生成连麦信息，发送所述连麦信息至所述观看装置；
发送所述同步音视频流至内容分发网络，所述内容分发网络用于发送所述同步音视频流至所述观看装置。
优选地，若某一同步音视频流并非基于某一直播装置发送的音视频流生成，则所述某一同步音视频流为所述某一直播装置的远端同步音视频流，所述方法还包括：
发送所有所述远端同步音视频流至所述直播装置。
一种音视频流的控制方法，应用于音视频流的观看装置，所述方法包括：
接收服务装置发送的同步音视频流；
调用显示状态信息；
基于所述显示状态信息显示所述同步音视频流。
优选地，所述同步音视频流包括主同步音视频流及辅同步音视频流，所述接收所述同步音视频流包括：
发送主请求至内容分发网络；
接收所述内容分发网络发送的所述主同步音视频流；
接收所述服务装置发送的连麦信息，基于所述连麦信息生成辅请求；
发送所述辅请求至所述内容分发网络；
接收所述内容分发网络发送的辅同步音视频流。
一种音视频流的服务装置，所述装置包括：第一传输模块、第二传输模块及同步模块，其中：
所述第一传输模块用于接收至少一个直播装置发送的连麦请求，所述连麦请求包括连麦的直播装置的身份信息；
所述第二传输模块用于接收符合所述连麦请求的直播装置发送的音视频流；
所述同步模块用于基于所述音视频流生成与所述音视频流的数量相等的同步音视频流；
所述第二传输模块还用于发送所述同步音视频流至观看装置。
优选地，所述第二传输模块包括第一生成单元及第一传输单元，其中：
所述第一生成单元用于基于所述同步音视频流生成连麦信息，所述第一发送单元用于发送所述连麦信息至所述观看装置；
所述第一发送单元还用于发送所述同步音视频流至内容分发网络，所述内容分发网络用于发送所述同步音视频流至所述观看装置。
优选地，若某一同步音视频流并非基于某一直播装置发送的音视频流生成，则所述某一同步音视频流为所述某一直播装置的远端同步音视频流，在所述装置中：
所述第二传输模块还用于发送所有所述远端同步音视频流至所述直播装置。
一种音视频流的观看装置，所述装置包括第三传输模块、调用模块及显示模块，其中：
所述第三传输模块用于接收服务装置发送的同步音视频流；
所述调用模块用于调用显示状态信息；
所述显示模块用于基于所述显示状态信息显示所述同步音视频流。
优选地，所述同步音视频流包括主同步音视频流及辅同步音视频流，所述第三传输模块包括第二传输单元及第二生成单元，其中：
所述第二传输单元用于发送主请求至内容分发网络；
所述第二传输单元还用于接收所述内容分发网络发送的所述主同步音视频流；
所述第二传输单元还用于接收所述服务装置发送的连麦信息，所述第二生成单元用于基于所述连麦信息生成辅请求；
所述第二传输单元还用于发送所述辅请求至所述内容分发网络；
所述第二传输单元还用于接收所述内容分发网络发送的辅同步音视频流。
综上所述，本技术方案提供了一种音视频流的控制方法，应用于音视频流的服务装置，方法包括接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息，接收符合连麦请求的直播装置发送的音视频流，基于音视频流生成与音视频流的数量相等的同步音视频流，发送同步音视频流至观看装置。与现有技术的区别在于，在接收到不同直播装置发送的音视频流后，将其同步处理后，将不同直播装置的同步音视频流发送至观看装置，并不将不同的同步音视频流进行合并，观众可对不同的同步音视频流的画面及语音进行调整，收看直播的自由度高，提升了用户体验感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明公开的一种音视频流的控制方法的实施例1的流程图；
图2为本发明公开的另一种音视频流的控制方法的实施例2的流程图；
图3为本发明公开的另一种音视频流的控制方法的实施例3的流程图；
图4为本发明公开的另一种音视频流的控制方法的实施例4的流程图；
图5为本发明公开的一种音视频流的服务装置的实施例1的结构示意图；
图6为本发明公开的另一种音视频流的服务装置的实施例2的结构示意图；
图7为本发明公开的一种音视频流的观看装置的实施例1的结构示意图；
图8为本发明公开的另一种音视频流的观看装置的实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要注意的是，本发明中提到的音视频流包括音频流、视频流及音视频流。
如图1所示，为本发明公开的一种音视频流的控制方法的实施例1的结构示意图，应用于音视频流的服务装置，所述方法包括：
S101、接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息；
连麦请求可以是所有参与连麦的直播装置中的任意一个或多个直播装置发起的，当接收到连麦请求后，可基于连麦请求生成一个连麦通知，并将连麦通知发送给所有参与连麦的直播装置。此步骤可利用WebSocket技术实现，WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。需要注意的是，生成连麦通知并发送的步骤不是必要的，例如两个直播装置连麦且均发送连麦请求，则可直接进行后续的连麦步骤。
S102、接收符合连麦请求的直播装置发送的音视频流；
连麦请求中包括的直播装置的身份信息可以为参与连麦的直播装置的用户名和/或IP地址，因此，可接收与身份信息相同的用户名和/或IP地址相符的直播装置发送的音视频流。
S103、基于音视频流生成与音视频流的数量相等的同步音视频流；
为保证观众观看的不同的音视频流的画面与声音同步，需要对音视频流进行同步处理生成同步音视频流。例如，可对音视频流进行时间标记，观看装置在播放不同的同步音视频流时，当前播放的同步音视频流的画面及声音的时间标记应该是相同的。
S104、发送同步音视频流至观看装置；
当观众观看参与连麦的直播装置中任意一个直播装置的直播时，发送所有同步音视频流至观众的观看装置。
本技术方案提供了一种音视频流的控制方法，应用于音视频流的服务装置，方法包括接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息，接收符合连麦请求的直播装置发送的音视频流，基于音视频流生成与音视频流的数量相等的同步音视频流，发送同步音视频流至观看装置。与现有技术的区别在于，在接收到不同直播装置发送的音视频流后，将其同步处理后，将不同直播装置的同步音视频流发送至观看装置，并不将不同的同步音视频流进行合并，观众可对不同的同步音视频流的画面及语音进行调整，收看直播的自由度高，提升了用户体验感。
如图2所示，为本发明公开的另一种音视频流的控制方法的实施例2的结构示意图，应用于音视频流的服务装置，所述方法包括：
S201、接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息；
连麦请求可以是所有参与连麦的直播装置中的任意一个或多个直播装置发起的，当接收到连麦请求后，可基于连麦请求生成一个连麦通知，并将连麦通知发送给所有参与连麦的直播装置。此步骤可利用WebSocket技术实现，WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。需要注意的是，生成连麦通知并发送的步骤不是必要的，例如两个直播装置连麦且均发送连麦请求，则可直接进行后续的连麦步骤。
S202、接收符合连麦请求的直播装置发送的音视频流；
连麦请求中包括的直播装置的身份信息可以为参与连麦的直播装置的用户名和/或IP地址，因此，可接收与身份信息相同的用户名和/或IP地址相符的直播装置发送的音视频流。
S203、基于同步音视频流生成连麦信息，发送连麦信息至观看装置；
连麦信息可包括所有同步音视频流的用户名和/或地址。
S204、发送同步音视频流至内容分发网络，内容分发网络用于发送同步音视频流至观看装置；
CDN(Content Delivery Network，内容分发网络)。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
将同步音视频流发送至内容分发网络，可便于观看装置下载同步音视频流。
为进一步优化本技术方案，若某一同步音视频流并非基于某一直播装置发送的音视频流生成，则此同步音视频流为此直播装置的远端同步音视频流，方法还包括：
S205、发送所有远端同步音视频流至直播装置；
可将与直播装置连麦的其他直播装置的画面及语音发送至此直播装置，从而达到主播间直接通过音视频相互交流的目的，提高了直播的互动性。
如图3所示，为本发明公开的另一种音视频流的控制方法的实施例3的结构示意图，应用于音视频流的观看装置，所述方法包括：
S301、接收服务装置发送的同步音视频流；
观众通过观看装置进入相应的直播间后，可接收服务装置发送的与此直播间对应的同步音视频流及与此直播间连麦的其他直播间对应的同步音视频流。
S302、调用显示状态信息；
接收到同步音视频流后，调用观看装置的状态信息，例如屏幕是横放还是竖放。
S303、基于显示状态信息显示同步音视频流；
Autolayout(自动布局)：主要是iOS客户端的一种布局技术，专门用来布局UI界面的。实现屏幕适配，这样UI可以在不同尺寸的手机屏幕上，并且在横竖屏间安装指定的约束显示。解决了不同分辨率和屏幕尺寸下view的适配问题，另外也简化了旋转时view的位置的定义，原来在底部之上10像素居中的view，不论在旋转屏幕或是更换设备的时候，始终还在底部之上10像素居中的位置，不会发生变化。
UIView：表示屏幕上的一块矩形区域，iOS中几乎所有可视化控件都是集成于它。负责渲染区域的内容。
本步骤主要基于Autolayout+UIView技术实现。
观看装置的状态不同时，显示同步音视频流的方式也不同。下面以接收到两个同步音视频流举例，当屏幕为竖屏时，两个同步音视频流可以以画中画的方式显示，当屏幕为横屏时，两个同步视频流可以以左右分屏的方式显示。除上述显示方法外，因本发明中接收到的同步音视频流是分开的，因此可以对任意同步音视频流的画面及语音进行调控，例如只显示某同步视频流的画面，或只播放某同步音视频流的语音，观众的操作自由度高。
如图4所示，为本发明公开的另一种音视频流的控制方法的实施例4的结构示意图，应用于音视频流的观看装置，所述方法包括：
S401、发送主请求至内容分发网络；
观众选择进入某个直播间后，观看装置发送主请求至内容分发网络，值得一提的是，若未使用内容分发网络，则直接与服务装置进行沟通连接，内容分发网络只是对本发明提供的方法的一种优化，并非必不可少。主请求对应主同步音视频流，即为观众进入的直播间的音视频流，辅请求对应辅同步音视频流，即为与观众进入的直播间连麦的直播间的音视频流。
S402、接收内容分发网络发送的主同步音视频流；
内容分发网络接收到主请求后发送主同步音视频流至观看装置。
S403、接收服务装置发送的连麦信息，基于连麦信息生成辅请求；
观看装置在运行时会接收到服务装置发送的连麦信息，若用户进入直播间后直播间进行连麦，则此时服务装置发送的连麦信息可以为信息字典的status字段，即：
status＝＝1就是处于连麦状态。辅请求可包括信息字典的roomid，即包括辅同步音视频流的下载地址。
S404、发送辅请求至内容分发网络；
发送辅请求至内容分发网络，请求下载辅同步音视频流。
S405、接收内容分发网络发送的辅同步音视频流；
请求及下载同步音视频流可基于HTTP接口实现。
S406、调用显示状态信息；
接收到同步音视频流后，调用观看装置的状态信息，例如屏幕是横放还是竖放。
S407、基于显示状态信息显示同步音视频流；
Autolayout(自动布局)：主要是iOS客户端的一种布局技术，专门用来布局UI界面的。实现屏幕适配，这样UI可以在不同尺寸的手机屏幕上，并且在横竖屏间安装指定的约束显示。解决了不同分辨率和屏幕尺寸下view的适配问题，另外也简化了旋转时view的位置的定义，原来在底部之上10像素居中的view，不论在旋转屏幕或是更换设备的时候，始终还在底部之上10像素居中的位置，不会发生变化。
UIView：表示屏幕上的一块矩形区域，iOS中几乎所有可视化控件都是集成于它。负责渲染区域的内容。
本步骤主要基于Autolayout+UIView技术实现。
观看装置的状态不同时，显示同步音视频流的方式也不同。下面以接收到两个同步音视频流举例，当屏幕为竖屏时，两个同步音视频流可以以画中画的方式显示，当屏幕为横屏时，两个同步视频流可以以左右分屏的方式显示。除上述显示方法外，因本发明中接收到的同步音视频流是分开的，因此可以对任意同步音视频流的画面及语音进行调控，例如只显示某同步视频流的画面，或只播放某同步音视频流的语音，观众的操作自由度高。
如图5所示，为本发明公开的一种音视频流的服务装置的实施例1的结构示意图，所述装置包括：第一传输模块101、第二传输模块102及同步模块103，其中：
第一传输模块101用于接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息；
连麦请求可以是所有参与连麦的直播装置中的任意一个或多个直播装置发起的，当接收到连麦请求后，可基于连麦请求生成一个连麦通知，并将连麦通知发送给所有参与连麦的直播装置。此步骤可利用WebSocket技术实现，WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。需要注意的是，生成连麦通知并发送的步骤不是必要的，例如两个直播装置连麦且均发送连麦请求，则可直接进行后续的连麦步骤。
第二传输模块102用于接收符合连麦请求的直播装置发送的音视频流；
连麦请求中包括的直播装置的身份信息可以为参与连麦的直播装置的用户名和/或IP地址，因此，可接收与身份信息相同的用户名和/或IP地址相符的直播装置发送的音视频流。
同步模块103用于基于音视频流生成与音视频流的数量相等的同步音视频流；
为保证观众观看的不同的音视频流的画面与声音同步，需要对音视频流进行同步处理生成同步音视频流。例如，可对音视频流进行时间标记，观看装置在播放不同的同步音视频流时，当前播放的同步音视频流的画面及声音的时间标记应该是相同的。
第二传输模块102还用于发送同步音视频流至观看装置；
当观众观看参与连麦的直播装置中任意一个直播装置的直播时，发送所有同步音视频流至观众的观看装置。
本技术方案提供了一种音视频流的服务装置，其工作原理包括接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息，接收符合连麦请求的直播装置发送的音视频流，基于音视频流生成与音视频流的数量相等的同步音视频流，发送同步音视频流至观看装置。与现有技术的区别在于，在接收到不同直播装置发送的音视频流后，将其同步处理后，将不同直播装置的同步音视频流发送至观看装置，并不将不同的同步音视频流进行合并，观众可对不同的同步音视频流的画面及语音进行调整，收看直播的自由度高，提升了用户体验感。
如图6所示，为本发明公开的另一种音视频流的服务装置的实施例2的结构示意图，所述装置包括：第一传输模块201、第二传输模块202及同步模块203，第二传输模块202包括第一生成单元205及第一传输单元204，其中：
第一传输模块201用于接收至少一个直播装置发送的连麦请求，连麦请求包括连麦的直播装置的身份信息；
连麦请求可以是所有参与连麦的直播装置中的任意一个或多个直播装置发起的，当接收到连麦请求后，可基于连麦请求生成一个连麦通知，并将连麦通知发送给所有参与连麦的直播装置。此步骤可利用WebSocket技术实现，WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。需要注意的是，生成连麦通知并发送的步骤不是必要的，例如两个直播装置连麦且均发送连麦请求，则可直接进行后续的连麦步骤。
第二传输模块202用于接收符合连麦请求的直播装置发送的音视频流；
连麦请求中包括的直播装置的身份信息可以为参与连麦的直播装置的用户名和/或IP地址，因此，可接收与身份信息相同的用户名和/或IP地址相符的直播装置发送的音视频流。
同步模块203用于基于音视频流生成与音视频流的数量相等的同步音视频流；
为保证观众观看的不同的音视频流的画面与声音同步，需要对音视频流进行同步处理生成同步音视频流。例如，可对音视频流进行时间标记，观看装置在播放不同的同步音视频流时，当前播放的同步音视频流的画面及声音的时间标记应该是相同的。
第一生成单元205用于基于同步音视频流生成连麦信息，第一发送单元用于发送连麦信息至观看装置；
连麦信息可包括所有同步音视频流的用户名和/或地址。
第一发送单元还用于发送同步音视频流至内容分发网络，内容分发网络用于发送同步音视频流至观看装置；
CDN(Content Delivery Network，内容分发网络)。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
将同步音视频流发送至内容分发网络，可便于观看装置下载同步音视频流。
为进一步优化本技术方案，若某一同步音视频流并非基于某一直播装置发送的音视频流生成，则此同步音视频流为此直播装置的远端同步音视频流，方法还包括：
第二传输模块202还用于发送所有远端同步音视频流至直播装置；
可将与直播装置连麦的其他直播装置的画面及语音发送至此直播装置，从而达到主播间直接通过音视频相互交流的目的，提高了直播的互动性。
如图7所示，为本发明公开的一种音视频流的观看装置的实施例3的结构示意图，所述装置包括第三传输模块301、调用模块302及显示模块303，其中：
第三传输模块301用于接收服务装置发送的同步音视频流；
观众通过观看装置进入相应的直播间后，可接收服务装置发送的与此直播间对应的同步音视频流及与此直播间连麦的其他直播间对应的同步音视频流。
调用模块302用于调用显示状态信息；
接收到同步音视频流后，调用观看装置的状态信息，例如屏幕是横放还是竖放。
显示模块303用于基于显示状态信息显示同步音视频流；
Autolayout(自动布局)：主要是iOS客户端的一种布局技术，专门用来布局UI界面的。实现屏幕适配，这样UI可以在不同尺寸的手机屏幕上，并且在横竖屏间安装指定的约束显示。解决了不同分辨率和屏幕尺寸下view的适配问题，另外也简化了旋转时view的位置的定义，原来在底部之上10像素居中的view，不论在旋转屏幕或是更换设备的时候，始终还在底部之上10像素居中的位置，不会发生变化。
UIView：表示屏幕上的一块矩形区域，iOS中几乎所有可视化控件都是集成于它。负责渲染区域的内容。
本步骤主要基于Autolayout+UIView技术实现。
观看装置的状态不同时，显示同步音视频流的方式也不同。下面以接收到两个同步音视频流举例，当屏幕为竖屏时，两个同步音视频流可以以画中画的方式显示，当屏幕为横屏时，两个同步视频流可以以左右分屏的方式显示。除上述显示方法外，因本发明中接收到的同步音视频流是分开的，因此可以对任意同步音视频流的画面及语音进行调控，例如只显示某同步视频流的画面，或只播放某同步音视频流的语音，观众的操作自由度高。
如图8所示，为本发明公开的另一种音视频流的观看装置的实施例4的结构示意图，所述装置包括第三传输模块403、调用模块404及显示模块405，第三传输模块403包括第二传输单元401及第二生成单元402，其中：
第二传输单元401用于发送主请求至内容分发网络；
观众选择进入某个直播间后，观看装置发送主请求至内容分发网络，值得一提的是，若未使用内容分发网络，则直接与服务装置进行沟通连接，内容分发网络只是对本发明提供的方法的一种优化，并非必不可少。主请求对应主同步音视频流，即为观众进入的直播间的音视频流，辅请求对应辅同步音视频流，即为与观众进入的直播间连麦的直播间的音视频流。
第二传输单元401还用于接收内容分发网络发送的主同步音视频流；
内容分发网络接收到主请求后发送主同步音视频流至观看装置。
第二传输单元401还用于接收服务装置发送的连麦信息，第二生成单元402用于基于连麦信息生成辅请求；
观看装置在运行时会接收到服务装置发送的连麦信息，若用户进入直播间后直播间进行连麦，则此时服务装置发送的连麦信息可以为信息字典的status字段，即：
status＝＝1就是处于连麦状态。辅请求可包括信息字典的roomid，即包括辅同步音视频流的下载地址。
第二传输单元401还用于发送辅请求至内容分发网络；
发送辅请求至内容分发网络，请求下载辅同步音视频流。
第二传输单元401还用于接收内容分发网络发送的辅同步音视频流；
请求及下载同步音视频流可基于HTTP接口实现。
调用模块404用于调用显示状态信息；
接收到同步音视频流后，调用观看装置的状态信息，例如屏幕是横放还是竖放。
显示模块405用于基于显示状态信息显示同步音视频流；
Autolayout(自动布局)：主要是iOS客户端的一种布局技术，专门用来布局UI界面的。实现屏幕适配，这样UI可以在不同尺寸的手机屏幕上，并且在横竖屏间安装指定的约束显示。解决了不同分辨率和屏幕尺寸下view的适配问题，另外也简化了旋转时view的位置的定义，原来在底部之上10像素居中的view，不论在旋转屏幕或是更换设备的时候，始终还在底部之上10像素居中的位置，不会发生变化。
UIView：表示屏幕上的一块矩形区域，iOS中几乎所有可视化控件都是集成于它。负责渲染区域的内容。
本步骤主要基于Autolayout+UIView技术实现。
观看装置的状态不同时，显示同步音视频流的方式也不同。下面以接收到两个同步音视频流举例，当屏幕为竖屏时，两个同步音视频流可以以画中画的方式显示，当屏幕为横屏时，两个同步视频流可以以左右分屏的方式显示。除上述显示方法外，因本发明中接收到的同步音视频流是分开的，因此可以对任意同步音视频流的画面及语音进行调控，例如只显示某同步视频流的画面，或只播放某同步音视频流的语音，观众的操作自由度高。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种音视频流的控制方法，其特征在于，应用于音视频流的服务装置，所述方法包括：
接收至少一个直播装置发送的连麦请求，所述连麦请求包括连麦的直播装置的身份信息；
接收符合所述连麦请求的直播装置发送的音视频流；
基于所述音视频流生成与所述音视频流的数量相等的同步音视频流；
发送所述同步音视频流至观看装置。
2.如权利要求1所述的方法，其特征在于，所述发送所述同步音视频流至观看装置包括：
基于所述同步音视频流生成连麦信息，发送所述连麦信息至所述观看装置；
发送所述同步音视频流至内容分发网络，所述内容分发网络用于发送所述同步音视频流至所述观看装置。
3.如权利要求1或2所述的方法，其特征在于，若某一同步音视频流并非基于某一直播装置发送的音视频流生成，则所述某一同步音视频流为所述某一直播装置的远端同步音视频流，所述方法还包括：
发送所有所述远端同步音视频流至所述直播装置。
4.一种音视频流的控制方法，其特征在于，应用于音视频流的观看装置，所述方法包括：
接收服务装置发送的同步音视频流；
调用显示状态信息；
基于所述显示状态信息显示所述同步音视频流。
5.如权利要求4所述的控制方法，其特征在于，所述同步音视频流包括主同步音视频流及辅同步音视频流，所述接收所述同步音视频流包括：
发送主请求至内容分发网络；
接收所述内容分发网络发送的所述主同步音视频流；
接收所述服务装置发送的连麦信息，基于所述连麦信息生成辅请求；
发送所述辅请求至所述内容分发网络；
接收所述内容分发网络发送的辅同步音视频流。
6.一种音视频流的服务装置，其特征在于，所述装置包括：第一传输模块、第二传输模块及同步模块，其中：
所述第一传输模块用于接收至少一个直播装置发送的连麦请求，所述连麦请求包括连麦的直播装置的身份信息；
所述第二传输模块用于接收符合所述连麦请求的直播装置发送的音视频流；
所述同步模块用于基于所述音视频流生成与所述音视频流的数量相等的同步音视频流；
所述第二传输模块还用于发送所述同步音视频流至观看装置。
7.如权利要求6所述的装置，其特征在于，所述第二传输模块包括第一生成单元及第一传输单元，其中：
所述第一生成单元用于基于所述同步音视频流生成连麦信息，所述第一发送单元用于发送所述连麦信息至所述观看装置；
所述第一发送单元还用于发送所述同步音视频流至内容分发网络，所述内容分发网络用于发送所述同步音视频流至所述观看装置。
8.如权利要求6或7所述的装置，其特征在于，若某一同步音视频流并非基于某一直播装置发送的音视频流生成，则所述某一同步音视频流为所述某一直播装置的远端同步音视频流，在所述装置中：
所述第二传输模块还用于发送所有所述远端同步音视频流至所述直播装置。
9.一种音视频流的观看装置，其特征在于，所述装置包括第三传输模块、调用模块及显示模块，其中：
所述第三传输模块用于接收服务装置发送的同步音视频流；
所述调用模块用于调用显示状态信息；
所述显示模块用于基于所述显示状态信息显示所述同步音视频流。
10.如权利要求9所述的装置，其特征在于，所述同步音视频流包括主同步音视频流及辅同步音视频流，所述第三传输模块包括第二传输单元及第二生成单元，其中：
所述第二传输单元用于发送主请求至内容分发网络；
所述第二传输单元还用于接收所述内容分发网络发送的所述主同步音视频流；
所述第二传输单元还用于接收所述服务装置发送的连麦信息，所述第二生成单元用于基于所述连麦信息生成辅请求；
所述第二传输单元还用于发送所述辅请求至所述内容分发网络；
所述第二传输单元还用于接收所述内容分发网络发送的辅同步音视频流。
CN201710493821.7A 2017-06-26 2017-06-26 一种音视频流的处理方法、服务装置及观看装置 Pending CN107483971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710493821.7A CN107483971A (zh) 2017-06-26 2017-06-26 一种音视频流的处理方法、服务装置及观看装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710493821.7A CN107483971A (zh) 2017-06-26 2017-06-26 一种音视频流的处理方法、服务装置及观看装置

Publications (1)

Publication Number Publication Date
CN107483971A true CN107483971A (zh) 2017-12-15

Family

ID=60594476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710493821.7A Pending CN107483971A (zh) 2017-06-26 2017-06-26 一种音视频流的处理方法、服务装置及观看装置

Country Status (1)

Country Link
CN (1) CN107483971A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810744A (zh) * 2021-09-17 2021-12-17 北京快来文化传播集团有限公司 商务直播连麦系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581358A (zh) * 2015-01-20 2015-04-29 卡内基投资科技有限公司 一种允许同时录制多个精彩片段的方法
US20150304605A1 (en) * 2009-12-07 2015-10-22 Anthony Hartman Interactive video system
CN105828093A (zh) * 2016-03-21 2016-08-03 乐视网信息技术（北京）股份有限公司 一种网络视频直播方法及装置
CN106254899A (zh) * 2016-08-16 2016-12-21 网宿科技股份有限公司 一种直播连麦的控制方法和系统
CN106658030A (zh) * 2016-12-30 2017-05-10 上海寰视网络科技有限公司 一种包含单路音频多路视频的复合视频的播放方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304605A1 (en) * 2009-12-07 2015-10-22 Anthony Hartman Interactive video system
CN104581358A (zh) * 2015-01-20 2015-04-29 卡内基投资科技有限公司 一种允许同时录制多个精彩片段的方法
CN105828093A (zh) * 2016-03-21 2016-08-03 乐视网信息技术（北京）股份有限公司 一种网络视频直播方法及装置
CN106254899A (zh) * 2016-08-16 2016-12-21 网宿科技股份有限公司 一种直播连麦的控制方法和系统
CN106658030A (zh) * 2016-12-30 2017-05-10 上海寰视网络科技有限公司 一种包含单路音频多路视频的复合视频的播放方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810744A (zh) * 2021-09-17 2021-12-17 北京快来文化传播集团有限公司 商务直播连麦系统和方法
CN113810744B (zh) * 2021-09-17 2023-03-21 北京快来文化传播集团有限公司 商务直播连麦系统和方法

Similar Documents

Publication Publication Date Title
US11457283B2 (en) System and method for multi-user digital interactive experience
CN106254899B (zh) 一种直播连麦的控制方法和系统
CN103338348B (zh) 一种网络音视频会议的实现方法、系统和服务器
CN105763832B (zh) 一种视频互动、控制方法及装置
CN107027048A (zh) 一种直播连麦及信息展示的方法及装置
CN105491393A (zh) 多人视频直播业务的实现方法
CN102342066A (zh) 实时多媒体流处理带宽管理
US11889159B2 (en) System and method for multi-user digital interactive experience
JP2003115889A (ja) マルチメディア情報提供方法及び装置
KR20140098573A (ko) 영상 회의 서비스 제공 장치 및 방법
CN105656910A (zh) 媒体传输服务器、媒体传输系统、用户终端和媒体传输方法
CN105338288A (zh) 一种多人网络视频会话方法及系统
CN104918132A (zh) 一种智能电视音视频通讯的方法及系统
KR20140103156A (ko) 멀티미디어 서비스를 이용하기 위한 시스템, 장치 및 방법
TWI644565B (zh) 視訊影像處理方法及其相關系統
WO2014177082A1 (zh) 一种视频会议中处理视频的方法及终端
CN107786415A (zh) 一种业务处理方法及相关设备与系统
KR20070019898A (ko) 대화식 멀티미디어 인터페이스 및 디스플레이
US8295470B2 (en) System and procedure for commercial communications
CN107483971A (zh) 一种音视频流的处理方法、服务装置及观看装置
CN112714131A (zh) 一种跨平台连麦的方法、装置、存储介质及电子设备
CN103036882A (zh) P2p网络媒体话机终端
KR20030072482A (ko) 셋탑박스를 이용한 인터넷 방송 서비스 시스템 및 방법
KR101041989B1 (ko) Ｉｐｔｖ에서의 채널 서비스 시스템 및 방법
CN110740337B (zh) 直播播放方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication