CN115190340A - 直播数据的传输方法、直播设备和介质 - Google Patents

直播数据的传输方法、直播设备和介质 Download PDF

Info

Publication number
CN115190340A
CN115190340A CN202110358189.1A CN202110358189A CN115190340A CN 115190340 A CN115190340 A CN 115190340A CN 202110358189 A CN202110358189 A CN 202110358189A CN 115190340 A CN115190340 A CN 115190340A
Authority
CN
China
Prior art keywords
live
data
electronic device
video
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110358189.1A
Other languages
English (en)
Other versions
CN115190340B (zh
Inventor
黄河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN202110358189.1A priority Critical patent/CN115190340B/zh
Publication of CN115190340A publication Critical patent/CN115190340A/zh
Application granted granted Critical
Publication of CN115190340B publication Critical patent/CN115190340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate

Abstract

本申请涉及一种直播数据的传输方法、直播设备和介质，直播数据的传输方法包括：第一电子设备根据刷新频率对向第二电子设备传输的直播数据进行分类，得到多个类型不同数据子部；第一电子设备采用不同的传输方式向第二电子设备传输类型不同的数据子部，其中，数据子部的传输方式与数据子部的刷新频率相关。通过本申请的方法，直播设备能够将屏幕内的直播数据划分为不同的类型，对于不同类型的直播数据通过不同的传输方式发送给接收设备。同时，直播设备还能够实时地调整直播数据的传输方式。

Description

直播数据的传输方法、直播设备和介质
技术领域
本申请涉及移动终端领域的通信技术。尤其涉及一种直播数据的传输方法、直播设备和介质。
背景技术
在现有的视频直播的领域中，直播设备会将其屏幕中的直播数据作为一个整体通过编码的方式生成对应的视频流，然后将该视频流发送给接收设备，接收设备对视频流解码后在自身的屏幕中播放该直播数据。例如，以直播数据为直播内容为例，如图1所示，以在线授课为例，直播设备200的屏幕中显示授课的直播内容。直播过程中视频流的传输可以通过如图2中描述的步骤S1至S6实现，包括：S1：直播人员100在直播设备200上准备完毕直播内容后，开启直播。S2：直播设备200获取当前屏幕内的直播内容。S3：直播设备200将直播内容通过H.264方式编码成视频流。S4：直播设备200将视频流发送给接收设备300。S5：接收设备300对视频流进行解码后，S6：接收设备300在自身的屏幕内播放直播内容。
但是，直播设备200需要较大的网络带宽才能将其屏幕中的直播内容作为整体发送给接收设备300，因此需要直播设备200处于较好的网络环境中，同时，如果接收设备300所处的网络环境较差，则接收设备300在播放直播内容的时候，会经常出现卡顿，影响直播的效果。
发明内容
本申请的目的在于提供一种直播数据的传输方法、直播设备和介质。通过本申请的方法，在直播过程中，直播设备能够将屏幕内的直播数据划分为不同的类型，对于不同类型的直播数据通过不同的传输方式发送给接收设备。同时，在接收设备的网络带宽不佳的情况下，直播设备还能够实时地调整直播数据的传输方式。这样，可以降低直播过程中对网络带宽的消耗，带来更好的直播体验。
本申请的第一方面提供了一种直播数据的传输方法，包括：
第一电子设备根据刷新频率对向第二电子设备传输的直播数据进行分类，得到多个类型不同数据子部；
第一电子设备采用不同的传输方式向第二电子设备传输类型不同的数据子部，其中，数据子部的传输方式与数据子部的刷新频率相关。
在上述第一方面的一种可能的实现中，数据子部的类型包括：视频数据子部、文件数据子部和书写数据子部。
即在本申请的实施例中，例如，第一电子设备可以是平板电脑，第二电子设备可以是手机。老师通过第一电子设备进行在线授课，直播数据可以是在线授课的直播数据。第一电子设备可以根据在线授课的直播数据对应的刷新频率将直播数据分类为视频数据子部、文件数据子部和书写数据子部。其中，视频数据子部可以是老师在线授课过程中的直播视频，文件数据子部可以是直播文档，书写数据子部可以是针对直播文档书写的直播笔记。这里的刷新频率是指直播数据的每秒传输帧数，就是指每秒内直播数据刷新的画面数。
在上述第一方面的一种可能的实现中，多个类型的数据子部显示在第一电子设备的屏幕上的不同窗口中。
即在本申请的实施例中，视频数据子部，也就是直播视频，可以显示在第一电子设备的屏幕内的直播视频窗口内；文件数据子部，也就是直播文档，可以显示在第一电子设备的屏幕内的直播文档窗口内；书写数据子部，也就是直播笔记，可以显示在第一电子设备的屏幕内的直播笔记窗口内。
在上述第一方面的一种可能的实现中，数据子部的刷新频率为数据子部对应的窗口的刷新频率，数据子部的传输频率低于或者等于窗口的刷新频率。
即在本申请的实施例中，第一电子设备可以根据直播视频窗口，直播文档窗口以及直播笔记窗口的刷新频率来确定直播视频，直播文档以及直播笔记对应的刷新频率。例如，在第一电子设备确定窗口中包含视频播放类视图，即VideoView，的情况下，则第一电子设备确定该窗口中包含直播视频。在直播效果不佳的情况下，第一电子设备还可以降低数据子部的传输频率，向第二电子设备发送数据子部。
在上述第一方面的一种可能的实现中，文件数据子部为在第一电子设备打开的文件，视频数据子部为第一电子设备实时采集的视频。
在上述第一方面的一种可能的实现中，视频数据子部的窗口悬浮于文件数据子部的窗口之上或视频数据子部的窗口与文件数据子部的窗口并列显示。
即在本申请的实施例中，直播视频窗口和直播文档窗口同时显示在第一电子设备的屏幕中，并且，直播视频窗口和直播文档窗口可以并列显示，例如，直播视频窗口和直播文档窗口可以以1：2的比例显示在第一电子设备的屏幕中。或者，直播文档窗口在第一电子设备的屏幕中全屏显示，同时，直播视频窗口悬浮于直播文档窗口之上。
在上述第一方面的一种可能的实现中，书写数据子部为第一电子设备检测用户在屏幕上的触碰操作所产生的触碰轨迹数据。
即在本申请的实施例中，例如，书写数据子部可以是老师使用电容笔在第一电子设备的屏幕上进行书写的过程中，产生的书写轨迹矢量数据。
在上述第一方面的一种可能的实现中，视频数据子部的传输方式为：
第一电子设备通过视频流的方式向第二电子设备发送视频数据子部；并且
文件数据子部的传输方式为：
第一电子设备在检测到文件数据子部的窗口中的显示内容发生变化的情况下，向第二电子设备发送变化后的显示内容；并且
书写数据子部的传输方式为：
第一电子设备实时向第二电子设备发送在书写数据子部的窗口中检测到的由用户触碰所产生的触碰轨迹数据。
即在本申请的实施例中，例如，第一电子设备可以使用1080p@60fps的视频流的编码方式发送视频数据子部。第一电子设备可以实时地监控文件数据子部，在第一电子设备确定文件数据子部的相邻两个图像帧的内容不同时，第一电子设备可以变化后的文件数据子部发送给第二电子设备。在第一电子设备检测到产生书写数据子部后，第一电子设备可以不间断地将书写数据子部发送给第二电子设备。
在上述第一方面的一种可能的实现中，数据子部的类型包括：对话数据子部、商品信息数据子部和视频数据子部。
在上述第一方面的一种可能的实现中，对话数据子部为第一电子设备的屏幕中显示的对话记录，商品信息数据子部为第一电子设备的屏幕中显示的商品信息，视频数据子部为第一电子设备实时采集的视频。
即在本申请的实施例中，在直播卖货的过程中，视频数据子部可以是导购员的卖货的过程的直播视频；对话数据子部可以是消费者在卖货的过程中发出的评论性字幕；商品信息数据子部可以是导购员在进行直播卖货的过程中，显示在第一电子设备的屏幕的商品广告。
在上述第一方面的一种可能的实现中，对话数据子部的传输方式为：
第一电子设备在检测到对话数据子部的窗口中的对话内容发生变化的情况下，向第二电子设备发送变化后的对话内容；并且
商品信息数据子部的传输方式为：
第一电子设备在检测到商品信息数据子部的窗口中的显示内容发送变化的情况下，向第二电子设备发送变化后的显示内容；
视频数据子部的传输方式为：
第一电子设备通过视频流的方式向第二电子设备发送视频数据子部。
即在本申请的实施例中，例如，第一电子设备可以使用1080p@60fps的视频流的编码方式发送视频数据子部。第一电子设备可以实时地监控商品信息数据子部，将变化后的商品信息数据子部发送给第二电子设备。在第一电子设备检测到产生对话数据子部后，第一电子设备可以不间断地将对话数据子部发送给第二电子设备。
在上述第一方面的一种可能的实现中，在第一电子设备检测到第二电子设备的播放帧率与数据子部的刷新频率的差超过预设帧率差阈值的情况下，第一电子设备降低数据子部的传输频率。
即在本申请的实施例中，例如，第一电子设备发送数据子部的刷新频率为60fps，第二电子设备播放数据子部的播放帧率仅为30fps，预设帧率差阈值可以是10帧/秒，第一电子设备可以降低数据子部的传输频率至30fps。
在上述第一方面的一种可能的实现中，在第一电子设备检测到第二电子设备中的显示的时间与第一电子设备中的显示的时间之间的差超过预设直播时延阈值的情况下，第一电子设备降低数据子部的传输频率。
即在本申请的实施例中，例如，第一电子设备的显示的时间为12时05分10秒，而第二电子设备的显示的时间为12时05分05秒，如果预设直播时延阈值为3秒，则第一电子设备降低数据子部的传输频率。
本申请的第二方面提供了一种电子设备，包括：
存储器，存储有指令；
处理器，处理器和存储器耦合，当存储器存储的程序指令被处理器执行时
使得电子设备执行如前述第一方面提供的直播数据的传输方法中的第一电子设备的功能。
本申请的第二方面提供了一种可读介质，可读介质中存储有指令，当指令在可读
介质上运行时，使得可读介质执行如前述第一方面提供的直播数据的传输方法。
附图说明
图1示出了根据本申请实施例的一种直播设备的屏幕内的直播数据的示例；
图2示出了根据本申请实施例的直播过程中直播数据的传输的方法流程图；
图3(a)和图3(b)示出了根据本申请实施例的一种在线直播的场景；
图4示出了根据本申请实施例的直播设备的硬件结构框图；
图5示出了根据本申请实施例的直播设备的软件结构框图；
图6示出了根据本申请实施例的直播过程中直播数据的传输的方法流程图；
图7示出了根据本申请实施例的直播过程中确定直播数据的类型的方法流程图；
图8示出了根据本申请实施例的直播过程中另一种确定直播数据的类型的方法流程图；
图9示出了根据本申请实施例的直播过程中直播设备发送直播视频的方法流程图；
图10示出了根据本申请实施例的直播过程中直播设备发送直播文档的方法流程图；
图11示出了根据本申请实施例的直播过程中直播设备发送直播笔记的方法流程图；
图12示出了根据本申请实施例的直播过程中直播设备调整直播数据的发送的方法流程图；
图13(a)和图13(b)示出了根据本申请实施例的另一种在线直播的场景；
图14示出了根据本申请实施例的一种在线卖货的场景；
图15(a)和图15(b)示出了根据本申请实施例的一种视频会议的场景；
具体实施方式
本申请的实施例包括但不限于一种直播数据的传输方法、直播设备和介质。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
为了解决前述问题，本申请公开了一种直播数据的传输方法。具体地，图3(a)至(b)根据本申请实施例提供了一种直播数据的传输的场景，在该场景中，直播人员为老师100，老师100使用平板电脑200进行在线授课。如图3(a)所示，老师100开启平板电脑200的直播应用后，打开平板电脑200的摄像头实时地拍摄自身授课过程的视频，平板电脑200将该视频作为直播视频，显示在平板电脑200的屏幕内的直播视频窗口201内；同时，老师100在平板电脑200上打开讲义，平板电脑200将该讲义作为直播文档显示在平板电脑200的屏幕内的直播文档窗口202内。平板电脑200还可以在平板电脑200的屏幕内设置直播笔记窗口203，用于显示老师100针对直播文档书写的直播笔记。如图3(b)所示，学生400通过手机300观看直播内容，在手机300的屏幕中，也可以通过直播视频窗口301，直播文档窗口302以及直播笔记窗口303分别显示直播视频，直播文档和直播笔记。
可以理解，上述直播视频窗口201，直播文档窗口202以及直播笔记窗口203可以是平板电脑200的屏幕内的局部的窗口，也可以是与平板电脑200的屏幕大小相同的窗口。并且，在平板电脑200的屏幕内，上述窗口可以并列分布，也可以互相叠加。例如，直播文档窗口202与平板电脑200的屏幕大小相同，直播视频窗口201和直播笔记窗口203分别叠加在直播文档窗口202之上。
在进行直播的过程中，平板电脑200可以获取屏幕内的每一个窗口，根据窗口中的显示内容的刷新频率与预设的刷新频率阈值的范围的关系，确定显示内容是直播视频，直播文档以及直播笔记中的哪一种。对于直播视频，平板电脑200通过视频流的方式实时地将直播视频发送给手机300，例如，1080p@60fps的视频流；对于直播文档，平板电脑200可以仅在直播文档的内容发生变化时，发送变化后的直播文档给手机300；对于直播笔记，平板电脑200可以仅在检测到老师100有书写直播笔记时，通过视频流的方式实时地发送笔记的书写过程给手机300。同时，在平板电脑200检测到手机300出现卡顿或者延时的情况下，平板电脑200还可以实时地调整直播内容的传输方式，例如，降低视频流的传输质量，将1080p@60fps的视频流降低为720p@40fps的视频流，来消除手机300的卡顿或者延时。
通过本申请的方法，在直播过程中，直播设备能够将屏幕内的直播内容划分为不同的类型，对于不同类型的直播内容通过不同的传输方式发送给接收设备。同时，在接收设备的网络带宽不佳的情况下，直播设备还能够实时地调整直播内容的传输方式。这样，可以降低直播过程中对网络带宽的消耗，带来更好的直播体验。
本申请的实施例中的直播设备和接收设备可以是各种终端设备，例如，包括但不限于，膝上型计算机、台式计算机、平板计算机、手机、服务器、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、或能够访问网络的其他终端设备。为了便于说明，下文以直播设备为平板电脑200，接收设备为手机300为例进行说明。
可以理解，本申请的直播设备是指用于直接播出节目，在直播现场架设的采集直播的音频、视频的信号采集设备；接收设备是指用于与直播设备通信连接，从直播设备接收音频、视频的信号并播放的信号接收设备。
此外，可以理解，虽然上述场景以在线授课为例进行说明，但是，本申请的技术方案适用于各种直播场景，比如，视频会议、直播卖货等。
图4示出了根据本申请的实施例的平板电脑200的一种结构示意图。
如图4所示的平板电脑200，包括处理器210、无线通信模块220、按键230、电源模块240、音频模块250、接口模块260、屏幕270、存储器280，以及摄像头290。
可以理解的是，本发明实施例示意的结构并不构成对平板电脑200的具体限定。在本申请另一些实施例中，平板电脑200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，例如，可以包括中央处理器CPU(Central Processing Unit)、图像处理器GPU(Graphics Processing Unit)、数字信号处理器DSP、微处理器MCU(Micro-programmed Control Unit)、AI(ArtificialIntelligence，人工智能)处理器或可编程逻辑器件FPGA(Field Programmable GateArray)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，用于存储指令和数据。
无线通信模块220可以包括天线，并经由天线实现对电磁波的收发。无线通信模块220可以提供应用在平板电脑200上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。平板电脑200可以通过无线通信技术与网络以及其他设备进行通信。
按键230可以是设置在平板电脑200的外壳上的机械按键。
电源模块240可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。
音频模块250用于将数字音频信号转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块250还可以用于对音频信号编码和解码。在一些实施例中，音频模块250可以设置于处理器210中，或将音频模块250的部分功能模块设置于处理器210中。在一些实施例中，音频模块250可以包括扬声器、听筒、模拟的麦克风或数字的麦克风(可实现拾音功能)以及耳机接口。
接口模块260包括外部存储器接口、通用串行总线(universal serial bus，USB)接口等。
屏幕270用于显示人机交互界面、图像、视频等。
存储器280可以是为高速缓冲存储器280。
摄像头290用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP(Image SignalProcessing，图像信号处理)转换成数字图像信号。平板电脑200可以通过ISP，摄像头290，视频编解码器，GPU(Graphic Processing Unit，图形处理器)，屏幕270以及应用处理器等实现拍摄功能。在本申请实施例中，平板电脑200可以通过摄像头290进行视频直播、视频会议以及直播卖货等。
在本申请的实施例中，平板电脑200的结构示意图也适用于手机300。
图5是本发明实施例的平板电脑200的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图5所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图5所示，应用程序框架层可以包括窗口管理模块，内容提供器，视图系统，电话管理器，资源管理器，通知管理器，应用业务管理模块等。
窗口管理模块用于管理窗口程序。窗口管理模块可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。在本申请的实施例中，窗口管理模块用于获取平板电脑200的屏幕中的各个窗口。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。在本申请的实施例中，视图系统可以确定平板电脑200的屏幕中的窗口内的视图，并检测该视图中的内容是否会发生变化，并检测视图中的内容的刷新频率。除此之外，视图系统还可以将平板电脑200的屏幕内的两个窗口分别设置在不同的图层中，使得一个窗口可以叠加在另一个窗口之上。例如，将直播笔记窗口和直播视频窗口叠加在直播文档窗口之上。
电话管理器用于提供直播设备200的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。
应用业务管理服务，在本申请的实施例中，应用业务管理服务可以是直播设备的应用业务管理模块，可以对应用程序与服务器之间的应用连接进行管理。直播设备可以通过处理器来运行应用业务管理服务。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
下面以老师100使用平板电脑200进行在线授课来说明本申请的直播方案。其中，图6所示的方案可以通过平板电脑200的处理器210调用相关程序实现。如图6所示，本申请一些实施例中的直播方案包括：
S601:获取直播内容，并将直播内容显示在屏幕中。
在本申请的实施例中，老师100可以在平板电脑200内设置直播内容，平板电脑200在自身的屏幕中显示直播内容。
例如，以在线授课为例，平板电脑200上显示的直播内容可以包括：直播视频，直播文档和直播笔记，下面将具体介绍这三种直播内容。如图3(a)所示，在老师100作为授课人的情况下，老师100可以开启平板电脑200的摄像头，将摄像头对准自己，将自己授课的过程作为直播视频在平板电脑200的屏幕中显示，这里的直播视频可以显示在平板电脑200的屏幕中的直播视频窗口201中。可以理解，这里的直播视频也可以是一段已经录制完毕的授课视频，在这种情况下，老师100可以将该授课视频导入平板电脑200的存储区域内，然后打开平板电脑200的视频播放应用在平板电脑200的屏幕中的直播视频窗口201中播放该授课视频。
直播文档可以是老师100预先准备好的授课文档，对于直播文档的格式，例如，可以是演示文稿软件(PowerPoint，ppt)的格式。老师100可以将直播文档导入平板电脑200的存储区域内，然后通过平板电脑200的文档应用以展示该直播文档。这里的直播文档可以显示在平板电脑200的屏幕中的文档应用窗口202中。
直播笔记可以是老师100在进行在线授课的过程中，实时地生成的直播内容。例如，在老师100在进行在线授课的过程中，老师100打开平板电脑200的书写应用，通过书写应用在平板电脑200的屏幕中书写直播笔记。这里的直播笔记可以显示在平板电脑200的屏幕中的书写应用窗口203中。
在本申请的实施例中，平板电脑200可以通过如下方式在自身的屏幕中显示直播文档和直播笔记。平板电脑200将直播文档窗口202设置于第一图层内，直播文档可以通过全屏显示的方式显示在平板电脑200的屏幕内。之后，平板电脑200在直播文档窗口202所在的第一图层上创建一个第二图层，并将第二图层设置为透明。同时，平板电脑200将直播笔记窗口203设置于第二图层内。当老师100在直播笔记内进行书写时，不会影响直播文档。最后，平板电脑200可以将直播视频窗口201通过悬浮窗的方式显示在文档应用窗口内。
S602:确定屏幕中的直播内容的类型。
例如，在老师100开启直播后，平板电脑200可以确定直播内容的类型是直播视频，直播文档，或者直播笔记中的哪一种，以便根据类型确定直播内容的传输方式。
在本申请的实施例中，平板电脑200可以获取自身屏幕中的所有窗口，然后确定窗口中的直播内容是否会发生变化，如果会，则平板电脑200根据直播内容的刷新频率来确定直播内容的类型。平板电脑200确定直播内容的类型的具体实现方法会在下文中详细描述。
S603:根据直播内容的类型，通过不同的传输方式将直播内容发送给手机300。
例如，平板电脑200确定直播内容包括直播视频，直播文档以及直播笔记后，平板电脑200分别采用不同的传输方式将直播视频，直播文档以及直播笔记发送给手机300。下文将详细描述平板电脑200向手机300发送直播视频，直播文档以及直播笔记的方法。
在本申请的实施例中，手机300在接收到平板电脑200发出的直播内容后，如图3(b)所示，在自身的屏幕中显示直播内容。手机300可以在与平板电脑200的屏幕中的直播内容保持一致的情况下，通过等比例缩放的方式，在自身的屏幕中显示直播内容，学生400可以在手机300的屏幕中观看直播内容。例如，手机300的屏幕中可以显示直播视频窗口301，直播文档窗口302以及直播笔记的窗口303。手机300也可以根据直播内容的根据直播内容的类型，通过自定义的方式，在自身的屏幕中设置直播内容的窗口的位置和大小，进而显示直播内容。
S604:检测手机300是否出现直播效果不佳。
本申请的实施例中，在手机300出现直播效果不佳的情况下，平板电脑200执行S605，平板电脑200实时地调整直播内容的传输方式，否则，平板电脑200保持原有的直播内容的传输方式。可以理解，在平板电脑200检测到手机300从直播效果不佳恢复至直播效果佳的状态后，平板电脑200可以恢复原有的直播内容的传输方式。
S605：实时地调整直播内容的传输方式。
在平板电脑200确定手机300处出现直播效果不佳后，可以调整直播内容的传输方式。在本申请的实施例中，平板电脑200调整直播内容的传输方式的手段，可以包括：降低直播视频的刷新频率、降低直播视频的分辨率以及减少直播视频的传输数量。
下面介绍图6所示的步骤S602中，平板电脑300确定直播内容的类型的方法。在本申请的实施例中，平板电脑200的屏幕中的直播内容是显示在平板电脑200的屏幕中的每一个窗口内的，例如，参考图3(a)，平板电脑200的屏幕中包括，直播视频窗口201、直播文档窗口202以及直播笔记窗口203。平板电脑200的屏幕中显示了直播内容后，如图7所示，平板电脑200通过以下A1至A5的步骤，确定屏幕中的直播内容的类型。
A1：老师100在平板电脑200上设置直播内容并开启直播。
这里，老师100可以使用S601中描述的将自己授课的过程作为直播内容并开启直播。
A2：平板电脑200获取自身屏幕内的所有窗口。
A3：平板电脑200获取每一各个窗口包括的视图。
在上述A2至A3步骤中，平板电脑200可以通过窗口管理模块211，在自身的屏幕内获取所有窗口。之后，平板电脑200的视图系统212获取每一个窗口中的视图。
A4：平板电脑200确定每个视图中的直播内容是否发生变化。
例如，平板电脑200可以先通过计算每个视图中直播内容包含相邻的图像帧是否不同，如果不同，说明视图中的直播内容会发生变化。这里的直播内容会发生变化，也就是指，在一定的时间段内，视图中的直播内容的当前的图像帧替换上一次显示的图像帧并将该当前的图像帧进行显示直至该当前的图像帧再次被替换的过程。例如，假设视图中上一次显示的图像帧为图像帧A，当前的需要显示的图像帧为B，内容发生变化是指用图像帧B替换视图中上一次显示的图像帧A，从而使得视图对图像帧B进行显示并显示一段时间的过程。例如，上述图像帧B在1秒后替换了图像帧A，这时，平板电脑200可以确定视图中的直播内容会发生变化。
A5：平板电脑200确定视图中发生变化的直播内容的刷新频率符合直播视频的刷新频率阈值的情况下，该视图中的直播内容为直播视频。
在平板电脑200确定了一个窗口中的视图中的直播内容会发生变化后，平板电脑200可以根据直播内容的刷新频率来确定该直播内容的类型。这里的刷新频率是指直播内容的每秒传输帧数(FPS，Frames Per Second，帧/秒)，就是指每秒内直播内容刷新的画面数。平板电脑200获取窗口中直播内容的刷新频率的方法可以是，平板电脑200的自身系统的视图系统212计算出视图的刷新频率。接着，视图系统212根据视图的刷新频率与直播内容的类型对应的刷新频率阈值的范围之间比较结果来确定该视图中的直播内容的类型。
例如，在安卓系统下，平板电脑200的视图系统212可以通过计算视图的onDraw方法在固定时间段中执行的次数来确定直播内容的刷新频率。这里的onDraw方法，用于刷新视图中的直播内容，也就是当onDraw方法每执行一次，视图中的直播内容就会发生改变。在一秒钟内视图的onDraw方法执行了60次，那视图中的直播内容的刷新频率就是60FPS。这时，如果平板电脑200中预先存储有直播内容的类型对应的刷新频率阈值的范围，举例来说，平板电脑200的存储区域中存储有，直播视频的刷新频率阈值的范围[60FPS，120FPS]，以及直播文档的刷新频率阈值的范围[0FPS，20FPS]等。对于刷新频率为60FPS的直播内容，平板电脑200可以确定该直播内容属于直播视频。
在本申请的另一实施例中，例如，在平板电脑200的视图系统212计算出直播内容的刷新频率是15FPS的情况下，则平板电脑200可以确定当该直播内容属于直播文档。
在步骤S602中，除了上述图7描述的通过直播内容的刷新频率来确定直播内容的类型的方法，在本申请的另一个实施例中，平板电脑200也可以根据包含直播内容的窗口以及视图的类型来确定直播内容的类型。例如，如图8所示，平板电脑200通过以下B1至B5的步骤，确定屏幕中的直播内容的类型。
B1:老师100在平板电脑200上设置直播内容并开启直播。
B2：平板电脑200获取自身屏幕内的所有窗口。
上述B1和B2可以与A1和A2中描述的相同。
B3：平板电脑200确定每个窗口的布局类型是否为悬浮窗。
在平板电脑200将直播视频窗口通过悬浮窗的方式显示在屏幕中的情况下，平板电脑200可以获取自身屏幕中所有的悬浮窗，并检测悬浮窗包含的视图是否为视频播放类视图，如果是，则确定该视图中包含的直播内容为直播视频。例如，在安卓系统下，平板电脑200的窗口管理模块211可以获取屏幕内布局类型为TYPE_APPLICATION_OVERLAY的窗口，这里的TYPE_APPLICATION_OVERLAY是指悬浮窗的类型。
B4：平板电脑200获取窗口的视图，确定视图的类型是否为视频类视图。
B5：平板电脑200确定该视频类视图中包含直播视频。
在上述B4至B5的步骤中，在窗口管理模块211确定平板电脑200的屏幕中存在悬浮窗的情况下，平板电脑200的视图系统212获取悬浮窗的视图，在视图系统212确定视图的类型为视频播放类视图，即VideoView，的情况下，该视图中包含的直播内容为直播视频。
在本申请的实施例中，对于直播笔记来说，平板电脑200的视图系统212获取了直播内容的视图后，可以通过该视图的触碰轨迹检测方法来确定老师100是否在该视图中，执行了书写的动作，如果视图系统212检测到了书写的动作，则确定当前的直播内容的窗口中的直播内容属于直播笔记。例如，在安卓系统中，平板电脑200的视图系统可以通过视图的onTouchEvent方法来检测老师100是否在该视图中执行了书写的动作。在老师100使用电容笔在平板电脑200的屏幕上进行书写的过程中，视图系统可以根据onTouchEvent方法获取电容笔触碰平板电脑200的屏幕后，在屏幕的窗口中的横坐标以及纵坐标的变化轨迹，在窗口中生成并显示书写轨迹矢量数据(这里的书写轨迹矢量数据可以包括：笔迹类型、笔迹颜色、轨迹数据、和锚点数据等)。
在介绍完平板电脑300确定直播内容的类型的方法，下面介绍图6所示的步骤S603中，平板电脑300发送直播内容的方法。
对于直播视频来说，如前所述，在整个直播的过程中，如图9所示，平板电脑200可以通过以下C1至C4的步骤采用视频流的传输方式不间断地将直播视频发送给手机300。
C1：老师100在平板电脑200设置直播视频。
这里，老师100在平板电脑100设置完直播视频，并开启直播。
C2：平板电脑200获取自身屏幕内的直播视频。
例如，平板电脑200通过如图8中所述的方法，获取屏幕内的直播视频。
C3：平板电脑200通过视频流的方式发送直播视频。
在平板电脑100确定直播视频的刷新频率为60FPS的情况下，平板电脑200可以使用1080p@60fps的视频流的编码方式将直播视频窗口201内的直播视频编码后发送给手机300。这里的，1080p@60fps是指，直播视频的画面分辨率为1920×1080，每秒传输帧数60帧。
C4：手机300在屏幕内显示直播视频。
在手机300接收到直播视频后，根据自身的屏幕的画面分辨率，将直播视频解码后显示在自身的屏幕中。
对于直播文档来说，由于其刷新频率小于直播视频，平板电脑200可以采用与直播视频不同的视频流的传输方式将直播文档发送给手机300。例如，在平板电脑100确定直播视频的刷新频率为15FPS的情况下，平板电脑200可以使用1080p@15fps的视频流的编码方式将直播文档窗口202内的直播文档编码后发送给手机300。
在本申请的另一实施例中，如图10所示，平板电脑200也可以通过以下D1至D5的步骤发送直播文档窗口202内的直播文档。
D1：老师100在平板电脑200设置直播文档。
在老师100在平板电脑200上设置显示直播文档。
D2：平板电脑200获取屏幕内的直播文档。
D3：平板电脑200确定直播文档的相邻的两图像帧是否发生变化。
在平板电脑200首次显示直播文档的内容并发送给手机300后，在上述D2至D3的步骤中，平板电脑200的视图系统可以实时地监控视图中的直播文档的内容是否变化，在直播文档的内容发生变化的情况下，将变化后的直播文档的内容的画面发送给手机300。
例如，在平板电脑200确定了自身屏幕中的一个窗口中的直播内容是直播文档后，平板电脑200立即将直播文档的内容的当前画面发送给手机300，同时，平板电脑200的视图系统可以以15FPS的刷新频率，也就是每秒获取15帧的直播文档的内容的刷新频率，实时地监控直播文档的图像帧。
D4：平板电脑200发送变化后的直播文档。
在平板电脑200的视图系统确定相邻两个图像帧包含的直播文档的内容不同时，平板电脑200立即将内容变化后的图像帧发送给手机300。
D5：手机300在屏幕内刷新直播文档的显示内容。
手机300在接收到直播文档的显示内容后，可以立即刷新自身的屏幕中的直播文档。
对于直播笔记来说，如图11所示，平板电脑200也可以通过以下E1至E6的步骤步骤发送直播笔记的窗口203内的直播笔记。
E1：老师100启动平板电脑200的书写应用。
老师100可以点击平板电脑200屏幕中的书写应用的图标启动书写应用。然后，平板电脑200进入E2。
E2：平板电脑200显示书写应用包含的书写工具。
平板电脑200显示书写应用包含的书写工具，例如，书写的笔迹样式、书写的笔迹颜色。
E3：老师100选择书写工具的笔迹样式和颜色，开始书写直播笔记。
老师100可以点击书写的笔迹样式以及书写的笔迹颜色进行选择，之后开始书写直播笔记。
E4：平板电脑200显示直播笔记的书写轨迹。
E5：平板电脑200向手机300实时地发送直播笔记的书写轨迹。
E6：手机300在屏幕内刷新直播笔记的显示内容。
在上述E4至E6的步骤中，平板电脑200可以实时地检测老师100是否有书写直播笔记，当平板电脑200的视图系统检测到老师100通过书写应用在屏幕内书写了直播笔记后，平板电脑200可以采用视频流的传输方式不间断地将书写应用窗口203内的直播笔记发送给手机300直至平板电脑200的视图系统检测到老师100停止书写直播笔记。
在介绍完平板电脑300发送直播内容的方法后，下面介绍图6所示的S604至S605中，平板电脑300调整发送直播内容的方法。上述步骤S604至S605的实现方法可以通过以下F1至F5的步骤实现，如图12所示，包括：
F1：老师100在平板电脑200开启直播。
老师100设置完成直播内容在平板电脑200开启直播。
F2：平板电脑200检测到手机300出现卡顿或者延时。
可以理解，在上述步骤中，老师100设置完成直播内容在平板电脑200开启直播。之后，平板电脑200可以实时地检测手机300的直播效果，当平板电脑200检测到手机300的直播效果不佳，也就是手机300播放直播内容时出现卡顿。在平板电脑200将直播内容发送给手机300时，在直播的网络环境顺畅的情况下，平板电脑200通过视频流的传输方式发送直播内容的刷新频率与手机300播放该直播内容的播放帧率之间是一致的，例如，平板电脑200通过1080p@60fps的视频流的编码方式将直播内容发送给手机300，这时，直播内容的刷新频率是60fps，也就是，相应地，手机300播放该直播内容的播放帧率也可以是60fps。
当手机300的播放帧率小于刷新频率达到预设帧率差阈值时，说明手机300所处的网络环境存在通信不畅通，也就是手机300在播放直播内容时出现了卡顿。例如，平板电脑200发送直播内容的刷新频率为60fps，而手机300播放直播内容的播放帧率仅为30fps，预设帧率差阈值可以是10帧/秒，预设帧率差阈值可以根据具体的场景适应性设置。在刷新频率与播放帧率之间的差值大于预设帧率差阈值的情况下，平板电脑200可以确定当前直播的网络环境不顺畅。
在本申请的另一实施例中，在步骤F2中描述的手机300的直播效果不佳可以是手机300播放直播内容时出现直播时延，这里的时延可以是指平板电脑200发送的直播内容中显示的时间和手机300播放的直播内容中显示的时间之间的差异。平板电脑200可以发送的直播内容中显示的时间减去手机300播放的直播内容中显示的时间，获得直播时延。当直播时延达到预设直播时延阈值时，说明手机300所处的直播的网络环境存在通信不畅通。例如，平板电脑200计算出直播时延为5秒，而平板电脑200的存储区域内保存的预设直播时延阈值为3秒，则平板电脑200确定手机300是否出现直播效果不佳。
可以理解，在存在多个接收设备的情况下，例如，平板电脑200将直播内容发送给多个手机300的情况下，平板电脑200还可以统计出现直播效果不佳的手机300的数量，在数量超过平板电脑200在存储区域内保存的接收设备数量阈值时，平板电脑200执行S605，实时地调整直播内容的传输方式。
F3：平板电脑200降低直播视频的刷新频率。
在步骤F3中，由于平板电脑200发送的直播视频占用了网络环境多数的网络带宽，平板电脑200可以降低发送直播视频的刷新频率，例如，平板电脑200将1080p@60fps的视频流的编码方式改变为1080p@40fps的视频流的编码方式后，将直播视频发送给手机300。
F4：平板电脑200降低直播视频的分辨率。
平板电脑200还可以采用步骤F4的方法，平板电脑200可以降低发送直播视频的画面分辨率，例如，平板电脑200将1080p@60fps的视频流的编码方式改变为720p@60fps的视频流的编码方式后，将直播视频发送给手机300。平板电脑200还可以将直播视频转换为直播音频。
F5：平板电脑200减少直播视频的传输数量。
在本申请的另一个实施例中，在平板电脑200发送的直播视频的数量在两个以上的情况下，平板电脑200还可以采用步骤F5的方法，减少发送的直播视频的数量。
可以理解，在平板电脑200调整完直播内容的传输方式后，平板电脑200继续检测手机300的直播效果，如果平板电脑200确定手机300的直播效果进一步变差，平板电脑200可以进一步降低直播视频的传输方式。例如，平板电脑200在将直播视频的视频流的编码方式从1080p@60fps改变到1080p@40fps后，还可以再次改变到720p@40fps。如果平板电脑200确定手机300从直播效果不佳恢复至直播效果佳的状态后，平板电脑200可以实时地恢复直播内容的传输方式。
除了上述描述的平板电脑200自动检测屏幕中的直播内容的类型的方法，在本申请的另一实施例中，平板电脑200还可以提示老师100手动选择直播内容及其对应的窗口，在老师100确定了直播内容后，平板电脑200还可以提示可以对窗口的位置和大小进行调节。
图6中描述了老师100将自身授课的过程作为直播视频进行在线授课的场景，在本申请的其他实施例中，老师100除了直播自身授课的过程，还可以使用辅助教学视频作为直播视频进行在线授课。图13(a)和图13(b)示出了老师100通过平板电脑200使用辅助教学视频进行在线授课的方法。
如图13(a)所示，老师100除了将自己授课的过程作为直播视频在屏幕中以直播视频窗口201-1显示，老师100还可以设置另一个直播视频窗口201-2，该直播视频窗口201-2中可以播放一段辅助教学视频，例如，老师100可以通过结合辅助教学视频以及直播文档进行在线授课。同时，老师100还在平板电脑200的屏幕内设置了直播文档窗口202以及直播笔记的窗口203。这时，平板电脑200可以采用与步骤S602中相同的视频流的方法，不间断地将两个直播视频发送给手机300。例如，平板电脑100可以对两个直播视频采用相同的1080p@60fps的视频流的编码方式将两个直播视频编码后发送给手机300。可以理解，在一些实施例中，平板电脑100也可以分别采用不同的视频流的编码方式。
手机300在接收到平板电脑200发出的直播内容后，如图13(b)所示，可以采用与步骤S602中相同的方法，在自身的屏幕中显示直播内容。例如，手机300的屏幕中的直播内容，可以在与平板电脑200的屏幕中的直播内容保持一致，学生400可以在手机300的屏幕中观看直播内容。例如，手机300的屏幕中可以显示直播视频窗口301-1以及直播视频窗口301-2和直播文档窗口302以及直播笔记的窗口303。。其中，在直播视频窗口301-1中显示直播视频，在直播视频窗口301-2中显示辅助教学视频。手机300也可以根据直播内容的根据直播内容的类型，通过自定义的方式，在自身的屏幕中设置直播内容的窗口的位置和大小，进而显示直播内容。
除了图3(a)和图3(b)中描述的老师100使用平板电脑200进行在线授课的场景，在本申请的另一个实施例中，如图15所示，导购员100可以使用平板电脑200进行直播卖货，消费者400可以通过手机300观看。
在本申请的实施例中，导购员100可以在平板电脑200上设置直播内容，平板电脑200在自身的屏幕中显示直播内容。例如，以直播卖货为例，平板电脑200上显示的直播内容可以包括：直播视频，直播弹幕和直播广告。如图14所示，导购员100可以开启平板电脑200的摄像头，将摄像头对准自己，将整个卖货的过程作为直播视频在屏幕中显示。直播弹幕可以是消费者400在卖货的过程中发出的评论性字幕。直播广告可以是导购员100在进行直播卖货的过程中，显示在平板电脑200内的商品广告。
这里，如图14所示，平板电脑200可以采用步骤S601中的方法，将直播视频，直播弹幕和直播广告分别设置在平板电脑200的屏幕的直播视频窗口201、直播弹幕窗口202以及直播广告窗口203内。其中，直播视频窗口201占据平板电脑200的整个屏幕，直播弹幕窗口202和直播广告窗口203都叠加在直播视频窗口201上，直播弹幕窗口202可以位于平板电脑200的屏幕的下方，这样可以不影响消费者400观看直播视频，直播广告窗口203可以位于平板电脑200的屏幕的右侧。
在导购员100开启直播后，平板电脑200可以使用S602中同样的方法确定直播内容的类型。例如，对于直播视频，平板电脑200可以在直播内容的刷新频率符合直播视频的刷新频率阈值的情况下，确定该直播内容为直播视频。同样地，平板电脑200还可以通过直播内容所在的窗口以及窗口中的视图的类型确定直播内容的类型。例如，在安卓系统下，平板电脑200可以通过窗口中是否包含danmakuView(弹幕类型视图)来确定该直播内容为直播弹幕。
在平板电脑200确定直播内容包括直播视频，直播弹幕和直播广告后，平板电脑200可以采用S603中的方法分别采用不同的传输方式将直播视频，直播弹幕和直播广告发送给手机300。例如，对于直播视频，直播弹幕，平板电脑200可以使用视频流的编码方式将直播视频，直播弹幕发送给手机300。对于，直播广告，平板电脑200可以在确定直播广告发生变化的情况下，将变化后的直播广告发送给手机300。
在平板电脑200检测到手机300出现直播效果不佳的情况下，可以使用与S604-S605相同额方法，实时调整直播内容的传输方式。
在本申请的另一个实施例中，如图15(a)和图15(a)所示，员工100和员工400之间可以使用桌面电脑200以及桌面电脑300进行视频会议。
在本申请的实施例中，员工100和员工300通过桌面电脑200以及桌面电脑300的视频会议应用开启视频会议，桌面电脑200以及300的屏幕中内显示直播内容，这里的直播内容可以包括：第一直播视频，第二直播视频，直播文档，其中，第一直播视频，第二直播视频可以分别是员工100以及员工400参与会议的过程。直播文档可以是本次视频会议的会议文档。如图15(a)所示，桌面电脑200将第一直播视频和会议文档发送给桌面电脑300，同时，桌面电脑200从桌面电脑300接收第二直播视频。
这里，桌面电脑200可以采用步骤S601中的方法，如图15(a)所示,将第一直播视频，第二直播视频，直播文档分别设置在屏幕的直播视频窗口201、直播视频窗口202以及直播文档窗口203内。同样地，桌面电脑300，如图15(b)所示,将第一直播视频，第二直播视频，直播文档分别设置在屏幕的直播视频窗口301、直播视频窗口302以及直播文档窗口303内。
在员工100和员工400开启视频会议后，桌面电脑200以及桌面电脑300可以使用S602中同样的方法确定直播内容的类型。例如，对于第一直播视频和第二直播视频，桌面电脑200和桌面电脑300可以在直播内容的刷新频率符合直播视频的刷新频率阈值的情况下，确定该直播内容为直播视频。同样地，对于直播文档。桌面电脑200可以计算出直播内容的刷新频率符合直播文档的刷新频率的情况下，确定该直播内容属于直播文档。
在桌面电脑200以及桌面电脑300确定了直播内容的类型后，桌面电脑200以及桌面电脑300可以采用S603中的方法分别采用不同的传输方式互相发送直播内容。例如，对于第一直播视频和第二直播视频，桌面电脑200以及桌面电脑300可以使用视频流的编码方式发送。对于，直播文档，桌面电脑200可以在确定直播文档发生变化的情况下，将变化后的直播文档发送给桌面电脑300。
在桌面电脑200以及桌面电脑300之间出现直播效果不佳的情况下，可以使用与S604-S605相同额方法，实时调整直播内容的传输方式。
应当理解的是，虽然在本文中可能使用了术语“第一”、“第二”等等来描述各个特征，但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了进行区分，而不能理解为指示或暗示相对重要性。举例来说，在不背离示例性实施例的范围的情况下，第一特征可以被称为第二特征，并且类似地第二特征可以被称为第一特征。
此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个彼此分离的操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖描述的顺序，其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序也可以被重新安排。当所描述的操作完成时，所述处理可以被终止，但是还可以具有未包括在附图中的附加操作。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
说明书中对“一个实施例”，“实施例”，“说明性实施例”等的引用表示所描述的实施例可以包括特定特征、结构或性质，但是每个实施例也可能或不是必需包括特定的特征、结构或性质。而且，这些短语不一定是针对同一实施例。此外，当结合具体实施例描述特定特征，本领域技术人员的知识能够影响到这些特征与其他实施例的结合，无论这些实施例是否被明确描述。
除非上下文另有规定，否则术语“包含”、“具有”和“包括”是同义词。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A)、(B)或(A和B)”。
如本文所使用的，术语“模块”可以指代，作为其中的一部分，或者包括：用于运行一个或多个软件或固件程序的存储器(共享、专用或组)，专用集成电路(ASIC)，电子电路和/或处理器(共享、专用或组)，组合逻辑电路，和/或提供所述功能的其他合适组件。
在附图中，可能以特定布置和/或顺序示出了一些结构或方法特征。然而，应当理解的是，这样的特定布置和/或排序不是必需的。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来进行说明。另外，特定附图中所包含得结构或方法特征并不意味着所有实施例都需要包含这样的特征，在一些实施例中，可以不包含这些特征，或者可以将这些特征与其他特征进行组合。
上面结合附图对本申请的实施例做了详细说明，但本申请技术方案的使用不仅仅局限于本专利实施例中提及的各种应用，各种结构和变型都可以参考本申请技术方案轻易地实施，以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内，在不脱离本申请宗旨的前提下做出的各种变化，均应归属于本申请专利涵盖范围。

Claims (15)

1.一种直播数据的传输方法，其特征在于，包括：
第一电子设备根据刷新频率对向第二电子设备传输的直播数据进行分类，得到多个类型不同数据子部；
第一电子设备采用不同的传输方式向所述第二电子设备传输类型不同的所述数据子部，其中，所述数据子部的传输方式与数据子部的刷新频率相关。
2.根据权利要求1所述的方法，其特征在于，所述多个类型的数据子部显示在所述第一电子设备的屏幕上的不同窗口中。
3.根据权利要求2所述的方法，其特征在于，所述数据子部的刷新频率为所述数据子部对应的窗口的刷新频率，所述数据子部的传输频率低于或者等于所述窗口的刷新频率。
4.根据权利要求2所述的方法，其特征在于，所述数据子部的类型包括：视频数据子部、文件数据子部和书写数据子部。
5.根据权利要求4所述的方法，其特征在于，所述文件数据子部为在所述第一电子设备打开的文件，所述视频数据子部为所述第一电子设备实时采集的视频。
6.根据权利要求5所述的方法，其特征在于，所述视频数据子部的窗口悬浮于所述文件数据子部的窗口之上或所述视频数据子部的窗口与所述文件数据子部的窗口并列显示。
7.根据权利要求5所述的方法，其特征在于，所述书写数据子部为所述第一电子设备检测用户在屏幕上的触碰操作所产生的触碰轨迹数据。
8.根据权利要求5所述的方法，其特征在于，所述视频数据子部的传输方式为：
所述第一电子设备通过视频流的方式向所述第二电子设备发送所述视频数据子部；并且
所述文件数据子部的传输方式为：
所述第一电子设备在检测到文件数据子部的窗口中的显示内容发生变化的情况下，向所述第二电子设备发送变化后的显示内容；并且
所述书写数据子部的传输方式为：
所述第一电子设备实时向所述第二电子设备发送在所述书写数据子部的窗口中检测到的由用户触碰所产生的触碰轨迹数据。
9.根据权利要求2所述的方法，其特征在于，所述数据子部的类型包括：对话数据子部、商品信息数据子部和视频数据子部。
10.根据权利要求9所述的方法，其特征在于，所述对话数据子部为所述第一电子设备的屏幕中显示的对话记录，所述商品信息数据子部为所述第一电子设备的屏幕中显示的商品信息，所述视频数据子部为所述第一电子设备实时采集的视频。
11.根据权利要求9所述的方法，其特征在于，所述对话数据子部的传输方式为：
所述第一电子设备在检测到对话数据子部的窗口中的对话内容发生变化的情况下，向所述第二电子设备发送变化后的对话内容；并且
所述商品信息数据子部的传输方式为：
所述第一电子设备在检测到所述商品信息数据子部的窗口中的显示内容发送变化的情况下，向所述第二电子设备发送变化后的显示内容；
所述视频数据子部的传输方式为：
所述第一电子设备通过视频流的方式向所述第二电子设备发送所述视频数据子部。
12.根据权利要求3所述方法，其特征在于，在所述第一电子设备检测到所述第二电子设备的播放帧率与所述数据子部的刷新频率的差超过预设帧率差阈值的情况下，所述第一电子设备降低所述数据子部的传输频率。
13.根据权利要求3所述方法，其特征在于，在所述第一电子设备检测到所述第二电子设备中的显示的时间与所述第一电子设备中的显示的时间之间的差超过预设直播时延阈值的情况下，所述第一电子设备降低所述数据子部的传输频率。
14.一种电子设备，其特征在于，包括：
存储器，存储有指令；
处理器，所述处理器和存储器耦合，当所述存储器存储的程序指令被所述处理器执行时
使得所述电子设备执行权利要求1至13中任一项所述的直播数据的传输方法中的第一电子设备的功能。
15.一种可读介质，所述可读介质中存储有指令，其特征在于，当所述指令在所述可读
介质上运行时，使得所述可读介质执行如权利要求1至13中任一项所述的直播数据的传输方法。
CN202110358189.1A 2021-04-01 2021-04-01 直播数据的传输方法、直播设备和介质 Active CN115190340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110358189.1A CN115190340B (zh) 2021-04-01 2021-04-01 直播数据的传输方法、直播设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110358189.1A CN115190340B (zh) 2021-04-01 2021-04-01 直播数据的传输方法、直播设备和介质

Publications (2)

Publication Number Publication Date
CN115190340A true CN115190340A (zh) 2022-10-14
CN115190340B CN115190340B (zh) 2024-03-26

Family

ID=83512017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110358189.1A Active CN115190340B (zh) 2021-04-01 2021-04-01 直播数据的传输方法、直播设备和介质

Country Status (1)

Country Link
CN (1) CN115190340B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787036A (zh) * 2005-10-21 2006-06-14 上海复旦光华信息科技股份有限公司 基于网络的多种媒体实时同步教学系统
US20170201559A1 (en) * 2016-01-12 2017-07-13 Naver Corporation Method and system for sharing live broadcast data
CN107105315A (zh) * 2017-05-11 2017-08-29 广州华多网络科技有限公司 直播方法、主播客户端的直播方法、主播客户端及设备
CN108156502A (zh) * 2018-01-05 2018-06-12 创盛视联数码科技（北京）有限公司 一种提高画笔和文字视频直播同步性的方法
CN109246433A (zh) * 2018-09-26 2019-01-18 北京红云融通技术有限公司 视频编码方法及装置、解码方法及装置、视频传输系统
CN109996087A (zh) * 2019-03-21 2019-07-09 武汉大学 一种基于有限状态机的面向视频直播的码率自适应方法及装置
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置
US20190364303A1 (en) * 2018-05-22 2019-11-28 Beijing Baidu Netcom Science Technology Co., Ltd. Live broadcast processing method, apparatus, device, and storage medium
CN111163360A (zh) * 2020-01-02 2020-05-15 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
US20200162796A1 (en) * 2017-05-16 2020-05-21 Peter AZUOLAS Systems, apparatus, and methods for scalable low-latency viewing of integrated broadcast commentary and event video streams of live events, and synchronization of event information with viewed streams via multiple internet channels
WO2020097803A1 (zh) * 2018-11-13 2020-05-22 深圳市欢太科技有限公司 弹幕处理方法、装置、电子设备及计算机可读取存储介质
CN111245879A (zh) * 2018-11-29 2020-06-05 深信服科技股份有限公司 一种虚拟桌面的桌面内容传输方法、系统及相关组件
CN111341286A (zh) * 2020-02-25 2020-06-26 惠州Tcl移动通信有限公司 屏幕显示控制方法、装置、存储介质及终端
CN111464873A (zh) * 2020-04-10 2020-07-28 创盛视联数码科技（北京）有限公司 一种视频直播观看端实现实时画笔及实时文字的方法
CN111523293A (zh) * 2020-04-08 2020-08-11 广东小天才科技有限公司 一种直播教学中辅助用户进行信息录入的方法及装置
CN111711833A (zh) * 2020-07-28 2020-09-25 广州华多网络科技有限公司 直播视频流推送控制方法、装置、设备及存储介质
CN112565807A (zh) * 2020-12-04 2021-03-26 北京七维视觉传媒科技有限公司 用于局域网内的直播的方法、设备、介质及计算机程序产品

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787036A (zh) * 2005-10-21 2006-06-14 上海复旦光华信息科技股份有限公司 基于网络的多种媒体实时同步教学系统
US20170201559A1 (en) * 2016-01-12 2017-07-13 Naver Corporation Method and system for sharing live broadcast data
CN107105315A (zh) * 2017-05-11 2017-08-29 广州华多网络科技有限公司 直播方法、主播客户端的直播方法、主播客户端及设备
US20200162796A1 (en) * 2017-05-16 2020-05-21 Peter AZUOLAS Systems, apparatus, and methods for scalable low-latency viewing of integrated broadcast commentary and event video streams of live events, and synchronization of event information with viewed streams via multiple internet channels
CN108156502A (zh) * 2018-01-05 2018-06-12 创盛视联数码科技（北京）有限公司 一种提高画笔和文字视频直播同步性的方法
US20190364303A1 (en) * 2018-05-22 2019-11-28 Beijing Baidu Netcom Science Technology Co., Ltd. Live broadcast processing method, apparatus, device, and storage medium
CN109246433A (zh) * 2018-09-26 2019-01-18 北京红云融通技术有限公司 视频编码方法及装置、解码方法及装置、视频传输系统
WO2020097803A1 (zh) * 2018-11-13 2020-05-22 深圳市欢太科技有限公司 弹幕处理方法、装置、电子设备及计算机可读取存储介质
CN111245879A (zh) * 2018-11-29 2020-06-05 深信服科技股份有限公司 一种虚拟桌面的桌面内容传输方法、系统及相关组件
CN109996087A (zh) * 2019-03-21 2019-07-09 武汉大学 一种基于有限状态机的面向视频直播的码率自适应方法及装置
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置
CN111163360A (zh) * 2020-01-02 2020-05-15 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN111341286A (zh) * 2020-02-25 2020-06-26 惠州Tcl移动通信有限公司 屏幕显示控制方法、装置、存储介质及终端
CN111523293A (zh) * 2020-04-08 2020-08-11 广东小天才科技有限公司 一种直播教学中辅助用户进行信息录入的方法及装置
CN111464873A (zh) * 2020-04-10 2020-07-28 创盛视联数码科技（北京）有限公司 一种视频直播观看端实现实时画笔及实时文字的方法
CN111711833A (zh) * 2020-07-28 2020-09-25 广州华多网络科技有限公司 直播视频流推送控制方法、装置、设备及存储介质
CN112565807A (zh) * 2020-12-04 2021-03-26 北京七维视觉传媒科技有限公司 用于局域网内的直播的方法、设备、介质及计算机程序产品

Also Published As

Publication number Publication date
CN115190340B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN115145529B (zh) 语音控制设备的方法及电子设备
US7500175B2 (en) Aspects of media content rendering
US7721308B2 (en) Synchronization aspects of interactive multimedia presentation management
US9251852B2 (en) Systems and methods for generation of composite video
US7861150B2 (en) Timing aspects of media content rendering
CN114302190B (zh) 一种显示设备及画质调整方法
WO2007005294A2 (en) Synchronization aspects of interactive multimedia presentation management
CN102103631A (zh) 内容提供服务器和方法及内容再现设备、方法和系统
US20100232770A1 (en) System and method for interactive environments presented by video playback devices
US20070006061A1 (en) Synchronization aspects of interactive multimedia presentation management
US11425466B2 (en) Data transmission method and device
CN103369128A (zh) 同时显示多个运动图像缩略图的图像再现装置及方法
WO2023104102A1 (zh) 一种直播评论展示方法、装置、设备、程序产品及介质
CN111491190A (zh) 一种双系统摄像头切换控制方法及显示设备
CN112533056B (zh) 一种显示设备及声音再现方法
CN115190340B (zh) 直播数据的传输方法、直播设备和介质
US20210051355A1 (en) Video performance rendering modification based on device rotation metric
CN113923514A (zh) 一种显示设备及memc重复帧丢弃方法
CN112788381A (zh) 显示设备及显示方法
JP2005204338A (ja) 携帯電話や携行端末における静止画漫画の再生方法
KR20070029318A (ko) 두 개의 화면에 하나의 영상을 분할하여 재생하는 영상재생장치 및 방법
CN111641855B (zh) 一种双屏显示设备及其音频输出方法
CN115086722B (zh) 一种副屏内容的展示方法及显示设备
CN111970547B (zh) 一种显示设备
CN116980692A (zh) 一种导出视频的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant