CN116962729A - 一种双摄像头直播方法及显示设备、服务器 - Google Patents

一种双摄像头直播方法及显示设备、服务器 Download PDF

Info

Publication number
CN116962729A
CN116962729A CN202210405366.1A CN202210405366A CN116962729A CN 116962729 A CN116962729 A CN 116962729A CN 202210405366 A CN202210405366 A CN 202210405366A CN 116962729 A CN116962729 A CN 116962729A
Authority
CN
China
Prior art keywords
video stream
picture
camera
teacher
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210405366.1A
Other languages
English (en)
Inventor
江陆卫新
李英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202210405366.1A priority Critical patent/CN116962729A/zh
Priority to CN202280071074.7A priority patent/CN118303031A/zh
Priority to PCT/CN2022/135719 priority patent/WO2023138222A1/zh
Publication of CN116962729A publication Critical patent/CN116962729A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种双摄像头直播方法及显示设备、服务器,老师端触发目标直播课控件,显示包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口的第一直播界面。在开始直播时,触发上课按钮,启动并获取第一摄像头采集的第一画面,显示在老师视频窗口。在进行双摄像头直播时,老师端触发辅流启动按钮,启动并获取第二摄像头采集的第二画面,显示在讲义区播放窗口;通过服务器将第一画面和第二画面发送至学生端进行显示。可见,通过两个摄像头分别采集不同的教学画面,且将辅助教学内容与讲义内容共用一个播放窗口,以增大显示效果。老师端可对两个摄像头采集的画面在两个播放窗口间进行灵活动态切换,操作简单便利,提高用户的上课体验。

Description

一种双摄像头直播方法及显示设备、服务器
技术领域
本申请涉及互联网技术领域,尤其涉及一种双摄像头直播方法及显示设备、服务器。
背景技术
随着显示设备的快速发展,显示设备的功能将越来越丰富,性能也越来越强大,目前,显示设备包括智能电视、智能手机、电脑,以及带有智能显示屏幕的产品等。在利用显示设备实现的不同场景中,直播课(在线直播上课)是一种实现在线教育且发展迅速的场景之一。在利用显示设备进行在线直播上课时,显示设备内可配置直播课程序。
在线直播课堂上课时,需要模拟真实上课场景,老师的画面和老师在黑板上的板书内容均需被学生看到。但是,目前的直播课通常采用一个摄像头同时拍摄老师和黑板的画面来进行直播。如需在直播过程中切换其他画面时,需由专门的工作人员手动挪动摄像头位置来解决,操作非常不灵活,影响直播课的进度和效果。
发明内容
本申请提供了一种双摄像头直播方法及显示设备、服务器,以解决直播时操作不灵活的问题。
第一方面,本申请提供了一种显示设备,包括:显示器,被配置为显示用户界面;第一摄像头,被配置为采集第一画面;第二摄像头,被配置为采集第二画面;分别与所述显示器、第一摄像头和第二摄像头连接的控制器,所述控制器被配置为:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,所述第一直播界面中包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口中的至少一种;
响应于触发所述上课按钮产生的开始直播指令,在所述讲义区播放窗口显示白板内容,启动并获取所述第一摄像头采集的第一画面,将所述第一画面显示在老师视频窗口,以及,将所述第一画面作为主视频流通过服务器发送至学生端显示设备进行显示;
响应于触发所述辅流启动按钮产生的双摄像头直播指令,启动并获取所述第二摄像头采集的第二画面,将所述第二画面显示在讲义区播放窗口,以及,将所述第二画面作为辅视频流通过服务器发送至学生端显示设备进行显示。
第二方面,本申请还提供了一种显示设备,包括:显示器,被配置为显示用户界面;与所述显示器连接的控制器,所述控制器被配置为:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第二直播界面,所述第二直播界面中包括老师视频窗口和讲义区播放窗口中的至少一种;
接收老师端显示设备通过服务器发送的目标视频流,获取所述目标视频流携带的视频流标识,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述视频流标识表征目标视频流为主视频流,则将所述主视频流显示在老师视频窗口;
如果所述视频流标识表征目标视频流包括主视频流和辅视频流,则将所述主视频流显示在老师视频窗口,将所述辅视频流显示在讲义区播放窗口。
第三方面,本申请还提供了一种服务器,包括:控制器,被配置为:
接收老师端显示设备在开始直播后发送的目标视频流,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述目标视频流为第一摄像头采集的第一画面,则为所述第一画面配置主视频流标识,以及,将携带主视频流标识的第一画面作为主视频流发送至学生端显示设备进行显示;
如果所述目标视频流为第二摄像头采集的第二画面,则为所述第二画面配置辅视频流标识,以及,将携带辅视频流标识的第二画面作为辅视频流发送至学生端显示设备进行显示。
第四方面,本申请还提供了一种双摄像头直播方法,应用于老师端显示设备,所述方法包括:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,所述第一直播界面中包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口中的至少一种;
响应于触发所述上课按钮产生的开始直播指令,在所述讲义区播放窗口显示白板内容,启动并获取所述第一摄像头采集的第一画面,将所述第一画面显示在老师视频窗口,以及,将所述第一画面作为主视频流通过服务器发送至学生端显示设备进行显示;
响应于触发所述辅流启动按钮产生的双摄像头直播指令,启动并获取所述第二摄像头采集的第二画面,将所述第二画面显示在讲义区播放窗口,以及,将所述第二画面作为辅视频流通过服务器发送至学生端显示设备进行显示。
第五方面,本申请还提供了一种双摄像头直播方法,应用于学生端显示设备,所述方法包括:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第二直播界面,所述第二直播界面中包括老师视频窗口和讲义区播放窗口中的至少一种;
接收老师端显示设备通过服务器发送的目标视频流,获取所述目标视频流携带的视频流标识,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述视频流标识表征目标视频流为主视频流,则将所述主视频流显示在老师视频窗口;
如果所述视频流标识表征目标视频流包括主视频流和辅视频流,则将所述主视频流显示在老师视频窗口,将所述辅视频流显示在讲义区播放窗口。
第六方面,本申请还提供了一种双摄像头直播方法,应用于服务器,所述方法包括:
接收老师端显示设备在开始直播后发送的目标视频流,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述目标视频流为第一摄像头采集的第一画面,则为所述第一画面配置主视频流标识,以及,将携带主视频流标识的第一画面作为主视频流发送至学生端显示设备进行显示;
如果所述目标视频流为第二摄像头采集的第二画面,则为所述第二画面配置辅视频流标识,以及,将携带辅视频流标识的第二画面作为辅视频流发送至学生端显示设备进行显示。
第七方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可存储有程序,该程序执行时可实现包括本申请提供的双摄像头直播方法各实施例中的部分或全部步骤。
本发明实施例提供一种双摄像头直播方法及显示设备、服务器,老师端触发目标直播课控件,显示包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口的第一直播界面。在开始直播时,触发上课按钮,启动并获取第一摄像头采集的第一画面,显示在老师视频窗口。在进行双摄像头直播时,老师端触发辅流启动按钮,启动并获取第二摄像头采集的第二画面,显示在讲义区播放窗口;通过服务器将第一画面和第二画面发送至学生端进行显示。在进行画面切换时,老师端触发切换按钮,老师端和学生端同步将第一画面显示在讲义区播放窗口,将第二画面显示在老师视频窗口。可见,通过两个摄像头分别采集不同的教学画面,且将辅助教学内容与讲义内容共用一个播放窗口,以增大显示效果。老师端可对两个摄像头采集的画面在两个播放窗口间进行灵活动态切换,操作简单便利,提高用户的上课体验。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;
图2示出了根据一些实施例的控制装置100的硬件配置框图;
图3示出了根据一些实施例的显示设备200的硬件配置框图;
图4示出了根据一些实施例的显示设备200中软件配置图;
图5示出了根据一些实施例的老师端显示设备执行双摄像头直播方法的流程图;
图6示出了根据一些实施例的双摄像头直播方法的时序图;
图7示出了根据一些实施例的老师端显示设备显示的第一直播界面的示意图;
图8示出了根据一些实施例的学生端显示设备显示的第二直播界面的示意图;
图9示出了根据一些实施例的第一直播界面中讲义区播放窗口显示讲义内容的示意图;
图10示出了根据一些实施例的在第一直播界面中显示辅流设置弹窗的示意图;
图11示出了根据一些实施例的在讲义区播放窗口显示第二画面的示意图;
图12示出了根据一些实施例的在第一直播界面中显示切换后主辅视频流的示意图;
图13示出了根据一些实施例的学生端显示设备执行双摄像头直播方法的流程图;
图14示出了根据一些实施例的在第二直播界面中显示切换后主辅视频流的示意图;
图15示出了根据一些实施例的服务器执行双摄像头直播方法的流程图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请实施方式提供的显示设备可以具有多种实施形式,例如,可以是电视、智能电视、电脑、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等。图1和图2为本申请的显示设备的一种具体实施方式。
图1示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图。如图1所示,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。
在一些实施例中,也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中,显示设备可以不使用上述的智能设备或控制设备接收指令,而是通过触摸或者手势等接收用户的控制。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
图2示出了根据一些实施例的控制装置100的硬件配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
图3示出了根据一些实施例的显示设备200的硬件配置框图。如图3,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器260可为液晶显示器、OLED显示器、以及投影显示器,还可以为一种投影装置和投影屏幕。
通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
用户接口,可用于接收控制装置100(如:红外遥控器等)的控制信号。
检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM Random AccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图4示出了根据一些实施例的显示设备200中软件配置图。参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图4所示,本申请一些实施例中应用程序框架层包括管理器(Managers),提供器(Content Provider)、网络管理系统等,其中管理器包括以下模块中的至少一个:活动管理器(Activity Manager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(Notification Manager)用于控制通知消息的显示和清除;窗口管理器(WindowManager)用于管理用户界面上的图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,显示设备中可配置不同的应用程序,以使显示设备提供不同的功能,丰富用户体验。例如,可在显示设备中配置直播课程序,以利用显示设备实现在线直播上课、远程会议、实时游戏直播、电子白板分享等应用场景。配置有直播课程序的显示设备可应用在任何教学机构,包括学校、补课机构等。在显示设备上进行教学直播时,可以提供给用户大屏体验,利用显示设备可以展示更多的教学内容以及教学直播过程中所需的操作功能等。
在一些实施例中,直播课程序除应用在显示设备端外,还可配置在手机端、Pad端和PC客户端等。
在一些实施例中,显示设备包括显示器和控制器,显示器用于呈现直播教学界面,控制器用于根据直播相关操作,实现教学直播。直播课程序包括第一程序和第二程序,第一程序为老师端显示设备中配置的直播课程序,在启动第一程序时,在显示器中展示第一直播界面;第二程序为学生端显示设备中配置的直播课程序,在启动第二程序时,在显示器中展示第二直播界面。
在线直播课堂上课时,需要模拟真实上课场景,老师的画面和老师在黑板上的板书内容均需被学生看到。但是,目前的直播课通常采用一个摄像头同时拍摄老师和黑板的画面来进行直播。如需在直播过程中切换其他画面,或者老师画面和黑屏画面进行切换显示时,需由专门的工作人员手动挪动摄像头位置来解决,操作非常不灵活,影响直播课的进度和效果。
因此,为了在直播过程中,能够灵活切换画面,本发明实施例提供一种显示设备,其配置有两个摄像头,由第一摄像头采集老师画面,由第二摄像头采集黑板画面,老师画面和黑板画面分别显示在对应的播放窗口中。以及,在老师端显示设备中配置切换入口,以便老师可以动态切换两个播放窗口中的画面,用户体验好。并且,用户可自定义两个摄像头的拍摄参数,也可在直播过程中动态修改拍摄参数,以节省网络资源。
在一些实施例中,两个摄像头均可为显示设备内置的摄像头;也可其中一个为内置摄像头,另一个为外接摄像头;还可两个摄像头均为外接摄像头。
在一些实施例中,第一摄像头用于采集第一画面,第一画面可为老师画面,因此,第一摄像头朝向老师的面部。第二摄像头用于采集第二画面,第二画面可为黑板画面,即老师手动书写板书的画面,因此,第二摄像头朝向老师在所处位置布置的黑板或书桌等位置。
图5示出了根据一些实施例的老师端显示设备执行双摄像头直播方法的流程图;图6示出了根据一些实施例的双摄像头直播方法的时序图。本发明实施例提供的一种显示设备,应用于老师端显示设备,包括:显示器,被配置为显示用户界面;第一摄像头,被配置为采集第一画面;第二摄像头,被配置为采集第二画面;分别与显示器、第一摄像头和第二摄像头连接的控制器,在执行图5和图6所示的双摄像头直播方法时,控制器被配置为执行下述步骤:
S11、响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,所述第一直播界面中包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口中的至少一种。
老师端显示设备内配置第一程序(直播课程序),因此,在启动老师端显示设备后,在设备主页显示第一程序图标。用户通过手动或语音方式触发第一程序图标,生成直播课首页展示在显示器中。
直播课首页展示有至少一个直播课控件,每个直播课控件用于创建一个对应的直播间,进行老师和学生的在线直播课堂。在老师基于时间点触发目标直播课控件时,产生启动指令,实现基于目标直播课的在线上课,并在显示器中切换显示第一直播界面。
在一些实施例中,控制器在执行响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,被进一步配置为:
步骤111、响应于触发用户界面中目标直播课控件产生的启动指令,从服务器获取与目标直播课对应的音视频SDK标识和消息SDK标识,音视频SDK标识是指用于实现直播间音视频收发操作的音视频SDK的标识,消息SDK标识是指用于实现直播间聊天消息收发操作的消息SDK的标识。
步骤112、基于音视频SDK标识和消息SDK标识,创建与目标直播课对应的目标直播间,并显示用于呈现目标直播间的第一直播界面。
为实现在线直播上课,老师端和学生端均需进入同一个直播间,且需要进行老师端和学生端之间的音视频流和消息流的传输。因此,在老师端通过触发老师端显示设备中显示的目标直播课控件进入目标直播间时,携带目标直播课ID,先从服务器中获取对应的音视频SDK标识和消息SDK标识。SDK(Software Development Kit),为软件开发工具包。
音视频SDK标识即为音视频SDK房间号,消息SDK标识即为消息群组ID。调用SDK方法,携带音视频SDK标识发送至音视频服务器以创建对应的目标直播间。同时,携带消息SDK标识发送至消息服务器以创建目标直播间对应的群组。
老师端显示设备通过群组向每个参与上课的学生端显示设备发送消息,学生端通过群组向另一学生端或老师端发送消息,消息包括但不限于老师与学生的互动消息、学生间的互动消息等。在老师端显示设备向每个参与上课的学生端显示设备发送信令时,信令包括但不限于上课信令、下课信令、主视频流和辅视频流等。消息和信令在老师端和学生端传递时,均携带目标直播课对应的音视频SDK标识和消息SDK标识。也就是说,老师与学生之间,学生与学生之间的消息/信令传递均基于目标直播课对应的音视频SDK标识和消息SDK标识来实现,使得老师端产生的消息/信令可发送至处于同一直播间的各个学生端,以保证老师和学生处于同一直播间进行直播上课。
在一些实施例中,学生端显示设备也通过步骤111和步骤112的方法加入目标直播间。老师端和每个学生端均位于同一直播间中,因此,可进行直播上课。此时,老师端显示设备生成并展示第一直播界面,用于呈现目标直播间,学生端显示设备生成并展示第二直播界面,用于呈现目标直播间。
图7示出了根据一些实施例的老师端显示设备显示的第一直播界面的示意图。参见图7,为便于老师端显示设备显示不同的播放窗口,以及,实现动态切换播放窗口的效果,第一直播界面中包括控件栏、消息对话框、老师视频窗口和讲义区播放窗口中的至少一种。控件栏显示在第一直播界面的一侧,控件栏包括上课按钮、辅流启动按钮、课件控件、共享屏幕控件、学员控件等。上课按钮用于启动直播上课;辅流启动按钮用于启动辅流摄像头进行直播上课;课件控件用于触发显示课件/讲义等内容,包括文字内容或视频内容;共享屏幕控件用于向学生端分享屏幕显示内容;学员控件用于查看参与该直播课的所有学生信息。消息对话框用于实现消息发送,老师视频窗口用于在初始状态显示老师画面,讲义区播放窗口用于在初始状态显示讲义内容。
在开始上课前,老师视频窗口和讲义区播放窗口均显示空白内容;如果老师端在开始上课前点击课件控件,则在讲义区播放窗口显示课件内容。在老师端点击上课按钮后,且在点击上课按钮之前预先已调出课件内容时,则在讲义区播放窗口显示课件内容,在老师视频窗口显示老师画面。在老师端点击上课按钮后,且在点击上课按钮之前未预先调出课件内容时,则在讲义区播放窗口显示白板内容,在老师视频窗口显示老师画面。
图8示出了根据一些实施例的学生端显示设备显示的第二直播界面的示意图。参见图8,由于学生端的操作要少于老师端的操作,因此,第二直播界面的操作按钮要少于第一直播界面的操作按钮。第二直播界面包括消息对话框、老师视频窗口和讲义区播放窗口中的至少一种。
第二直播界面中的老师视频窗口和讲义区播放窗口展示样式和呈现内容可与第一直播界面的呈现方式相对应。
S12、响应于触发上课按钮产生的开始直播指令,在讲义区播放窗口显示白板内容,启动并获取第一摄像头采集的第一画面,将第一画面显示在老师视频窗口,以及,将第一画面作为主视频流通过服务器发送至学生端显示设备进行显示。
在老师和各个学生均进入同一直播间后,老师端即可操作直播上课。此时,老师触发第一直播界面中的上课按钮,产生开始直播指令,即上课信令,并通过消息服务器发送至学生端显示设备,使得学生端进入准备上课状态。
在老师端触发上课按钮后进入准备上课状态,此时,开启用于采集老师画面的第一摄像头,将老师画面作为第一画面显示在第一直播界面中的老师视频窗口中。如果老师击上课按钮之前,未预先调出课件内容时,则在第一直播界面中的讲义区播放窗口中显示白板内容,如图7所示。
同理,在刚进入直播间时,直播间为暂停状态,即还未进行直播上课,因此,学生端显示直播间暂停状态图(未上课遮罩)。在老师端开启第一摄像头,学生端跟随老师端进入准备上课状态,学生端收到老师端发送的上课信令时隐藏暂停直播状态图,且在第二直播界面中的老师视频窗口显示老师画面,在第二直播界面中的讲义区播放窗口中显示白板内容。
在一些实施例中后,如果老师端开始进行内容讲解,那么可触发课件控件以选取目标讲义内容显示在讲义区播放窗口中。讲义内容可在老师端点击上课按钮之前即调出显示,也可在老师端点击上课按钮后再调出显示。
图9示出了根据一些实施例的第一直播界面中讲义区播放窗口显示讲义内容的示意图。参见图9,在开始直播之后,如果进行讲义内容展示,则老师触发课件控件,获取对应的讲义内容,并显示在讲义区播放窗口。此时,老师端显示设备通过音视频服务器向学生端显示设备发送信令,使得第二直播界面中的讲义区播放窗口同步显示讲义内容。同时,还可在讲义区播放窗口的底部显示课件预览区,课件预览区用于以缩略图的形式显示讲义内容的每一页面的内容。课件预览区仅显示在老师端的第一直播界面中,并不显示在学生端的第二直播界面中。
在老师端未调出讲义内容时,讲义区播放窗口可在不对第一直播界面中其他布局内容造成遮挡的前提下最大限度占据第一直播界面的空间;在老师端调出讲义内容后,为便于显示课件预览区,可将讲义区播放窗口的占据空间从纵向方向上减少,即展示课件预览区时的讲义区播放窗口小于未展示课件预览区时的讲义区播放窗口。
在一些实施例中,在开始进行直播上课时,第一直播界面和第二直播界面中的老师视频窗口中显示老师画面(即第一画面),讲义区播放窗口中显示白板内容(未预先调出课件时),如图7所示。在基于展示内容进行直播上课时,第一直播界面和第二直播界面中的老师视频窗口中显示老师画面(即第一画面),讲义区播放窗口中显示讲义内容,如图9所示。
在一些实施例中,由于老师端显示设备连接有两个摄像头,那么在直播上课时,需确定哪一个作为拍摄老师画面的主流摄像头,哪个作为拍摄其他教学位置,如黑板画面的辅流摄像头。因此,控制器在执行响应于触发上课按钮产生的开始直播指令,启动并获取第一摄像头采集的第一画面,将第一画面显示在老师视频窗口,被进一步配置为:
步骤121、响应于触发上课按钮产生的开始直播指令,选取第一摄像头作为用于拍摄第一画面的主流摄像头,以及,设置主流摄像头的主流拍摄参数。
步骤122、启动主流摄像头,以及,获取主流摄像头基于主流拍摄参数采集的第一画面,将第一画面作为主视频流显示在老师视频窗口中。
老师点击上课按钮开始直播的同时,调用摄像头ID设置方法,设置当前默认主流摄像头。在选择主流摄像头时,可从摄像头列表中获取第一个摄像头作为主流摄像头;或者,由用户自定义选取一个作为主流摄像头。
为主流摄像头配置主流ID,同时,调用摄像头拍摄参数设置方法,为主流摄像头配置主流拍摄参数。主流拍摄参数包括但不限于分辨率、宽高尺寸等。主流分辨率可获取系统默认参数,示例性的,主流分辨率为480P。
在选出主流摄像头后,基于主流ID调用音视频sdk方法打开主流摄像头。主流摄像头基于主流拍摄参数实时采集第一画面。而后,调用渲染主流方法,在老师视频窗口渲染老师画面。
在一些实施例中,主流为开始直播后推送的第一路视频流,因此,将第一摄像头(主流摄像头)采集的第一画面作为主视频流。
因此,在老师端的第一摄像头采集到第一画面后,老师端显示设备将采集的第一画面作为主视频流推送到音视频服务器。音视频服务器接收到老师端发送的主视频流后,发送主流连接的视频信令至各个学生端显示设备。
音视频服务器在生成主流连接的视频信令时,为主视频流配置主视频流标识,而后基于老师ID、视频流ID、主视频流标识、主视频流层级、可用标识、音视频SDK标识和消息SDK标识等生成主流连接的视频信令。老师ID用于表征老师,视频流ID用于表征主视频流,主视频流标识用于表征主视频流类型,可用标识用于表征主视频流可被传输至学生端。
学生端显示设备在接收到服务器发送的视频信令后,判断视频流标识为主视频流标识,则在老师视频组件中调用音视频订阅视频流方法,向服务器订阅该视频流。服务器收到此订阅消息后,向学生端显示设备发送主视频流,并在订阅组件中进行渲染,即将第一画面作为主视频流显示在学生端显示设备提供的第二直播界面的老师视频窗口中。
S13、响应于触发辅流启动按钮产生的双摄像头直播指令,启动并获取第二摄像头采集的第二画面,将第二画面显示在讲义区播放窗口,以及,将第二画面作为辅视频流通过服务器发送至学生端显示设备进行显示。
在直播上课过程中,如果老师端想要推送第二路视频流,则需要通过双摄像头实现,第二路视频流为辅流。此时,老师触发第一直播界面中的辅流启动按钮,产生双摄像头直播指令,以启动第二摄像头进行第二画面的采集,第二画面显示在讲义区播放窗口,第二摄像头为辅流摄像头。
由于在直播上课时,讲义区播放窗口可能显示白板内容,也可显示讲义内容。因此,在讲义区播放窗口显示白板内容时,则在老师触发辅流启动按钮时,可直接启动第二摄像头进行第二画面的采集。而如果讲义区播窗口展示讲义内容,则在老师触发辅流启动按钮时,先将讲义内容停止显示,而后再启动第二摄像头进行第二画面的采集,以便由第二画面替换讲义内容展示在讲义区播放窗口。
在一些实施例中,由于第二摄像头采集的第二画面显示在讲义区播放窗口,为便于用户能够更加清晰地观看第二画面,因此,第二摄像头的拍摄参数可与第一摄像头的拍摄参数不同。示例性的,第二摄像头的拍摄参数优于第一摄像头的拍摄参数。且为便于第二摄像头的拍摄参数可实时修改,可通过在第一直播界面中弹出辅流设置弹窗的方式,实现对第二摄像头的拍摄参数的设置。
因此,控制器在执行响应于触发辅流启动按钮产生的双摄像头直播指令,启动并获取第二摄像头采集的第二画面,将第二画面显示在讲义区播放窗口,被进一步配置为执行下述步骤:
步骤131、响应于触发辅流启动按钮产生的双摄像头直播指令,在第一直播界面中显示包括参数选择框和确定按钮的辅流设置弹窗,参数选择框用于设置辅流摄像头的辅流拍摄参数。
步骤132、基于参数选择框选取第二摄像头作为用于拍摄第二画面的辅流摄像头,以及,设置辅流摄像头的辅流拍摄参数后,响应于触发确定按钮产生的指令,启动辅流摄像头。
步骤133、获取辅流摄像头基于辅流拍摄参数采集的第二画面,将第二画面作为辅视频流显示在讲义区播放窗口。
在老师触发第一直播界面中的辅流启动按钮后,即可开启第二摄像头。此时,需先设定第二摄像头的拍摄参数,因此,在触发辅流启动按钮后,即可在第一直播界面中弹出辅流设置弹窗。
图10示出了根据一些实施例的在第一直播界面中显示辅流设置弹窗的示意图。参见图10,辅流设置弹窗包括参数选择框和确定按钮。参数选择框用于设置辅流摄像头的辅流拍摄参数,如摄像头、分辨率、镜像等。
老师基于参数选择框选取第二摄像头作为用于拍摄第二画面的辅流摄像头,为辅流摄像头配置辅流ID。在选择第二摄像头时,可从摄像头列表中获取第二个摄像头作为辅流摄像头;或者,由用户自定义选取一个作为辅流摄像头。分辨率可选取高分辨率参数,如480P、720P、1080P等;镜像可选择是否开启或关闭。辅流设置弹窗中还可包括摄像头画面预览区,用于预览第二摄像头所采集的画面。
在基于参数选择框选择辅流摄像头和设置辅流摄像头的辅流拍摄参数后,老师触发辅流设置弹窗中的确定按钮,调用摄像头拍摄参数设置方法完成对辅流摄像头的辅流拍摄参数的设定;然后基于辅流ID调用音视频SDK方法开启辅流摄像头。辅流摄像头基于辅流拍摄参数采集的第二画面,而后调用渲染辅流方法,将第二画面作为辅视频流显示在讲义区播放窗口。
在一些实施例中,在老师端启动第二摄像头时,第二摄像头采集的画面与讲义内容显示在同一讲义区播放窗口,因此,此时存在讲义区播放窗口切换内容显示的场景。在启动第二摄像头使得讲义区播放窗口中的展示内容由讲义内容切换为第二画面时,由于讲义区播放窗口不再显示讲义内容,那么课件预览区也无需显示,此时,可将讲义区播放窗口的占据空间增大,以不对第一直播界面中其他布局内容造成遮挡的前提下最大限度占据第一直播界面的空间。此时,在启动第二摄像头前后,讲义区播放窗口的尺寸由小变大。
在一些实施例中,在启动第二摄像头使得讲义区播放窗口中的展示内容由讲义内容切换为第二画面时,为便于老师端再次切换回讲义内容进行显示,在第一直播界面中的讲义区播放窗口的下方显示tab区,tab区显示讲义tab,讲义tab用于触发讲义内容的显示。讲义内容包括文本讲义或视频讲义,因此,讲义tab还包括文本讲义tab和视频讲义tab。
图11示出了根据一些实施例的在讲义区播放窗口显示第二画面的示意图。参见图11,在一些实施例中,第二画面为黑板画面,如黑板画面为老师在手绘兔子图案。为便于学生能看清楚黑板画面,即老师手动书写的教学内容,将黑板画面显示在讲义区播放窗口中。
在一些实施例中,双摄像头直播场景可由老师自定义开启或关闭,那么第二摄像头采集的画面并非在初始触发上课按钮时即采集并显示,因此,可将第二摄像头采集的第二画面作为辅视频流进行展示。
在一些实施例中,如果老师首次启动双摄功能,则在第一直播界面中显示包括参数选择框和确定按钮的辅流设置弹窗,以设置辅流摄像头的辅流拍摄参数。而如果后续使用时,老师触发辅流启动按钮,可直接按照以前设置的参数启动第二摄像头,而不显示辅流设置弹窗。如果用户需要对第二摄像头的辅流拍摄参数进行修改,则可通过触发第一直播界面中的设置按钮,再次调出辅流设置弹窗进行重新设置。
在老师端的第二摄像头采集到第二画面后,老师端显示设备将采集的第二画面作为辅视频流推送到音视频服务器。音视频服务器接收到老师端发送的主视频流后,发送辅流连接的视频信令至各个学生端显示设备。
音视频服务器在生成辅流连接的视频信令时,为辅视频流配置辅视频流标识,而后基于老师ID、视频流ID、辅视频流标识、辅视频流层级、可用标识、音视频SDK标识和消息SDK标识等生成辅流连接的视频信令。视频流ID用于表征辅视频流,辅视频流标识用于表征辅视频流类型,可用标识用于表征辅视频流可被传输至学生端。
学生端显示设备在接收到服务器发送的视频信令后,判断视频流标识为辅视频流标识,则在老师讲义区辅流视频组件中调用音视频订阅视频流方法,向服务器订阅该视频流。服务器收到此订阅消息后,向学生端显示设备发送辅视频流,并在订阅组件中进行渲染,即将第二画面作为辅视频流显示在学生端显示设备提供的第二直播界面的讲义区播放窗口中。在此过程中,主视频流仍处于传递状态,即学生端显示设备仍在显示主视频流。
在一些实施例中,在老师端启动双摄功能时,同时存在主视频流和辅视频流,主视频流和辅视频流的分辨率可能不同。造成主辅视频流分辨率不同的原因可为老师端手动设置的、老师端向服务器上传某一视频流因网络原因自动降级(主/辅视频流层级)导致的,或者由目标直播课对应的直播间自动设置的。
在一些实施例中,在老师端产生主视频流和辅视频流时,主视频流中携带主视频流标识,辅视频流中携带辅视频流标识,以进行区分。无论是在老师端还是在学生端,老师视频窗口基于主视频流标识显示对应内容,讲义区播放窗口基于辅视频流标识显示对应内容。
在一些实施例中,由于老师视频窗口显示老师画面,讲义区播放窗口显示讲义内容或黑板画面。因此,为保证学生和老师都能清晰地观看教学内容,可设定讲义区播放窗口的尺寸大于老师视频窗口,呈现大小屏的直播效果。
可见,该老师端显示设备在进行双摄像头直播时,可自行开启两个摄像头分别采集不同的教学画面,一个摄像头采集老师画面,一个摄像头采集黑板画面。老师画面显示在直播界面的老师视频窗口(老师端和学生端),黑板画面显示在直播界面的讲义区播放窗口(老师端和学生端)。黑板画面与讲义内容共用一个播放窗口,以增大显示效果。且可为不同的摄像头设置不同的拍摄参数,以便节省网络资源。
在一些实施例中,再次参见图11,在老师端开启双摄像头直播时,第一直播界面的tab区增加显示辅流tab。如果辅流tab被选中,说明第二摄像头采集的第二画面被显示在讲义区播放窗口中。
在一些实施例中,第一直播界面在生成并显示时可同步在tab区显示辅流tab。在老师端未开启双摄像头直播时,如果老师点击辅流tab,则讲义区播放窗口切换显示的内容为空白画面;在老师端开启双摄像头直播后,如果老师点击辅流tab,则讲义区播放窗口切换显示第二摄像头采集的第二画面。
那么,在不需要进行双摄像头直播时,控制器被进一步配置为:响应于在tab区中将辅流tab切换为讲义tab的操作,关闭第二摄像头,停止通过服务器向学生端显示设备发送辅视频流,以及,在讲义区播放窗口切换显示讲义内容。
在老师端无需向学生展示其手动书写的教学内容时,老师可通过切换tab的方式实现讲义区播放窗口中展示内容的切换。那么,在老师基于tab区将辅流tab切换为讲义tab时,即讲义tab被选中时,则黑板画面无需继续呈现,那么可关闭第二摄像头。
第二摄像头被关闭后,辅视频流不再生成,因此,基于辅流ID调用音视频sdk方法停止辅流推送,并移除辅流视频控件。服务器收到此方法调用时,发送辅流端口信令至学生端显示设备。辅流端口信令包括老师ID、视频流ID、辅视频流标识、不可用标识、音视频SDK标识和消息SDK标识等。辅视频流标识用于表征辅视频流类型,不可用标识用于表征辅视频流不可被传输至学生端。
学生端显示设备在接收到服务器发送的视频信令后,判断视频流标识为辅视频流标识,且基于不可用标识和辅视频流ID移除辅视频流的订阅,并移除对应辅流组件,即关闭第二摄像头,并在讲义区播放窗口显示原讲义内容。
在一些实施例中,在执行tab切换后,第二摄像头被关闭时,tab区中的辅流tab被取消显示。
在一些实施例中,在执行tab切换时,第二摄像头还可仍处于开启状态,仅停止通过服务器向学生端显示设备发送辅视频流,以及,在讲义区播放窗口切换显示讲义内容。此时,tab区中的辅流tab仍进行显示。若老师还需展示第二摄像头采集的黑板画面,则再将辅流tab选中,以再将第二摄像头当前采集的黑板画面同步显示在老师端和学生端的讲义区播放窗口中。
在一些实施例中,在直播上课过程中,老师可对第二摄像头的辅流拍摄参数进行修改。该方案可发生作为辅流摄像头的第二摄像头出现故障无法使用需更换第三摄像头作为辅流摄像头继续采集黑板画面的场景,还可发生在修改镜像参数的场景,还可发生在视频卡顿时降低分辨率的场景,还可发生在视频传输流畅时增加分辨率的场景等。
那么,在需要对辅流拍摄参数进行修改时,控制器被进一步配置为执行下述步骤:
步骤141、响应于触发第一直播界面中设置按钮产生的指令,在第一直播界面中弹出辅流设置弹窗,以及,停止通过服务器向学生端显示设备发送辅视频流。
步骤142、在基于辅流设置弹窗完成对辅流拍摄参数的修改时,取消辅流设置弹窗的显示,以及,继续通过服务器向学生端显示设备发送修改后的辅流拍摄参数对应的辅视频流。
再次参见图10,为便于老师能够实时对辅流摄像头的辅流拍摄参数进行修改,可在老师端点击辅流启动按钮时,同步在第一直播界面中显示设置按钮。老师触发设置按钮,重新在第一直播界面中弹出辅流设置弹窗,图10中的讲义区播放窗口中和摄像头画面的预览框中均显示第二画面,如老师手绘的兔子图案。
在一些实施例中,在触发设置按钮时,可先停止辅视频流向学生端的推流,学生端的讲义区播放窗口显示白板内容,具有实现方式可参照前述内容,此处不进行赘述。
在一些实施例中,在触发设置按钮时,也可不停止辅视频流向学生端的推流,而是按照之前的参数通过服务器向学生端发送辅视频流,此时学生端的讲义区播放窗口依然显示原辅流拍摄参数对应的辅视频流。而在老师端重新对辅视频流的拍摄参数修改后,再基于修改后的新辅流拍摄参数将采集的辅视频流通过服务器发生至学生端进行显示,学生端的讲义区播放窗口继续显示新辅流拍摄参数对应的辅视频流。
在老师基于辅流设置弹窗完成对任一辅流拍摄参数的修改后,触发辅流设置弹窗中的确定按钮,取消辅流设置弹窗的显示。同时,辅流摄像头基于修改后的辅流拍摄参数继续采集第二画面,而后,继续通过服务器向学生端显示设备发送新采集的辅视频流。可见,通过手动降低当前推流分辨率方式来保证学生端的视频流畅度。辅视频流的推流过程可参照前述内容,此处不进行赘述。
在一些实施例中,第一摄像头和第二摄像头的拍摄参数不同,使得主视频流和辅视频流的分辨率不同,进而老师视频窗口和讲义区播放窗口的显示分辨率不同。由于讲义区播放窗口为大尺寸显示窗口,老师视频窗口为小尺寸显示窗口,因此,第二摄像头的拍摄参数优于第一摄像头的拍摄参数,进而讲义区播放窗口的显示分辨率优于老师视频窗口的显示分辨率。两个播放窗口采用不同的分辨率,可减少主视频流所占用的网络资源。
在一些实施例中,第一摄像头和第二摄像头的拍摄参数相同,使得主视频流和辅视频流的分辨率相同,进而老师视频窗口和讲义区播放窗口的显示分辨率相同。
在一些实施例中,第一摄像头采集主视频流数据并显示在老师视频窗口,第二摄像头采集辅视频流数据并显示在讲义区播放窗口。那么基于实际的课堂布置情况,老师还可将黑板布置在老师所在位置的后方,即第一摄像头在采集老师画面的同时,可同步采集到黑板画面。
那么在一种可行的场景中,老师在书桌上布置一个手动书写面板,在老师的后方布置一个黑板。此时,第一摄像头朝向老师,第二摄像头朝向书桌。在双摄像头直播上课时,第一摄像头采集老师画面,第二摄像头采集书桌上的书写面板。即老师视频窗口显示老师画面,讲义区播放窗口显示书写面板中的书写内容。
如果老师需要在黑板上进行书写,以增加书写面积,则由第一摄像头采集黑板画面显示在老师视频窗口。而如果老师视频窗口的尺寸小于讲义区播放窗口的尺寸,因此,为便于学生能够清晰地观看到老师在黑板中的书写内容,则可将显示在老师视频窗口的黑板画面切换至讲义区播放窗口中进行展示,而老师视频窗口显示第二摄像头采集的书写面板内容。
那么在另一种可行的场景中,如果需要学生观看到老师的手部教学动作等情况,也可将第一摄像头采集的第一画面切换显示在讲义区播放窗口中。
因此,为实现大小屏播放窗口的切换,再次参见图10,可在老师端点击辅流启动按钮时,同步在第一直播界面中显示切换按钮,切换按钮用于实现第一摄像头和第二摄像头采集画面的切换显示,即主辅视频流的切换显示。此时,控制器被进一步配置为执行下述步骤:
步骤151、在第一直播界面中的老师视频窗口显示第一画面、讲义区播放窗口显示第二画面时,接收对切换按钮的触发,将第一画面作为辅视频流显示在讲义区播放窗口,以及,将第二画面作为主视频流显示在老师视频窗口。
步骤152、向服务器发送切换指令,切换指令用于指示服务器将第一画面的视频流标识变更为辅视频流标识,将第二画面的视频流标识变更为主视频流标识。
在实现灵活切换两个播放窗口的画面时,可应用在两个摄像头均被开启的情况下。因此,可在第一直播界面中的老师视频窗口显示第一画面、讲义区播放窗口显示第二画面时,老师触发切换按钮,调用主辅流切换方法,向服务器发送切换指令。
图12示出了根据一些实施例的在第一直播界面中显示切换后主辅视频流的示意图。参见图12,在老师触发切换按钮后,在老师端显示设备中,第一直播界面的老师视频窗口基于主视频流标识显示第二画面(如手绘兔子图案),讲义区播放窗口基于辅视频流标识显示第一画面(如老师画面),进而完成主辅视频流的切换显示。
为实现主辅视频流数据的切换显示,由服务器响应切换指令对主视频流和辅视频流的视频流标识进行切换,即将第一画面的主视频流标识变更为辅视频流标识,将第二画面的辅视频流标识变更为主视频流标识。
在一些实施例中,老师端显示设备给服务器发的切换指令,和老师端上传切换后的主辅视频流数据,可采用异步发送的方式,以留有时间完成主辅视频流标识的变更。
在一些实施例中,在服务器进行视频流标识的切换时,同步生成切换通知,发送至学生端显示设备。远端学生端会先收到主辅流断开的回调,即停止接收服务器发送的目标视频流,并在老师视频窗口和讲义区播放窗口均显示白板内容。
白板内容为空白内容,不进行内容展示。在老师端产生切换指令时,老师端取消第一直播界面中的老师视频窗口和讲义区播放窗口的内容展示,切换展示空白内容;同时通过服务器发送切换通知至学生端,而后学生端显示设备响应切换通知,也取消第二直播界面中的老师视频窗口和讲义区播放窗口的内容展示,切换展示空白内容。
在服务器完成视频流标识的切换后,服务器继续向学生端发送主视频流和辅视频流,即在学生端在收到切换后的主辅流连接回调,重新调用订阅方法在老师视频窗口和讲义播放窗口渲染切换后的主辅流。此时,在学生端显示设备中,第二直播界面中的老师视频窗口基于主视频流标识显示第二画面,讲义区播放窗口基于辅视频流标识显示第一画面,进而完成主辅视频流的切换显示。
由于老师触发切换按钮后会控制学生端显示设备先展示白板内容再展示切换后的主辅视频流,但是由于切换操作为瞬时完成的操作,因此,从视觉效果上,学生端显示设备呈现“闪一下”的效果后即显示播放窗口切换后的内容。
在一些实施例中,为减少“闪一下”的视觉效果,可降低服务器在变更主辅视频流标识时的耗时,尽量使得老师端显示设备给服务器发的切换指令,和老师端上传切换后的主辅视频流数据,达成同步发送的方式。或者,在老师端触发大小窗口切换显示时,在老师端和学生端的老师视频窗口和讲义区播放窗口不再显示空白的白板内容,而是替换显示讲义内容。此时,讲义内容为老师启动双摄功能之前所展示的页面。
在一些实施例中,在实现灵活切换两个播放窗口的画面时,还可应用在一个摄像头被开启的情况下,此时老师视频窗口显示第一画面,讲义区播放窗口显示讲义内容。老师在触发切换按钮后,将讲义内容显示在老师视频窗口,将第一画面显示在讲义区播放窗口。
可见,该老师端显示设备在进行双摄像头直播时,可自行开启两个摄像头分别采集不同的教学画面,一个摄像头采集老师画面,一个摄像头采集黑板画面。学生端可以同时基于两个播放窗口观看老师直播上课,老师端可对两个摄像头采集的画面在两个播放窗口间进行灵活动态切换,操作简单便利,提高用户的上课体验。
图13示出了根据一些实施例的学生端显示设备执行双摄像头直播方法的流程图。参见图13,本发明实施例提供的一种显示设备,应用于学生端显示设备,包括:显示器,被配置为显示用户界面;与显示器连接的控制器,在执行图13所述的双摄像头直播方法时,控制器被配置为执行下述步骤:
S21、响应于触发用户界面中目标直播课控件产生的启动指令,显示第二直播界面,第二直播界面中包括老师视频窗口和讲义区播放窗口中的至少一种。
S22、接收老师端显示设备通过服务器发送的目标视频流,获取目标视频流携带的视频流标识,目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种。
S23、如果视频流标识表征目标视频流为主视频流,则将主视频流显示在老师视频窗口。
S24、如果视频流标识表征目标视频流包括主视频流和辅视频流,则将主视频流显示在老师视频窗口,将辅视频流显示在讲义区播放窗口。
学生端显示设备内配置第二程序(直播课程序),因此,在启动学生端显示设备后,在设备主页显示第二程序图标。用户通过手动或语音方式触发第二程序图标,生成直播课首页展示在显示器中。
直播课首页展示有至少一个直播课控件,每个直播课控件用于进入一个对应的直播间,进行老师和学生的在线直播课堂。在学生基于时间点触发目标直播课控件时,产生启动指令,实现基于目标直播课的在线上课,并在显示器中切换显示第二直播界面。
学生端在展示第二直播界面的过程可参照老师端展示第一直播界面的过程,学生端从服务器获取与目标直播课对应的音视频SDK标识和消息SDK标识,与老师端进入同一个目标直播课对应的目标直播间,以在学生端显示用于呈现目标直播间的第二直播界面。具体实现过程可参照前述内容,此处不进行赘述。
在老师端开始直播上课后,老师端显示设备通过服务器向学生端显示设备发送目标视频流。在开始上课时,目标视频流为第一摄像头采集的第一画面,为主视频流,即仅主视频流存在。在进行双摄像头直播时,目标视频流为第一摄像头采集的第一画面和第二摄像头采集的第二画面,第二摄像头采集的第二画面为辅视频流,即主视频流和辅视频流同时存在。老师端显示设备通过服务器向学生端显示设备发送目标视频流可参照前述实施例提供的老师端显示设备的执行过程,此处不赘述。
由于主视频流和辅视频流在第二直播界面中所展示的窗口不一致,因此,需从目标视频流中获取视频流标识。如果视频流标识表征目标视频流为主视频流,则将主视频流显示在老师视频窗口。如果视频流标识表征目标视频流包括主视频流和辅视频流,则将主视频流显示在老师视频窗口,将辅视频流显示在讲义区播放窗口。
此时存在至少两种实现场景,一种是在开始直播上课时,老师端仅开启第一摄像头还未开启第二摄像头,则目标视频流为作为主视频流的第一画面。因此,将第一画面显示在老师视频窗口,在讲义区播放窗口显示白板内容。
另一种是在进行双摄像头直播时,老师端开启第一摄像头和第二摄像头,则目标视频流包括作为主视频流的第一画面和作为辅视频流的第二画面。因此,将作为主视频流的第一画面显示在老师视频窗口,将作为辅视频流的第二画面显示在讲义区播放窗口。
如果在老师端开启双摄像头直播之前,老师端触发讲义内容显示在讲义区播放窗口,那么在开启双摄像头直播后,学生端需先将讲义内容停止显示,再显示作为辅视频流的第二画面。
在一些实施例中,在老师端实现对两个摄像头采集画面的切换显示时,学生端同步进行切换显示。此时,控制器被进一步配置为:
步骤251、如果老师视频窗口显示作为主视频流的第一画面、讲义区播放窗口显示作为辅视频流的第二画面,则在老师端显示设备进行摄像头采集画面切换显示时,接收服务器发送的切换通知,切换通知是指服务器在响应老师端显示设备在触发切换按钮产生的切换指令后生成的通知,切换指令用于指示服务器将第一画面的视频流标识变更为辅视频流标识,将第二画面的视频流标识变更为主视频流标识。
步骤252、响应于切换通知,停止接收服务器发送的目标视频流,以及,在老师视频窗口和讲义区播放窗口均显示白板内容。
步骤253、在完成摄像头采集画面切换显示时,继续接收服务器发送的携带辅视频流标识的第一画面和携带主视频流标识的第二画面。
步骤254、基于辅视频流标识将第一画面作为辅视频流显示在讲义区播放窗口,以及,基于主视频流标识将第二画面作为主视频流显示在老师视频窗口。
在老师端基于第一直播界面中的切换按钮控制两个摄像头采集的画面切换至对方的播放窗口进行显示时,老师端显示设备向服务器发送切换指令,以指示将第一画面的视频流标识变更为辅视频流标识,将第二画面的视频流标识变更为主视频流标识。同时,服务器产生切换通知发送给学生端显示设备。
学生端显示设备接收并响应切换通知,先停止两个播放窗口中的画面显示,即在老师视频窗口和讲义区播放窗口均显示白板内容。
图14示出了根据一些实施例的在第二直播界面中显示切换后主辅视频流的示意图。参见图14,在服务器完成主辅视频流标识的切换后,再继续接收服务器发送的携带辅视频流标识的第一画面和携带主视频流标识的第二画面,以基于辅视频流标识将第一画面作为辅视频流显示在讲义区播放窗口,以及,基于主视频流标识将第二画面作为主视频流显示在老师视频窗口。
学生端显示设备在切换两个摄像头采集画面的显示具体实现过程可参照前述实施例的内容,此处不进行赘述。
在一些实施例中,老师端显示设备的第一直播界面中只在老师视频窗口展示老师画面时,学生端显示设备的第二直播界面中也只在老师视频窗口展示老师画面。在老师端显示设备的第一直播界面中在老师视频窗口展示老师画面以及在讲义区播放窗口显示黑板画面时,学生端显示设备的第二直播界面中也在老师视频窗口展示老师画面以及在讲义区播放窗口显示黑板画面。
同理,在老师端显示设备通过切换画面进行大小屏切换显示时,学生端显示设备也同步进行大小屏切换显示。虽然老师触发切换按钮后会控制学生端显示设备先展示白板内容再展示切换后的主辅视频流,但是由于切换操作为瞬时完成的操作,因此,从视觉效果上,学生端显示设备呈现“闪一下”的效果后即显示播放窗口切换后的内容。
可见,该学生端显示设备在进行双摄像头直播时,可通过老师端显示设备自行开启的两个摄像头分别采集不同的教学画面,以使学生端可以同时基于两个播放窗口观看老师直播上课。并且,在老师端对两个摄像头采集的画面在两个播放窗口间进行灵活动态切换时,学生端也进行对应的画面切换显示,操作简单便利,提高用户的上课体验。
图15示出了根据一些实施例的服务器执行双摄像头直播方法的流程图。参见图15,本发明实施例提供的一种服务器,应用于音视频服务器,包括:控制器,在执行图15所示的双摄像头直播方法时,被配置为执行下述步骤:
S31、接收老师端显示设备在开始直播后发送的目标视频流,目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种。
S32、如果目标视频流为第一摄像头采集的第一画面,则为第一画面配置主视频流标识,以及,将携带主视频流标识的第一画面作为主视频流发送至学生端显示设备进行显示。
S33、如果目标视频流为第二摄像头采集的第二画面,则为第二画面配置辅视频流标识,以及,将携带辅视频流标识的第二画面作为辅视频流发送至学生端显示设备进行显示。
在直播上课过程中,服务器用于实现老师端显示设备和学生端显示设备之间的视频流传输和消息传输。因此,服务器可包括音视频服务器和消息服务器,由消息服务器实现老师端显示设备和学生端显示设备之间的视频流传输,由消息服务器实现老师端显示设备和学生端显示设备之间的消息传输。
服务器在接收到老师端显示设备发送的视频流后,如果从视频流中获取到主流ID,则说明目标视频流为第一摄像头采集的第一画面;如果从视频流中获取到辅流ID,则说明目标视频流为第二摄像头采集的第二画面;如果从视频流中获取到主流ID和辅流ID,则说明目标视频流为第一摄像头采集的第一画面和第二摄像头采集的第二画面。
学生端在接收到老师端通过服务器发送的主辅视频流时,由于学生端显示设备提供的第二直播界面包括两个播放窗口,为便于确定主视频流和辅视频流的显示位置,可由服务器为主视频流和辅视频流分别配置对应的视频流标识,以使得学生端能够基于主视频流标识在老师视频窗口显示第一画面,基于辅视频流标识在讲义区播放窗口显示第二画面。
在一些实施例中,在老师端控制进行画面切换时,为便于通知学生端也同步进行画面切换,则由服务器对主视频流和辅视频流的视频流标识进行切换,再基于切换后的视频流标识向学生端发送主视频流和辅视频流。
为此,在进行画面切换时,控制器被进一步配置为执行下述步骤:
步骤341、在进行摄像头采集画面切换显示时,响应于老师端显示设备在触发切换按钮产生的切换指令,将第一画面的视频流标识变更为辅视频流标识,将第二画面的视频流标识变更为主视频流标识,以及,向学生端显示设备发送切换通知,切换通知用于控制学生端显示设备提供的第二直播界面中的老师视频窗口和讲义区播放窗口均显示白板内容。
步骤342、在完成摄像头采集画面切换显示时,将携带辅视频流标识的第一画面和携带主视频流标识的第二画面发送至学生端显示设备,使得学生端显示设备提供的讲义区播放窗口基于辅视频流标识显示第一画面,老师视频窗口基于主视频流标识显示第二画面。
在老师端触发切换按钮拉起画面切换进程时,服务器接收到老师端显示设备发送的切换指令,实现主辅视频流的标识的切换,再基于切换后的视频流标识将对应的视频流发送至学生端显示设备,以使得学生端显示设备实现画面切换。
服务器所执行的配置主视频流和辅视频流的视频流标识以及切换视频流标识的具体实现过程,可参照前述任一实施例的内容,此处不进行赘述。
在一些实施例中,在利用服务器实现老师端显示设备和学生端显示设备之间的信息传输时,传输的流畅度由网络状态来决定。因此,为保证两个终端间视频流畅度,可采用分层推送视频流的方式。
为此,在传输视频流时,控制器被进一步配置为执行下述步骤:
步骤351、在实现老师端显示设备和学生端显示设备之间视频流的传输时,按照分辨率层级,将老师端显示设备发送的视频流转码为多层视频流,每层视频流对应一种分辨率,视频流是指主视频流和辅视频流中的至少一种。
步骤352、在将老师端显示设备发送的目标层视频流发送至学生端显示设备时,检测学生端显示设备接收视频流的丢包率。
步骤353、如果丢包率高于预设阈值,则基于下一分辨率层级将对应层视频流发送至学生端显示设备,下一分辨率层级低于目标层视频流对应的分辨率层级。
为保证两端视频传输的流畅度,服务器在接收到老师端显示设备发送的视频流时,在调用音视频SDK方法向学生端进行推流之前,会先将视频流按照分辨率层级划分为多层视频流。各个层视频流按照由高到低的顺序排序。
例如,在老师端设置的视频流为1920×1080分辨率的视频流时,服务器会将该视频流转码处理成三层视频流,如1920×1080、960×540、480×270三层视频流。
服务器将划分好的多层视频流发送至学生端显示设备,使得发送的视频流连接信令中包括视频流层级的信息。学生端显示设备在收到服务器发送的连接信令时,视频流层级信息就是这三层视频流的信息。而后,学生端在老师讲义区主(辅)流视频组件中调用音视频订阅视频流方法选择对应层视频流,向服务器订阅对应层视频流。
例如,学生端向服务器订阅1920×1080层视频流,而后服务器收到此订阅消息后,向学生端显示设备发送1920×1080的层视频流,并在订阅组件中进行渲染显示。
在视频流传输过程中,视频流畅度与网络状态息息相关,因此,由服务器实时检测学生端显示设备接收视频流的丢包率。如果丢包率高于预设阈值,如高于40%,说明当前网络状态差,则自动降低层级,将下一层视频流发送给学生端显示设备,来保证学生端的流畅度。
在一些实施例中,为了保证视频流畅度,还可采用手动降低分辨率的方式进行调节。例如,老师端触发第一直播界面的设置按钮弹出辅流设置弹窗,手动修改辅视频流的分辨率。通过手动降低当前推流分辨率方式来保证学生端的视频流畅度,具体实现过程可参照前述实施例的内容,此处不进行赘述。
可见,该服务器在进行双摄像头直播时,可对老师端显示设备发送的视频流类型配置对应的视频流标识,以便学生端可以基于不同的视频流标识将不同的画面显示在对应的两个不同播放窗口中,以观看老师直播上课。并且,在老师端对两个摄像头采集的画面在两个播放窗口间进行灵活动态切换时,服务器可对主视频流和辅视频流的视频流标识进行切换,将视频流标识切换后的主视频流和辅视频流继续发送至学生端,使得学生端也进行对应的画面切换显示,操作简单便利,提高用户的上课体验。
图5示出了根据一些实施例的老师端显示设备执行双摄像头直播方法的流程图。参见图5,本申请还提供了一种双摄像头直播方法,应用于老师端显示设备,所述方法包括:
S11、响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,所述第一直播界面中包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口中的至少一种;
S12、响应于触发所述上课按钮产生的开始直播指令,在所述讲义区播放窗口显示白板内容,启动并获取所述第一摄像头采集的第一画面,将所述第一画面显示在老师视频窗口,以及,将所述第一画面作为主视频流通过服务器发送至学生端显示设备进行显示;
S13、响应于触发所述辅流启动按钮产生的双摄像头直播指令,启动并获取所述第二摄像头采集的第二画面,将所述第二画面显示在讲义区播放窗口,以及,将所述第二画面作为辅视频流通过服务器发送至学生端显示设备进行显示。
图13示出了根据一些实施例的学生端显示设备执行双摄像头直播方法的流程图。参见图13,本申请还提供了一种双摄像头直播方法,应用于学生端显示设备,所述方法包括:
S21、响应于触发用户界面中目标直播课控件产生的启动指令,显示第二直播界面,所述第二直播界面中包括老师视频窗口和讲义区播放窗口中的至少一种;
S22、接收老师端显示设备通过服务器发送的目标视频流,获取所述目标视频流携带的视频流标识,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
S23、如果所述视频流标识表征目标视频流为主视频流,则将所述主视频流显示在老师视频窗口;
S24、如果所述视频流标识表征目标视频流包括主视频流和辅视频流,则将所述主视频流显示在老师视频窗口,将所述辅视频流显示在讲义区播放窗口。
图15示出了根据一些实施例的服务器执行双摄像头直播方法的流程图。参见图15,本申请还提供了一种双摄像头直播方法,应用于服务器,所述方法包括:
S31、接收老师端显示设备在开始直播后发送的目标视频流,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
S32、如果所述目标视频流为第一摄像头采集的第一画面,则为所述第一画面配置主视频流标识,以及,将携带主视频流标识的第一画面作为主视频流发送至学生端显示设备进行显示;
S33、如果所述目标视频流为第二摄像头采集的第二画面,则为所述第二画面配置辅视频流标识,以及,将携带辅视频流标识的第二画面作为辅视频流发送至学生端显示设备进行显示。
本发明实施例提供一种双摄像头直播方法及显示设备、服务器,老师端触发目标直播课控件,显示包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口的第一直播界面。在开始直播时,触发上课按钮,启动并获取第一摄像头采集的第一画面,显示在老师视频窗口。在进行双摄像头直播时,老师端触发辅流启动按钮,启动并获取第二摄像头采集的第二画面,显示在讲义区播放窗口;通过服务器将第一画面和第二画面发送至学生端进行显示。在进行画面切换时,老师端触发切换按钮,老师端和学生端同步将第一画面显示在讲义区播放窗口,将第二画面显示在老师视频窗口。可见,通过两个摄像头分别采集不同的教学画面,且将辅助教学内容与讲义内容共用一个播放窗口,以增大显示效果。老师端可对两个摄像头采集的画面在两个播放窗口间进行灵活动态切换,操作简单便利,提高用户的上课体验。
具体实现中,本发明还提供一种计算机可读存储介质,其中,该计算机可读存储介质可存储有程序,该程序执行时可包括本发明提供的双摄像头直播方法的各实施例中的部分或全部步骤。所述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品可以存储在计算机可读存储介质中。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于双摄像头直播方法实施例而言,由于其基本相似于显示设备、服务器实施例,所以描述的比较简单,相关之处参见显示设备、服务器实施例中的说明即可。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释本公开内容,从而使得本领域技术人员更好的使用所述实施方式。

Claims (17)

1.一种显示设备,其特征在于,包括:
显示器,被配置为显示用户界面;
第一摄像头,被配置为采集第一画面;
第二摄像头,被配置为采集第二画面;
分别与所述显示器、第一摄像头和第二摄像头连接的控制器,所述控制器被配置为:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,所述第一直播界面中包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口中的至少一种;
响应于触发所述上课按钮产生的开始直播指令,在所述讲义区播放窗口显示白板内容,启动并获取所述第一摄像头采集的第一画面,将所述第一画面显示在老师视频窗口,以及,将所述第一画面作为主视频流通过服务器发送至学生端显示设备进行显示;
响应于触发所述辅流启动按钮产生的双摄像头直播指令,启动并获取所述第二摄像头采集的第二画面,将所述第二画面显示在讲义区播放窗口,以及,将所述第二画面作为辅视频流通过服务器发送至学生端显示设备进行显示。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器在执行所述响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,被进一步配置为:
响应于触发用户界面中目标直播课控件产生的启动指令,从服务器获取与目标直播课对应的音视频SDK标识和消息SDK标识,所述音视频SDK标识是指用于实现直播间音视频收发操作的音视频SDK的标识,所述消息SDK标识是指用于实现直播间聊天消息收发操作的消息SDK的标识;
基于所述音视频SDK标识和消息SDK标识,创建与所述目标直播课对应的目标直播间,并显示用于呈现所述目标直播间的第一直播界面。
3.根据权利要求1所述的显示设备,其特征在于,所述控制器在执行所述响应于触发所述上课按钮产生的开始直播指令,启动并获取所述第一摄像头采集的第一画面,将所述第一画面显示在老师视频窗口,被进一步配置为:
响应于触发所述上课按钮产生的开始直播指令,选取第一摄像头作为用于拍摄第一画面的主流摄像头,以及,设置所述主流摄像头的主流拍摄参数;
启动所述主流摄像头,以及,获取所述主流摄像头基于所述主流拍摄参数采集的第一画面,将所述第一画面作为主视频流显示在老师视频窗口中。
4.根据权利要求1所述的显示设备,其特征在于,所述控制器被进一步配置为:
所述第一直播界面中还包括课件控件,所述课件控件用于触发讲义内容的显示;
在进行双摄像头直播之前,接收对所述课件控件的触发,获取讲义内容,将所述讲义内容显示在讲义区播放窗口;
在进行双摄像头直播时,响应于触发所述辅流启动按钮产生的双摄像头直播指令,将所述讲义内容停止显示,以及,启动并获取所述第二摄像头采集的第二画面,将所述第二画面显示在讲义区播放窗口。
5.根据权利要求4所述的显示设备,其特征在于,所述控制器被进一步配置为:
在进行双摄像头直播时,在所述第一直播界面中显示讲义tab和辅流tab,所述辅流tab用于表征第二摄像头采集的第二画面被显示;
在不需要进行双摄像头直播时,响应于在所述tab区中将辅流tab切换为讲义tab的操作,关闭所述第二摄像头,停止通过服务器向学生端显示设备发送辅视频流,以及,在所述讲义区播放窗口切换显示讲义内容。
6.根据权利要求4所述的显示设备,其特征在于,所述控制器在执行所述响应于触发所述辅流启动按钮产生的双摄像头直播指令,启动并获取所述第二摄像头采集的第二画面,将所述第二画面显示在讲义区播放窗口,被进一步配置为:
响应于触发所述辅流启动按钮产生的双摄像头直播指令,在所述第一直播界面中显示包括参数选择框和确定按钮的辅流设置弹窗,所述参数选择框用于设置辅流摄像头的辅流拍摄参数;
基于参数选择框选取第二摄像头作为用于拍摄第二画面的辅流摄像头,以及,设置辅流摄像头的辅流拍摄参数后,响应于触发所述确定按钮产生的指令,启动所述辅流摄像头;
获取所述辅流摄像头基于所述辅流拍摄参数采集的第二画面,将所述第二画面作为辅视频流显示在讲义区播放窗口。
7.根据权利要求6所述的显示设备,其特征在于,所述控制器被进一步配置为:
在需要对所述辅流拍摄参数进行修改时,响应于触发所述第一直播界面中设置按钮产生的指令,在所述第一直播界面中弹出辅流设置弹窗,以及,停止通过服务器向学生端显示设备发送辅视频流;
在基于所述辅流设置弹窗完成对辅流拍摄参数的修改时,取消所述辅流设置弹窗的显示,以及,继续通过服务器向学生端显示设备发送修改后的辅流拍摄参数对应的辅视频流。
8.根据权利要求1所述的显示设备,其特征在于,所述控制器被进一步配置为:
所述第一直播界面中还包括切换按钮,所述切换按钮用于实现第一摄像头和第二摄像头采集画面的切换显示;
在所述第一直播界面中的老师视频窗口显示第一画面、讲义区播放窗口显示第二画面时,接收对所述切换按钮的触发,将所述第一画面作为辅视频流显示在讲义区播放窗口,以及,将所述第二画面作为主视频流显示在老师视频窗口;
向服务器发送切换指令,所述切换指令用于指示服务器将所述第一画面的视频流标识变更为辅视频流标识,将所述第二画面的视频流标识变更为主视频流标识。
9.一种显示设备,其特征在于,包括:
显示器,被配置为显示用户界面;
与所述显示器连接的控制器,所述控制器被配置为:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第二直播界面,所述第二直播界面中包括老师视频窗口和讲义区播放窗口中的至少一种;
接收老师端显示设备通过服务器发送的目标视频流,获取所述目标视频流携带的视频流标识,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述视频流标识表征目标视频流为主视频流,则将所述主视频流显示在老师视频窗口;
如果所述视频流标识表征目标视频流包括主视频流和辅视频流,则将所述主视频流显示在老师视频窗口,将所述辅视频流显示在讲义区播放窗口。
10.根据权利要求9所述的显示设备,其特征在于,所述控制器被进一步配置为:
在开始直播时,所述目标视频流为作为主视频流的第一画面,则将所述第一画面显示在老师视频窗口,在所述讲义区播放窗口显示白板内容;
在进行双摄像头直播时,所述目标视频流包括作为主视频流的第一画面和作为辅视频流的第二画面,将作为主视频流的第一画面显示在老师视频窗口,将作为辅视频流的第二画面显示在讲义区播放窗口。
11.根据权利要求10所述的显示设备,其特征在于,所述控制器被进一步配置为:
如果所述老师视频窗口显示作为主视频流的第一画面、所述讲义区播放窗口显示作为辅视频流的第二画面,则在老师端显示设备进行摄像头采集画面切换显示时,接收服务器发送的切换通知,所述切换通知是指服务器在响应老师端显示设备在触发切换按钮产生的切换指令后生成的通知,所述切换指令用于指示服务器将所述第一画面的视频流标识变更为辅视频流标识,将所述第二画面的视频流标识变更为主视频流标识;
响应于所述切换通知,停止接收服务器发送的目标视频流,以及,在所述老师视频窗口和讲义区播放窗口均显示白板内容;
在完成摄像头采集画面切换显示时,继续接收服务器发送的携带辅视频流标识的所述第一画面和携带主视频流标识的所述第二画面;
基于所述辅视频流标识将所述第一画面作为辅视频流显示在讲义区播放窗口,以及,基于所述主视频流标识将所述第二画面作为主视频流显示在老师视频窗口。
12.一种服务器,其特征在于,包括:
控制器,被配置为:
接收老师端显示设备在开始直播后发送的目标视频流,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述目标视频流为第一摄像头采集的第一画面,则为所述第一画面配置主视频流标识,以及,将携带主视频流标识的第一画面作为主视频流发送至学生端显示设备进行显示;
如果所述目标视频流为第二摄像头采集的第二画面,则为所述第二画面配置辅视频流标识,以及,将携带辅视频流标识的第二画面作为辅视频流发送至学生端显示设备进行显示。
13.根据权利要求12所述的服务器,其特征在于,所述控制器被进一步配置为:
在进行摄像头采集画面切换显示时,响应于老师端显示设备在触发切换按钮产生的切换指令,将所述第一画面的视频流标识变更为辅视频流标识,将所述第二画面的视频流标识变更为主视频流标识,以及,向所述学生端显示设备发送切换通知,所述切换通知用于控制所述学生端显示设备提供的第二直播界面中的老师视频窗口和讲义区播放窗口均显示白板内容;
在完成摄像头采集画面切换显示时,将携带辅视频流标识的所述第一画面和携带主视频流标识的所述第二画面发送至学生端显示设备,使得所述学生端显示设备提供的讲义区播放窗口基于辅视频流标识显示第一画面,老师视频窗口基于主视频流标识显示第二画面。
14.根据权利要求12所述的服务器,其特征在于,所述控制器被进一步配置为:
在实现老师端显示设备和学生端显示设备之间视频流的传输时,按照分辨率层级,将所述老师端显示设备发送的视频流转码为多层视频流,每层视频流对应一种分辨率,所述视频流是指主视频流和辅视频流中的至少一种;
在将所述老师端显示设备发送的目标层视频流发送至学生端显示设备时,检测所述学生端显示设备接收视频流的丢包率;
如果所述丢包率高于预设阈值,则基于下一分辨率层级将对应层视频流发送至学生端显示设备,下一分辨率层级低于目标层视频流对应的分辨率层级。
15.一种双摄像头直播方法,应用于老师端显示设备,其特征在于,所述方法包括:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第一直播界面,所述第一直播界面中包括上课按钮、辅流启动按钮、老师视频窗口和讲义区播放窗口中的至少一种;
响应于触发所述上课按钮产生的开始直播指令,在所述讲义区播放窗口显示白板内容,启动并获取所述第一摄像头采集的第一画面,将所述第一画面显示在老师视频窗口,以及,将所述第一画面作为主视频流通过服务器发送至学生端显示设备进行显示;
响应于触发所述辅流启动按钮产生的双摄像头直播指令,启动并获取所述第二摄像头采集的第二画面,将所述第二画面显示在讲义区播放窗口,以及,将所述第二画面作为辅视频流通过服务器发送至学生端显示设备进行显示。
16.一种双摄像头直播方法,应用于学生端显示设备,其特征在于,所述方法包括:
响应于触发用户界面中目标直播课控件产生的启动指令,显示第二直播界面,所述第二直播界面中包括老师视频窗口和讲义区播放窗口中的至少一种;
接收老师端显示设备通过服务器发送的目标视频流,获取所述目标视频流携带的视频流标识,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述视频流标识表征目标视频流为主视频流,则将所述主视频流显示在老师视频窗口;
如果所述视频流标识表征目标视频流包括主视频流和辅视频流,则将所述主视频流显示在老师视频窗口,将所述辅视频流显示在讲义区播放窗口。
17.一种双摄像头直播方法,应用于服务器,其特征在于,所述方法包括:
接收老师端显示设备在开始直播后发送的目标视频流,所述目标视频流是指老师端显示设备在开始直播后获取的第一摄像头采集的第一画面和/或第二摄像头采集的第二画面中的至少一种;
如果所述目标视频流为第一摄像头采集的第一画面,则为所述第一画面配置主视频流标识,以及,将携带主视频流标识的第一画面作为主视频流发送至学生端显示设备进行显示;
如果所述目标视频流为第二摄像头采集的第二画面,则为所述第二画面配置辅视频流标识,以及,将携带辅视频流标识的第二画面作为辅视频流发送至学生端显示设备进行显示。
CN202210405366.1A 2022-01-24 2022-04-18 一种双摄像头直播方法及显示设备、服务器 Pending CN116962729A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210405366.1A CN116962729A (zh) 2022-04-18 2022-04-18 一种双摄像头直播方法及显示设备、服务器
CN202280071074.7A CN118303031A (zh) 2022-01-24 2022-11-30 显示设备和直播方法
PCT/CN2022/135719 WO2023138222A1 (zh) 2022-01-24 2022-11-30 显示设备和直播方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210405366.1A CN116962729A (zh) 2022-04-18 2022-04-18 一种双摄像头直播方法及显示设备、服务器

Publications (1)

Publication Number Publication Date
CN116962729A true CN116962729A (zh) 2023-10-27

Family

ID=88447853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210405366.1A Pending CN116962729A (zh) 2022-01-24 2022-04-18 一种双摄像头直播方法及显示设备、服务器

Country Status (1)

Country Link
CN (1) CN116962729A (zh)

Similar Documents

Publication Publication Date Title
CN111741372B (zh) 一种视频通话的投屏方法、显示设备及终端设备
WO2020248640A1 (zh) 一种显示设备
CN114390359B (zh) 一种消息的展示方法及显示设备
WO2020248668A1 (zh) 一种显示器及图像处理方法
US12047643B2 (en) Method for switching video call interface on smart television, and smart television
CN114296670B (zh) 显示设备及多设备投屏同屏显示的控制方法
US11425466B2 (en) Data transmission method and device
WO2020248627A1 (zh) 一种视频通话方法和显示设备
CN112929592A (zh) 一种视频通话方法、显示设备及服务器
CN113938634B (zh) 一种多路视频通话处理方法及显示设备
WO2024041672A1 (zh) 一种基于iptv业务的vr全景视频播放方法和系统
CN113938633B (zh) 一种视频通话处理方法及显示设备
CN112788378B (zh) 显示设备与内容显示方法
CN116114251A (zh) 视频通话方法及显示设备
CN114390357B (zh) 显示设备、服务器及直播课拖堂管理方法
WO2023138222A1 (zh) 显示设备和直播方法
CN116962729A (zh) 一种双摄像头直播方法及显示设备、服务器
CN116980554A (zh) 一种显示设备及视频会议界面显示方法
WO2021088326A1 (zh) 一种显示设备及来电显示方法
CN113938635A (zh) 一种多路视频通话处理方法及显示设备
WO2023240973A1 (zh) 显示设备及投屏方法
CN115086722B (zh) 一种副屏内容的展示方法及显示设备
CN114071056B (zh) 视频数据显示方法及显示设备
CN117793424A (zh) 显示设备和分辨率设置方法
CN117608441A (zh) 一种显示设备及应用同屏显示的画面切换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination