CN111741321A - 一种直播控制方法、装置、设备及计算机存储介质 - Google Patents

一种直播控制方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN111741321A
CN111741321A CN202010634643.7A CN202010634643A CN111741321A CN 111741321 A CN111741321 A CN 111741321A CN 202010634643 A CN202010634643 A CN 202010634643A CN 111741321 A CN111741321 A CN 111741321A
Authority
CN
China
Prior art keywords
live
content
display information
target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010634643.7A
Other languages
English (en)
Inventor
王乾
晏家红
孙炜
朱禹宏
马仪生
苏政豪
陈熙文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010634643.7A priority Critical patent/CN111741321A/zh
Publication of CN111741321A publication Critical patent/CN111741321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种直播控制方法、装置、设备及计算机存储介质，涉及计算机技术领域，用以优化直播控制的过程。该方法包括：显示直播内容，在所述直播内容中展示与直播内容中的目标元素对应的展示信息；所述展示信息包括与所述目标元素关联的目标信息，或用于触发显示与所述目标元素关联的目标信息的展示触发信息。该方法中在显示直播内容的同时，显示与直播内容中的目标元素对应的展示信息，扩展了直播内容的丰富度，从而提高了信息传输效率和效果。

Description

一种直播控制方法、装置、设备及计算机存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种直播控制方法、装置、设备及计算机存储介质。
背景技术
现有直播的相关技术中，主播客户端采集直播内容，并将采集的直播内容包含在直播媒体流中发送给用于直播的服务器，观看直播的客户端从上述服务器中获取直播媒体流并显示直播内容，但由于上述直播内容一般是通过摄像装置采集的或者通过对主播客户端对应的终端进行录屏操作采集的，其直播内容的丰富度受局限，信息传输效率较低，效果较差，因此如何增加直播内容的丰富度是个值得考虑的问题。
发明内容
本申请实施例提供一种直播控制方法、装置、设备及计算机存储介质，用于提升信息传输效率和效果。
本申请第一方面，提供一种直播控制方法，包括：
显示直播内容；
在所述直播内容中展示与直播内容中的目标元素对应的展示信息。
本申请第二方面，提供一种直播控制方法，包括：
接收包含直播内容的直播媒体流，所述直播媒体流包括主播客户端基于直播内容获取的元素信息，所述直播内容包括所述主播客户端的直播屏幕上显示的内容；
所述元素信息包括所述直播内容的截图时，获取从所述截图中识别出的目标元素对应的展示信息，将所述展示信息包含在所述直播媒体流中发送给所述主播客户端和收看直播的目标客户端，以使所述主播客户端和所述目标客户端在所述直播内容中展示所述展示信息；或，所述元素信息包括所述主播客户端从所述直播内容的截图中识别出的目标元素对应的展示信息时，将所述直播媒体流发送给目标客户端，以使所述目标客户端在所述直播内容中展示所述展示信息。
本申请第三方面，提供一种直播控制方法，包括：
接收主播客户端发送的直播内容的截图，所述直播内容的截图是所述主播客户端从直播屏幕上获取的；
从所述直播内容的截图中识别目标元素；
获取识别出的目标元素对应的展示信息；以及
将所述展示信息发送给主播客户端，以使所述主播客户端将所述展示信息包含在直播媒体流中发送给用于直播的服务器，以使收看直播的目标客户端在直播内容中展示所述展示信息；或，将所述展示信息发送给用于直播的服务器，以使所述用于直播的服务器将所述展示信息融合在所述主播客户端发送的直播媒体流中，以使收看直播的目标客户端在直播内容中展示所述展示信息。
本申请第四方面，提供一种直播控制装置，包括：
第一展示单元，用于显示直播内容；
第二展示单元，用于在所述直播内容中展示与直播内容中的目标元素对应的展示信息。
在一种可能的实现方式中，所述第二展示单元具体用于：
从直播屏幕上获取所述直播内容的截图；
将所述直播内容的截图发送给第一服务器，以及
接收与直播内容中的目标元素对应的展示信息，所述展示信息与所述直播内容中的目标信息对应且是所述第一服务器从所述直播内容的截图中识别出所述目标元素后获取的；
将所述展示信息展示到所述直播屏幕上；以及
将所述展示信息包含在直播媒体流中发送给第二服务器，以使所述第二服务器将所述直播媒体流发送给收看直播的目标客户端，以使所述目标客户端在直播内容中展示所述展示信息。
在一种可能的实现方式中，所述第二展示单元具体用于：
从直播屏幕上获取所述直播内容的截图；
将所述直播内容的截图发送给第一服务器；以及
将包含所述直播内容的直播媒体流发送给第二服务器，以及
接收包含展示信息的直播媒体流，所述展示信息与所述直播内容中的目标元素对应且是所述第一服务器从所述直播内容的截图中识别出所述目标元素后获取的，所述包含展示信息的直播媒体流是所述第二服务器将获取的展示信息融合到所述包含所述直播内容的直播媒体流中得到的；
将所述展示信息展示到所述直播屏幕上。
在一种可能的实现方式中，所述第二展示单元具体用于：
从直播屏幕上获取所述直播内容的截图；
将所述直播内容的截图包含在直播媒体流中发送给第二服务器，以及
接收包含展示信息的直播媒体流，所述展示信息与所述直播内容中的目标元素对应且是所述第二服务器从所述直播内容的截图中识别出所述目标元素后获取的，所述包含展示信息的直播媒体流是所述第二服务器将获取的展示信息融合到所述第二服务器接收到的直播媒体流中得到的；
将所述展示信息展示到所述直播屏幕上。
在一种可能的实现方式中，所述第二展示单元具体用于：
从直播屏幕上获取所述直播内容的截图；
从所述直播内容的截图中识别目标元素；
获取识别出的目标元素对应的展示信息；
将所述展示信息展示到所述直播屏幕上；以及
将所述展示信息包含在直播媒体流中发送给第二服务器，以使所述第二服务器将所述直播媒体流发送给收看直播的目标客户端，以使所述目标客户端在直播内容中展示所述展示信息。
在一种可能的实现方式中，所述第一展示单元具体用于：从第二服务器中获得包含展示信息的直播媒体流；所述展示信息与所述直播内容中的目标元素对应；
所述第二展示单元具体用于：在所述直播内容中，展示获得的直播媒体流中与直播内容中的目标元素对应的展示信息。
在一种可能的实现方式中，所述第二展示单元具体用于：
确定所述直播内容中的目标元素在直播屏幕上的显示位置区域；
在所述确定的显示位置区域对应的目标区域处，展示与所述直播内容中的目标元素对应的展示信息。
在一种可能的实现方式中，所述第二展示单元具体用于：
响应通过所述直播屏幕触发的截屏操作指令，对所述直播屏幕进行截图操作，得到所述直播内容的截图；或
所述直播屏幕上的直播内容发生变化时，对所述直播屏幕进行截图操作，得到所述直播内容的截图。
在一种可能的实现方式中，所述第二展示单元具体用于：
在所述直播内容中展示与直播内容中的目标元素对应的展示触发信息；
响应针对所述展示触发信息的操作，显示与所述目标元素关联的目标信息的。
本申请第五方面，提供一种直播控制装置，包括：
信息接收单元，用于接收包含直播内容的直播媒体流，所述直播媒体流包括主播客户端基于直播内容获取的元素信息，所述直播内容包括所述主播客户端的直播屏幕上显示的内容；
信息处理单元，用于所述元素信息包括所述直播内容的截图时，获取从所述截图中识别出的目标元素对应的展示信息，将所述展示信息包含在所述直播媒体流中发送给所述主播客户端和收看直播的目标客户端，以使所述主播客户端和所述目标客户端在所述直播内容中展示所述展示信息；或，所述元素信息包括所述主播客户端从所述直播内容的截图中识别出的目标元素对应的展示信息时，将所述直播媒体流发送给目标客户端，以使所述目标客户端在所述直播内容中展示所述展示信息。
本申请第六方面，提供一种直播控制装置，包括：
信息接收单元，用于接收主播客户端发送的直播内容的截图，所述直播内容的截图是所述主播客户端从直播屏幕上获取的；
图像识别单元，用于从所述直播内容的截图中识别目标元素；
信息处理单元，用于获取识别出的目标元素对应的展示信息；以及将所述展示信息发送给主播客户端，以使所述主播客户端将所述展示信息包含在直播媒体流中发送给用于直播的第二服务器，以使收看直播的目标客户端在直播内容中展示所述展示信息；或，将所述展示信息发送给用于直播的第二服务器，以使所述第二服务器将所述展示信息融合在所述主播客户端发送的直播媒体流中，以使收看直播的目标客户端在直播内容中展示所述展示信息。
本申请第七方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面及任一种可能的实施方式中任一所述的方法。
本申请第八方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第二方面所述的方法。
本申请第九方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第二方面所述的方法。
本申请第十方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面或者第二方面或第三方面的各种可能的实现方式中提供的方法。
本申请第十一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面或第二方面的各种可能的实施方式中提供的方法。
由于本申请实施例采用上述技术方案，至少具有如下技术效果：
客户端在显示直播内容时，同时在直播内容中显示与直播内容中的目标元素对应的展示信息，扩展了直播内容的丰富度，从而提高了信息传输效率和效果。
附图说明
图1为本申请实施例提供的一种直播的应用场景的示意图；
图2为本申请实施例提供的一种直播的应用场景的示例图；
图3为本申请实施例提供的一种直播的应用场景的示例图；
图4为本申请实施例提供的一种直播的应用场景的示例图；
图5为本申请实施例提供的一种直播的应用场景的示例图；
图6为本申请实施例提供的一种直播的应用场景的示例图；
图7为本申请实施例提供的一种直播控制方法的流程示意图；
图8为本申请实施例提供的一种在直播屏幕上显示展示触发信息的示例图；
图9为本申请实施例提供的一种通过展示触发信息触发展示目标信息的过程示意图；
图10为本申请实施例提供的一种直播控制中主播客户端显示展示信息的过程示意图；
图11为本申请实施例提供的一种直播控制中主播客户端显示展示信息的过程示意图；
图12为本申请实施例提供的一种直播控制中主播客户端显示展示信息的过程示意图；
图13为本申请实施例提供的一种直播控制中服务器的流程示意图；
图14为本申请实施例提供的一种直播控制中第一服务器的流程示意图；
图15为本申请实施例提供的一种直播控制中各端的交互示意图；
图16为本申请实施例提供的一种直播控制中各端的交互示意图；
图17为本申请实施例提供的一种直播控制中各端的交互示意图；
图18为本申请实施例提供的一种直播控制中各端的交互示意图；
图19为本申请实施例提供的一种直播控制中各端的交互示意图；
图20为本申请实施例提供的一种直播界面的示意图；
图21为本申请实施例提供的一种直播界面的示意图；
图22为本申请实施例提供的一种展示目标信息的示例图；
图23为本申请实施例提供的一种显示展示触发信息的示例图；
图24为本申请实施例提供的一种展示目标信息的示例图；
图25为本申请实施例提供的一种直播架构的原理示意图；
图26为本申请实施例提供的一种直播控制装置的结构示意图；
图27为本申请实施例提供的一种直播控制装置的结构示意图；
图28为本申请实施例提供的一种直播控制装置的结构示意图；
图29为本申请实施例提供的一种终端设备的结构示意图；
图30为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。
为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的技术名词进行说明。
目标元素：本申请中是指直播内容中的相关元素，如植物、建筑、图像、人名、图画、文本信息(如关键字或一段文字等)、人或动物的肢体或器官等，本领域的技术人员可根据实际需求将直播内容中的一个或多个元素设置为目标元素。
目标信息：本申请中是指与目标元素关联的信息；如目标元素为人的图像时，目标信息可以是这个人的介绍信息、生平事迹介绍信息、作品信息等中的一个或多个信息；目标元素为某一对象的关键词时，目标信息可以是该对象的介绍信息或者该对象的图像，上述对象可以是人、动物、植物、物品等实际存在的东西，对象还可以是抽象出的概念，如物理实验、某一领域(如医学领域、物理领域、数学领域、天文领域、地理领域)的专业术语；目标元素为图像或图画时，目标信息可以是图像或图画的文字说明信息；目标元素为文本信息时，目标信息可以是该文本信息对应的指定语言的翻译信息；目标对象为人或动物的肢体或器官时，目标信息可以是肢体或器官的介绍信息、防护方法等信息，本领域的技术人员可根据需求，灵活设置与目标元素关联的目标信息。
终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。
下面对本申请的设计思想进行说明。
在进行直播时，主播客户端采集直播内容并发送给用于直播的服务器，观看直播的客户端从上述服务器中获取直播内容并显示，但由于上述直播内容一般是通过摄像装置采集的或者通过对进行直播的终端进行录屏操作采集的，其直播内容的丰富度受局限，影响到信息的传输效率和效果；如老师通过安装在手机上的教学应用进行课堂的直播时，老师只能将手机的摄像头拍摄到的直播内容作为展示给学员的教学内容，或者将对手机进行录屏操作时将手机屏幕上的直播内容作为展示给学员的教学内容，对应地，学员在通过教学应用收看课堂的直播时，只能看到通过摄像头拍摄到的内容或老师的手机屏幕上的内容，课堂内容的丰富度不够，会影响学员的听课感受和注意力集中程度，因此如何提升直播课堂的内容的丰富度，以及如何提升其它场景直播时内容的丰富度，进而提高信息的传输效率和效果成为需要考虑的问题。
鉴于此，发明人设计了一种直播控制方法、装置、设备及计算机存储介质，该方法用于提升直播内容的丰富度。考虑到直播内容的丰富度与展示直播内容时展示的内容有很大关系，因此发明人考虑在显示直播内容时，还可以同时展示与直播内容相关的信息，从而使得直播内容的丰富度得以提升，可以提高信息的传输效率和效果。具体的，考虑到直播内容的相关性，利用直播内容中存在很多元素(如人物、图片、文本等)来确定需要同时展示的信息，在直播内容中展示与这些元素对应的展示信息。
在直播内容中展示与元素对应的展示信息时，考虑到不同观看者的习惯，可以直接展示目标元素关联的目标信息(如目标元素的介绍信息等)，也可以展示与元素对应的展示触发信息，观看者通过操作展示触发信息来触发显示需要展示的展示信息，这种模式下，展示触发信息相当于一个操作控件。
更进一步，本申请实施例中可以由主播客户端识别直播内容中的目标元素以及获取与目标元素对应的展示信息，还可以由服务器识别直播内容中的目标元素以及获取与目标元素对应的展示信息；且可以由主播客户端在将获取的展示信息融合到主播客户端的直播媒体流中，也可以由服务器将获取的展示信息融合到主播客户端的直播媒体流中。
为了更清楚地理解本申请的设计思路，以下给出几种直播控制的应用场景。
请参照图1，首先给出一种直播的应用场景示例图。该应用场景中包括多个客户端100和至少一个服务器200，客户端100和服务器200之间可以进行网络通信，其中：
客户端100包括进行直播的主播客户端110和观看直播的目标客户端120，一些用户可以通过主播客户端110进行直播，另一些用户可以通过目标客户端120观看直播；且在不同的时间或直播场景下，主播客户端110和目标客户端120的身份可以互换，即在一些直播场景下主播客户端110的身份可以变更为目标客户端，目标客户端120的身份可以变更为主播客户端。
参见图2所示，服务器200可以包括用于识别直播内容中的目标元素的第一服务器210以及用于接收和转发直播媒体流的第二服务器220(即用于直播的服务器)，其中第一服务器210和第二服务器220可以是同一个服务器，也可以是不同的服务器，且第一服务器210和第二服务器220可以是区块链服务器、云端服务器或分布式服务器等。
主播客户端110采集直播内容，将直播内容包含在直播媒体流中发送给第二服务器220，第二服务器220将直播媒体流发送给目标客户端120，进而用户就可以通过目标客户端120观看直播内容。
具体地，本申请实施例中可以通过如下应用场景实现本申请上述的设计目的。
第一种应用场景：
该应用场景中第一服务器210和第二服务器220为不同的服务器，且由第一服务器210识别直播内容中的目标元素以及获取对应的展示信息，由主播客户端将与目标元素对应的展示信息融合在直播媒体流中。
请参见图2示意出的用于直播的应用场景，主播客户端110、目标客户端120、第一服务器210以及第二服务器220之间的信息交互如下：
主播客户端110采集直播内容，获取直播内容的截图，将直播内容的截图发送给第一服务器210，以及接收第一服务器210发送的与直播内容中的目标元素对应的展示信息，并在直播内容中展示上述展示信息，以及将上述展示信息包含在直播媒体流中发送给第二服务器220。
第一服务器210接收主播客户端110发送的直播内容的截图，并识别直播内容的截图中的目标元素，进而获取目标元素对应的展示信息，将获取的展示信息发送给主播客户端110。
第二服务器220接收主播客户端110发送的直播媒体流，以及将接收的直播媒体流中发送给各目标客户端120，该直播媒体流中包含直播内容中的目标元素对应的元素信息。
目标客户端120接收第二服务器220发送的包含直播内容中的目标元素对应的展示信息的直播媒体流，在直播内容中展示与直播内容中的目标元素对应的展示信息。
第二种应用场景：
第一服务器210和第二服务器220为不同的服务器，且由第一服务器210识别直播内容中的目标元素以及获取对应的展示信息，由第二服务器220将与目标元素对应的展示信息融合在直播媒体流中。
请参见图3示意出的用于直播的应用场景，主播客户端110、目标客户端120、第一服务器210以及第二服务器220之间的信息交互如下：
主播客户端110采集直播内容，获取直播内容的截图，将直播内容的截图发送给第一服务器210，将包含直播内容的直播媒体流发送给第二服务器220；以及接收第二服务器220发送的包含直播内容中的目标元素对应的展示信息直播媒体流，在直播内容中展示上述展示信息。
第一服务器210接收主播客户端110发送的直播内容的截图，并识别直播内容的截图中的目标元素，进而获取目标元素对应的展示信息，将获取的展示信息发送给第二服务器220。
第二服务器220接收主播客户端110发送的包含直播内容的直播媒体流，接收第一服务器210发送的与直播内容中的目标元素对应的展示信息，并将接收的展示信息包含在直播媒体流中发送给主播客户端110和目标客户端120。
目标客户端120接收第二服务器220发送的包含直播内容中的目标元素对应的展示信息的直播媒体流，在直播内容中展示与直播内容中的目标元素对应的展示信息。
第三种应用场景：
第一服务器210和第二服务器220为同一个服务器200，以下以服务器200表示上述第一服务器210和第二服务器220；且由服务器200识别直播内容中的目标元素以及获取对应的展示信息，由主播客户端110将与目标元素对应的展示信息融合在直播媒体流中。
请参见图4示意出的用于直播的应用场景，主播客户端110、目标客户端120和服务器200之间的信息交互如下：
主播客户端110采集直播内容，获取直播内容的截图，将直播内容的截图发送给服务器200，以及接收服务器200发送的与直播内容中的目标元素对应的展示信息，并在直播内容中展示上述展示信息，以及将上述展示信息包含在直播媒体流中发送给服务器200。
服务器220接收主播客户端110发送的直播内容的截图，并识别直播内容的截图中的目标元素，进而获取目标元素对应的展示信息，将获取的展示信息发送给主播客户端110；以及接收主播客户端110发送的直播媒体流，将接收的直播媒体流中发送给各目标客户端120，该直播媒体流中包括直播内容中的目标元素对应的元素信息。
目标客户端120接收服务器200发送的包含直播内容中的目标元素对应的展示信息的直播媒体流，在直播内容中展示与直播内容中的目标元素对应的展示信息。
第四种应用场景：
第一服务器210和第二服务器220为同一个服务器200，以下以服务器200表示上述第一服务器210和第二服务器220；且由服务器200识别直播内容中的目标元素和获取对应的展示信息，以及将与目标元素对应的展示信息融合在直播媒体流中。
请参见图5示意出的用于直播的应用场景，主播客户端110、目标客户端120和服务器200之间的信息交互如下：
主播客户端110采集直播内容，获取直播内容的截图，将直播内容的截图包含在直播媒体流中发送给服务器200；以及接收服务器200发送的包含直播内容中的目标元素对应的展示信息的直播媒体流，在直播内容中展示上述展示信息。
服务器200接收主播客户端110发送的直播媒体流，并识别直播媒体流中的直播内容的截图中的目标元素，进而获取目标元素对应的展示信息，将获取的展示信息包含在直播媒体流中发送给主播客户端110和各目标客户端120。
目标客户端120接收服务器200发送的包含直播内容中的目标元素对应的展示信息的直播媒体流，在直播内容中展示与直播内容中的目标元素对应的展示信息。
第五种应用场景：
由主播客户端110识别直播内容中的目标元素以及获取对应的展示信息，以及获取将获取的元素信息融合在直播媒体流中。
请参见图6示意出的用于直播的应用场景，主播客户端110、目标客户端120和第二服务器220之间的信息交互如下：
主播客户端110采集直播内容，获取直播内容的截图，并识别直播内容的截图中的目标元素，进而获取目标元素对应的展示信息；在直播内容中展示上述展示信息，以及将获取的展示信息融合在直播媒体流中发送给第二服务器220。
第二服务器220接收主播客户端110发送的直播媒体流，该直播媒体流中包含直播内容中的目标元素对应的元素信息，以及将接收的直播媒体流中发送给各目标客户端120。
目标客户端120接收第二服务器220发送的包含直播内容中的目标元素对应的展示信息的直播媒体流，在直播内容中展示与直播内容中的目标元素对应的展示信息。
基于图2至图6所示的应用场景，下面对本申请实施例涉及的直播控制方法进行示例性说明，请参见图7，对于客户端(进行直播的主播客户端110和观看直播的目标客户端120)而言，包括如下步骤S701和步骤S702。
步骤S701，显示直播内容。
针对于主播客户端110而言，获得直播内容，该直播内容包括主播客户端的直播屏幕上显示的内容；具体地，主播客户端可以通过摄像装置采集直播内容，也可以通过录屏操作采集直播内容；主播客户端的直播屏幕可以是主播客户端使用的终端(如手机、笔记本电脑、平板电脑等)的屏幕。
针对目标客户端120而言，该步骤中可以从服务器200中获得包含展示信息的直播媒体流；该展示信息与上述直播内容中的目标元素对应；具体地，基于上述图2、图4和图6所示的应用场景，该包含展示信息的直播媒体流是主播客户端110将获取的展示信息融合到直播媒体流中得到的，主播客户端获取的展示信息是上述主播客户端识别直播内容的截图中的目标元素后获得的，或主播客户端获取的展示信息是服务器发送给上述主播客户端的；基于上述图3和图5所示的应用场景，包含展示信息的直播媒体流是用于直播的服务器(包括图3中的第二服务器220和图5中的服务器200)将获取的展示信息融合到主播客户端发送的直播媒体流中得到的，其中用于直播的服务器获取的展示信息是用于直播的服务器识别上述主播客户端发送的直播内容的截图中的目标元素后获取的，或用于直播的服务器获取的展示信息是上述第一服务器210识别直播内容的截图中的目标元素后获取的。
步骤S702，在直播内容中展示与直播内容中的目标元素对应的展示信息。
具体地，针对主播客户端或目标客户端而言，都可以确定直播内容中的目标元素在直播屏幕上的显示位置区域；进而在上述显示位置区域对应的第一目标区域处，展示与直播内容中的目标元素对应的展示信息。上述第一目标区域可以但不局限于为上述显示位置区域的上侧、下侧、左侧、右侧中任一方向上的区域，本领域的技术人员可以根据实际需求设置显示位置区域和第一目标区域的对应关系。
作为一种实施例，本申请实施例中的展示信息包括与目标元素关联的目标信息，或用于触发显示与上述目标元素关联的目标信息的展示触发信息。
针对主播客户端或目标客户端而言，步骤S702中，可以在直播内容中展示与直播内容中的目标元素对应的展示触发信息之后，响应通过显示的展示触发信息触发的展示指令，在直播内容中显示与目标元素关联的目标信息。
其中用户可以通过点击展示触发信息触发展示指令，也可以通过长按展示触发信息触发展示指令，还可以通过滑动展示触发信息触发展示指令；其中对滑动的方向不做限定，本领域的技术人员可根据实际需求设置。
本申请实施例中的触发展示信息可以但不局限于为预设的图案或者按键，展示触发信息为展示按键时，请参见图8，给出一种在直播屏幕上显示展示触发信息的示例图，该示例中展示按键801为显示位置区域802对应的目标元素的展示触发信息，图中8a给出了通过点击或长按展示按键801触发展示指令的示例图，图中8b给出了通过滑动展示按键801触发展示指令的示例图，其中带箭头的虚线为滑动方向，本领域的技术人员可根据实际需求设置滑动方向，可以但不局限于将其设置为直线方向、弧线方向等。
请参见图9，给出一种通过展示触发信息触发展示目标信息的过程示意图，图中展示按键801为显示位置区域802对应的目标元素的展示触发信息，用户点击展示按键801后，在第二目标区域903处展示与目标元素关联的目标信息，上述第二目标区域可以但不局限于为上述显示位置区域的上侧、下侧、左侧、右侧中任一方向上的区域，本领域的技术人员可根据实际需求设置，且上述第二目标区域和第一目标区域可以是完全不同的区域或部分重叠的区域或全部重叠的区域。
作为一种实施例，针对目标客户端120而言，针对图2至图6示意出的应用场景，目标客户端在步骤S702中在上述直播内容中，展示获得的直播媒体流中与直播内容中的目标元素对应的展示信息。
作为一种实施例，针对主播客户端110而言，在图2至图6中不同的应用场景中，步骤S602的过程不同，具体地，可参见如下几种情况：
情况1：针对图2和图4示意出的应用场景。
请参见图10，步骤S702中，主播客户端还可以包括如下步骤：
步骤S1001，从直播屏幕上获取直播内容的截图，将直播内容的截图发送给服务器。
基于图2示意出的应用场景，步骤S1001中主播客户端可以将直播内容的截图发送给第一服务器210；基于图4示意出的应用场景，步骤S1001中主播客户端可以将直播内容发送给服务器200。
步骤S1002，接收上述服务器发送的与直播内容的截图中识别出的目标元素对应的展示信息。
基于图2示意出的应用场景，步骤S1002中主播客户端可以接收第一服务器210发送的展示信息；基于图4示意出的应用场景，步骤S1002中主播客户端可以接收服务器200发送的展示信息。
步骤S1003，将上述展示信息展示到上述直播屏幕上。
步骤S1004，将上述展示信息包含在直播媒体流中发送给服务器，以使上述服务器将上述直播媒体流发送给收看直播的目标客户端，以使目标客户端在直播内容中展示上述展示信息。
基于图2示意出的应用场景，步骤S1004中主播客户端可以将包含展示信息的直播媒体流发送给第二服务器220；基于图4示意出的应用场景，步骤S1004中主播客户端可以将包含展示信息的直播媒体流发送给服务器200。
情况2：针对图3和图5示意出的应用场景。
请参见图11，步骤S702中，主播客户端还可以包括如下步骤：
步骤S1101，从直播屏幕上获取直播内容的截图，直播内容包括直播屏幕上显示的内容。
步骤S1102，将直播内容的截图包含在直播媒体流中发送给服务器。
基于图3示意出的应用场景，步骤S1102中主播客户端可以将直播内容的截图发送给第一服务器210，将直播媒体流发送给第二服务器220；基于图5示意出的应用场景，步骤S1102中主播客户端可以将直播内容的截图和直播媒体流一起发送给服务器200。
步骤S1103，接收上述服务器发送的包含展示信息的直播媒体流，展示信息与直播内容的截图中的目标元素对应，包含展示信息的直播媒体流是上述服务器将获取的展示信息融合到主播客户端发送的直播媒体流中得到的。
基于图3示意出的应用场景，步骤S1103中主播客户端接收第二服务器220发送的包含展示信息的直播媒体流，该包含展示信息的直播媒体流是第二服务器220将第一服务器210发送的展示信息融合到主播客户端发送的直播媒体流中得到的，展示信息是第一服务器210识别直播内容的截图中的目标元素后获取的；基于图5示意出的应用场景，步骤S1103中主播客户端接收服务器200发送的包含展示信息的直播媒体流，该包含展示信息的直播媒体流是服务器200将获取的展示信息融合到主播客户端发送的直播媒体流中得到的，展示信息是服务器200识别直播内容的截图中的目标元素后获取的。
步骤S1104，将上述展示信息展示到上述直播屏幕上。
情况3：针对图6示意出的应用场景。
请参见图12，步骤S702中，主播客户端还可以包括如下步骤：
步骤S1201，从直播屏幕上获取直播内容的截图，直播内容包括直播屏幕上显示的内容。
步骤S1202，从直播内容的截图中识别目标元素。
步骤S1203，获取识别出的目标元素对应的展示信息。
步骤S1204，将上述展示信息展示到上述直播屏幕上。
步骤S1205，将展示信息包含在直播媒体流中发送给服务器，以使上述服务器将上述直播媒体流发送给收看直播的目标客户端，以使目标客户端在直播内容中展示上述展示信息。
上述步骤S1104和步骤S1105没有固定的先后顺序，本领域的技术人员可根据实际需求设置。
其中，在步骤S1001、步骤S1101以及步骤S1201中，主播客户端可以但不局限于通过如下几种方式获取直播内容的截图：
第一种截图获取方式：响应通过主播客户端的直播屏幕触发的截屏操作指令，对主播客户端的直播屏幕进行截图，得到直播内容的截图。
具体地，用户可以通过主播客户端的直播屏幕进行一些预设操作，触发截屏指令，上述预设操作可以是多个手指点击或滑动直播屏幕，或在直播屏幕上按照预设方向滑动等，本领域的技术人员可根据实际需求设置。
第二种截图获取方式：主播客户端的直播屏幕上的直播内容发生变化时，对主播客户端的直播屏幕进行截图操作，得到直播内容的截图。
具体地，可以通过主播客户端对应的程序设置，检测其直播屏幕上的直播内容是否发生变化，也可以通过主播客户端使用的终端对应的程序设置，检测其直播屏幕上的直播内容是否发生变化，此处对如何检测直播屏幕上的直播内容发生变化不做过多限定，本领域的技术人员可根据实际情况设置。
第三种截图获取方式：以设定时长为周期，周期性对主播客户端的直播屏幕进行截图，获得直播内容的截图。
对上述设定时长不做过多限定，如可以将其设置为100毫秒、500毫秒、1秒、2秒、1分钟等，本领域的技术人员可根据实际需求设置。
作为一种实施例，请参见图13，基于图2至图6的应用场景，下面对本申请实施例中的直播控制方法中服务器执行的步骤进行说明，具体包括：
步骤S1301，接收包含直播内容的直播媒体流，上述直播媒体流包括主播客户端基于直播内容获取的元素信息，直播内容包括主播客户端的直播屏幕上显示的内容，若元素信息包括直播内容的截图，则进入步骤S1302，若元素信息包括主播客户端从直播内容的截图中识别出的目标元素对应的展示信息，则进入步骤S1303。
步骤S1302，从直播内容的截图中识别目标元素，并获取识别出的目标元素对应的展示信息，将上述展示信息包含在上述直播媒体流中发送给主播客户端和收看直播的目标客户端，以使主播客户端和目标客户端在直播内容中展示上述展示信息。
具体地，基于图3所示的应用场景，可以由第一服务器210识别目标元素和获取对应的展示信息，由第二服务器220将展示信息融合在主播客户端发送的直播媒体流中，并由第二服务器220将包含展示信息的直播媒体流发送给主播客户端和目标客户端；基于图5所示的应用场景，可以由服务器200识别目标元素和获取对应的展示信息，并由服务器200将展示信息融合在主播客户端发送的直播媒体流中，并由服务器200将包含展示信息的直播媒体流发送给主播客户端和目标客户端。
步骤S1303，将上述直播媒体流发送给目标客户端，以使目标客户端在直播内容中展示上述展示信息。
具体地，基于图2和图6所示的应用场景，可以由第二服务器220将包含展示信息的直播媒体流发送给目标客户端；基于图4所示的应用场景，可以由服务器200将包含展示信息的直播媒体流发送给目标客户端和主播客户端。
作为一种实施例，请参见图14，基于图2和图3示意出的应用场景，下面对本申请实施例中的直播控制方法中第一服务器210执行的步骤进行说明，具体包括：
步骤S1401，接收主播客户端发送的直播内容的截图。
步骤S1402，从直播内容的截图中识别目标元素。
步骤S1403，获取识别出的目标元素对应的展示信息，进入步骤S1404或S1405。
其中基于图2示意出的应用场景，在步骤S1403后进入步骤S1404；基于图3示意出的应用场景，在步骤S1403后进入步骤S1405。
步骤S1404，将展示信息发送给主播客户端，以使主播客户端将展示信息包含在直播媒体流中发送给用于直播的服务器，以使收看直播的目标客户端在直播内容中展示上述展示信息。
步骤S1405，将展示信息发送给用于直播的服务器，以使用于直播的服务器将展示信息融合在主播客户端发送的直播媒体流中，以使收看直播的目标客户端在直播内容中展示上述展示信息。
上述步骤S1404中用于直播的服务器为图2中的第二服务器220，步骤S1405中用于直播的服务器为图3中的第二服务器220。
本申请实施例的以下内容针对上述图2至图6示意出的应用场景中，主播客户端110、目标客户端120以及各服务器之间的交互进行详细说明：
交互示例1：针对上述图2中的应用场景。
请参见图15，主播客户端110、目标客户端120、第一服务器210和第二服务器220之间的交互具体如下：
步骤S1501，主播客户端110采集直播内容，并获取直播内容的截图。
步骤S1502，主播客户端110将直播内容的截图发送给第一服务器210。
步骤S1503，第一服务器210接收直播内容的截图，并识别直播内容的截图中的目标元素。
步骤S1504，第一服务器210获取识别出的目标元素对应的展示信息，并将获取的展示信息发送给主播客户端110。
步骤S1505，主播客户端110在直播内容中展示接收的展示信息。
步骤S1506，主播客户端110将接收的展示信息包含在直播媒体流中发送给第二服务器220。
步骤S1507，第二服务器220接收包含展示信息的直播媒体流，并将包含展示信息的直播媒体流发送给目标客户端120。
步骤S1508，目标客户端120接收包含展示信息的直播媒体流，并在直播内容中展示与直播内容中的目标元素对应的展示信息。
上述步骤S1505和步骤S1506之间没有固定的先后执行顺序，本领域的技术人员可根据实际需求设置。
交互示例2：针对上述图3中的应用场景。
请参见图16，主播客户端110、目标客户端120、第一服务器210和第二服务器220之间的交互具体如下：
步骤S1601，主播客户端110采集直播内容，并获取直播内容的截图。
步骤S1602，主播客户端110将直播内容的截图发送给第一服务器210。
步骤S1603，主播客户端110将包含直播内容的直播媒体流发送给第二服务器220。
步骤S1604，第一服务器210接收直播内容的截图，并识别直播内容的截图中的目标元素。
步骤S1605，第一服务器210获取识别出的目标元素对应的展示信息，并将获取的展示信息发送给第二服务器220。
步骤S1606，第二服务器220将展示信息融合在主播客户端发送的直播媒体流中。
步骤S1607，第二服务器220将包含展示信息的直播媒体流发送给主播客户端110和目标客户端120。
步骤S1608，主播客户端110接收包含展示信息的直播媒体流，并在直播内容中展示与直播内容中的目标元素对应的展示信息。
步骤S1609，目标客户端120接收包含展示信息的直播媒体流，并在直播内容中展示与直播内容中的目标元素对应的展示信息。
上述步骤S1602和步骤S1603之间没有固定的先后执行顺序，步骤S1608和步骤S1609之间没有固定的先后执行顺序，本领域的技术人员可根据实际需求设置。
交互示例3：针对上述图4中的应用场景。
请参见图17，主播客户端110、目标客户端120和服务器200之间的交互具体如下：
步骤S1701，主播客户端110采集直播内容，并获取直播内容的截图。
步骤S1702，主播客户端110将直播内容的截图发送给服务器200。
步骤S1703，服务器200接收直播内容的截图，并识别直播内容的截图中的目标元素。
步骤S1704，服务器200获取识别出的目标元素对应的展示信息，并将获取的展示信息发送给主播客户端110。
步骤S1705，主播客户端110在直播内容中展示接收的展示信息。
步骤S1706，主播客户端110将接收的展示信息包含在直播媒体流中发送给服务器200。
步骤S1707，服务器200接收包含展示信息的直播媒体流，并将包含展示信息的直播媒体流发送给目标客户端120。
步骤S1708，目标客户端120接收包含展示信息的直播媒体流，并在直播内容中展示与直播内容中的目标元素对应的展示信息。
交互示例4：针对上述图5中的应用场景。
请参见图18，主播客户端110、目标客户端120和服务器200之间的交互具体如下：
步骤S1801，主播客户端110采集直播内容，并获取直播内容的截图。
步骤S1802，主播客户端110将直播内容的截图包含在直播媒体流中发送给服务器200。
步骤S1803，服务器200接收包含直播内容的截图的直播媒体流，并识别直播内容的截图中的目标元素。
步骤S1804，服务器200获取识别出的目标元素对应的展示信息。
步骤S1805，服务器200将展示信息融合在主播客户端发送的直播媒体流中。
步骤S1806，服务器200将包含展示信息的直播媒体流发送给主播客户端110和目标客户端120。
步骤S1807，主播客户端110接收包含展示信息的直播媒体流，并在直播内容中展示与直播内容中的目标元素对应的展示信息。
步骤S1808，目标客户端120接收包含展示信息的直播媒体流，并在直播内容中展示与直播内容中的目标元素对应的展示信息。
上述步骤S1807和步骤S1808之间没有固定的先后执行顺序，本领域的技术人员可根据实际需求设置。
交互示例5：针对上述图6中的应用场景。
请参见图19，主播客户端110、目标客户端120和服务器200之间的交互具体如下：
步骤S1901，主播客户端110采集直播内容，并获取直播内容的截图。
步骤S1902，主播客户端110识别直播内容的截图中的目标元素。
步骤S1903，主播客户端110获取识别出的目标元素对应的展示信息。
步骤S1904，主播客户端110在直播内容中展示获取的展示信息。
步骤S1905，主播客户端110将获取的展示信息包含在直播媒体流中发送给服务器200。
步骤S1906，服务器200接收包含展示信息的直播媒体流，并将包含展示信息的直播媒体流发送给目标客户端120。
步骤S1907，目标客户端120接收包含展示信息的直播媒体流，并在直播内容中展示与直播内容中的目标元素对应的展示信息。
作为一种实施例，以下对上述交互示例1至交互示例5中，各服务器或主播客户端识别直播内容的截图中的目标元素和获取对应的展示信息的内容进行说明，具体如下：
作为一种实施例，针对各服务器或主播客户端而言，均可以基于与当前的直播场景对应的元素识别规则，识别上述直播内容的截图中的目标元素。
本领域的技术人员可以根据实际需求设置上述直播场景；如通过不同的应用进行直播时，将不同的应用设置为不同的直播场景；也可以根据直播的用途设置直播场景，如可以将直播场景设置为教学场景、电子购物场景、娱乐场景(如对演唱会进行直播的场景)、游戏场景(对游戏进行直播的场景)、运动场景(对运动进行直播的场景)、医疗场景(对医疗进行直播的场景)。
进一步地，还可以将上述根据直播的用途设置的直播场景，根据其具体用途再次划分直播场景，如将上述教学场景设置为针对不同教学科目(如数学、物理、外语、地理等)进行直播的场景，将上述游戏场景设置为针对不同类型的游戏进行直播的场景，将上述运动场景设置成不同运动类型的直播场景等，本领域的技术人员可根据实际需求设置，此处不再过多叙述。
本领域的技术人员还可以根据实际需求设置与当前的直播场景对应的元素识别规则，如直播场景包括针对不同教学科目进行直播的场景时，可以基于不同教学科目的教学兴趣点设置元素识别规则；如针对物理教学的直播场景，其教学兴趣点可以是物理实验名称、物理科学家、物理设备等，与该物理教学的直播场景对应的元素识别规则，可以但不局限于是通过目标检测识别上述物理实验名称、物理科学家、物理设备；如针对外语教学的直播场景，其教学兴趣点可以是一段预设语言形式的文本信息，预设语言形式的词语、老师的口型、语法结构等，上述预设语言形式可以但不局限于为各国家的官方语言如中文、英文、印地语等，与该外语教学的直播场景对应的元素识别规则，可以但不局限于是通过神经网络识别上述文本信息、老师口型、语法结构。
对如何基于直播场景设置对应的元素识别规则不做限定，本领域的技术人员可根据实际的直播场景，灵活设置对应的元素识别规则。
作为一种实施例，可以预先存储与各直播场景中的目标元素对应的展示信息；进而各服务器或主播客户端在获取识别出的目标元素对应展示信息时，均可以从预先存储的展示信息中，获取与识别出的目标元素对应的展示信息。
作为一种实施例，展示信息包括与目标元素关联的目标信息，或，接收到通过展示触发信息触发的展示指令时，对应的服务器可以通过网络搜索，获取与识别出的目标元素关联的目标信息，并将获取的目标信息包含在直播媒体流中发送给主播客户端和目标客户端，或将获取的目标信息包含在直播媒体流中发送给触发展示指令的客户端。
以下给出一些不同的直播场景下，目标元素和目标信息的示例。
示例1：外语教学的直播场景。
目标元素为第一语言形式的文本信息时，目标信息可以是与上述文本信息对应的第二语言形式的文本信息，上述第一语言形式和第二语言形式不同，可以指代不同国家的官方语言形式。
目标元素为老师的口型时，目标信息可以是该老师的口型对应的发音信息。
示例2：物理教学的直播场景。
目标信息为物理科学家的人名或图片时，目标信息可以是该物理科学家的生平事迹、物理领域的研究信息、发明的物理实验信息等中的一个或多个信息。
目标信息为物理实验的名称时，目标信息可以是该物理实验的详细操作信息、使用的实验设备信息、实验结论信息等中的一个或多个。
示例3：游戏的直播场景。
目标元素为游戏角色，目标信息可以是该游戏角色对应的游戏战斗力、该游戏角色所属游戏团体的信息、该游戏角色在游戏中的事迹信息等中的一个或多个。
目标元素为游戏设备时，目标信息可以是该游戏设备的使用方法、该游戏设备的游戏战斗力等中的一个或多个信息。
目标元素为游戏竞技擂台时，目标信息可以是该游戏竞技擂台进行竞技的历史信息、该游戏竞技擂台的竞技规则等中的一个或多个信息。
示例4：电子购物场景。
目标元素为商品时，目标信息可以是该商品的品牌信息、价格信息、材料信息、制作工艺信息、以往售出量信息等中的一个或多个信息。
目标元素为推荐商品的导购(人)时，目标信息可以是该导购的历史推荐信息、该导购的个人基本信息、该导购的直播时间信息等中的一个或多个信息。
作为一种实施例，为了减少识别目标元素的计算量，缩短识别目标元素的用时，以提升识别目标元素的效率，本申请实施例中主播客户端和对应的服务器在识别直播内容的截图中的目标元素之前，还可以对直播内容的截图进行预处理，具体地，可以但不局限于通过如下图像处理方式对直播内容的截图进行预处理。
第一种图像处理方式：图像格式处理。
对直播内容的截图进行格式处理，得到预设图像格式的截图。
由于不同的主播客户端使用的终端不同，终端的系统返回的直播内容的截图一般为二进制数据，且该二进制数据一般不规整，且不同终端中内存的排序规则不一致，获取的直播内容的截图可能存在兼容性的问题，因此可以将直播内容的截图进行格式处理至预设图像格式。
对上述预设图像格式不做限定，如可以将预设图像格式设置为RGBA8888格式、RGBA4444格式、RGB565格式中的任意一种格式。
第二种图像处理方式：图像裁剪。
对直播内容的截图进行图像裁剪，得到设定图像尺寸的截图。
考虑到不同的终端返回的直播内容的截图的尺寸不同，会影响对截图的识别，因此可以对直播内容的截图进行裁剪至易于识别和读取的设定图像格式。
对上述设定图像格式不做过多限定，本领域的技术人员可根据实际需求设置，如将设定图像格式设置成1280×720的分辨率大小。
第三种图像处理方式：图像归一化和图像二值化处理。
对直播内容的截图进行归一化和图像二值化处理，得到归一化后的截图。
考虑到降低图像处理数据，因此可以对设定图像尺寸的截图进行归一化和二值化处理。
应当说明的是，在本申请实施例提供的直播控制方法中，可以用上述第一种图像处理方式至第三种图像处理方式中的一种或多种方式对直播内容的图像进行处理，请参见如下过程，提供一种通过多种图像处理方式对直播内容的截图进行预处理的流程示意图。
对直播内容的截图进行格式处理，得到预设图像格式的截图；进而对进行格式处理后的直播内容的截图进行图像裁剪，得到设定图像尺寸的截图；以及对设定图像尺寸的截图进行归一化和图像二值化处理，得到归一化后的直播内容的截图。
以下给出一个将本申请实施例提供的直播控制方法应用于教学直播的示例。
该示例中以外语教学的直播场景作为当前的直播场景进行示意性说明。
该示例中老师通过手机上的教学应用进行直播，且可以通过摄像头和录屏操作结合的直播方式采集直播内容，主播客户端为老师使用的教学应用的客户端，主播客户端的直播屏幕为老师进行直播时使用的手机的屏幕，目标客户端收看直播的学员使用的教学应用的客户端，目标客户端的直播屏幕为学员观看直播时使用的手机的屏幕。
老师在进行直播时，可以通过手机上的摄像头采集自己的面庞或者其它相关教学事物的画面；在需要向学员展示相关的教学资料如PPT或文档材料时，可以通过对手机进行录屏操作，在进行录屏操作时使用安装在手机上的第三方软件打开教学资料，此时老师的直播屏幕上就会显示打开的教学资料；上述第三方应用为上述教学应用之外的应用，且其本身具有打开教学资料的功能。
首先对上述两种采集直播内容的方式采集的直播内容的界面进行说明，请参见图20，给出一种通过摄像头采集直播内容的示意图，界面2000中的内容即为摄像头采集的直播内容，如图所示，此时采集的是老师2001的画面；老师可以通过直播模式选择按键2002选择视频模式或屏幕分享模式进行直播，视频模式为通过摄像头采集直播内容进行直播的模式，屏幕分享模式为通过录屏操作采集直播内容进行直播的模式；图20为视频模式下老师的直播屏幕上的画面，老师可以通过转换摄像按键2003转换手机上的摄像头，如转换为前置摄像头或后置摄像头采集直播内容；老师也可以通过美颜按键2004触发对采集的直播内容中的人像的美颜操作，还可以通过背景虚化按键2005触发对采集的直播内容中的图像的背景进行虚化操作；通过邀请按键2006邀请学员观看直播；通过学员查看按键2007查看观看直播的学员，以及通过签到按键2008查看学员的签到情况，通过讨论按键2009参与直播内容的讨论或者查看学员关于直播内容的讨论等。
请参见图21，若老师通过直播模式选择按键2002选择了屏幕分享模式进行直播，则直播屏幕上显示界面2100的直播内容，该直播内容是通过对老师使用的手机进行录屏操作采集的；老师可以通过停止共享按键2101触发停止对手机的录屏操作。
该示例中的元素识别规则可以是识别外语教学中的教学兴趣点，教学兴趣点可以但不局限于包括：文本信息、老师口型、语法结构以及图片等。
以下以图2示意出的应用场景对该示例中的直播控制方法进行说明。
以下以老师端作为主播客户端，学员端作为目标客户端进行说明，老师端采集直播内容并获取直播内容的截图并发送给第一服务器210；第一服务器210识别直播内容的截图中的目标元素，以及获取与目标元素对应的展示信息并发送给老师端；老师端在直播屏幕上显示展示信息，以及将展示信息包含在直播媒体流中发送给第二服务器220；第二服务器220将包含展示信息的直播媒体流发送给学员端；进而学员端在直播屏幕上显示展示信息，其中老师端、学员端、第一服务器210和第二服务器220之间的交互可参见图2或图15所示，此处不再重复叙述。
以下针对目标元素为不同的元素的情况，对老师端和学员端显示展示信息的过程进行说明。
情况1：目标元素包括老师的口型，目标信息包括口型对应的发音信息。
若直播内容的截图为图20中的界面2000，则第一服务器210可以识别老师的口型，进而获取与上述口型关联的发音信息，将获取的发音信息发送给老师端；老师端在直播内容中显示发音信息以及将发音信息包含在直播媒体流中发送给第二服务器220；第二服务器220将直播媒体流发送给学员端。
老师端接收到第一服务器210发送的发音信息后，以及学员端接收到第二服务器220发送的直播媒体流后，老师端和学员端可以确定该口型在直播屏幕上的显示位置区域，请参见图22，给出该口型在直播屏幕上的显示位置区域2201，进而确定显示位置区域2201对应的第一目标区域2202，在第一目标区域2202处绘制触发展示发音信息的展示触发信息2203。
当老师或学员点击展示触发信息2203触发展示指令时，会进入界面2204，老师端和学员端确定显示位置区域2201对应的第二目标区域2205，并在第二目标区域2205中绘制与老师的口型关联的发音信息。
情况2：目标元素包括图片和文本信息，图片的目标信息包括图像识别结果，文本信息的目标信息包括文本信息的翻译信息。
该情况中是通过录屏操作采集的直播内容，如图23所示为一张直播内容的截图，第一服务器210可以识别出手机的图片2301以及英文形式的文本信息2302和英语形式的文本信息2303，进而获取与图片2301关联的目标信息“XX手机”，获取与文本信息2302关联的目标信息(即对应的中文形式的翻译文本“你好，Android 10”)，以及与文本信息2303关联的目标信息(即对应的中文形式的翻译文本“查看最新版本的Android中的所有内容：新的隐私控制、功能强大的工具等”)，进而将获取的各目标元素的目标信息发送给老师端；老师端在直播屏幕上显示展示信息(上述相关的目标信息或触发显示目标信息的触发展示信息)，以及将展示信息包含在直播媒体流中发送给第二服务器220；第二服务器220将包含展示信息的直播媒体流发送给学员端；进而学员端在直播屏幕上显示展示信息，其中老师端、学员端、第一服务器210和第二服务器220之间的交互可参见图2或图15所示，此处不再重复叙述。
老师端接收到第一服务器210发送的目标信息后，以及学员端接收到第二服务器220发送的直播媒体流后，确定图片2301在直播屏幕上的第一显示位置区域23011，确定文本信息2302在直播屏幕上的第一显示位置区域23021，确定文本信息2303在直播屏幕上的第一显示位置区域23031；进而分别在第一目标区域23011对应的第一目标区域23012、第一显示位置区域23021对应的第一目标区域23022以及第一显示位置区域23031对应的第一目标区域23032处绘制触发展示发音信息的展示触发信息23013、展示触发信息23023以及展示触发信息23033。
请参见图24，当老师或学员点击展示触发信息23013和展示触发信息23023触发展示指令时，会进入界面2401，主播客户端和目标客户端确定第一目标区域23011对应的第二目标区域24011和第一显示位置区域23021对应的第一目标区域24021，并在第二目标区域24011处绘制“XX手机”，在第二目标区域24021处绘制“你好，Android 10”。
由于老师和学员没有点击展示触发信息23033，故而没有在界面2401中展示与英语文本信息2303关联的目标信息(即对应的中文翻译“查看最新版本的Android中的所有内容：新的隐私控制、功能强大的工具等”)。
应当说明的是，该示例中图22至25中各第一目标区域和第二目标区域的位置仅为示例性的说明，本领域的技术人员可根据实际需求设置。
更进一步地，还可以将每个词语作为目标元素，如将每个中文词语和英文词语都分别作为一个目标元素，且可以根据词语的特性设置对应的目标信息，如当目标元素为中文词语“树”或英文词语“tree”时，目标信息可以是树的图像，即可以在学员或老师点击直播屏幕上的树”或“tree”时，将树的图像作为展示信息显示在直播屏幕上。
以下对老师端进行直播的直播架构进行说明：
请参见图25，老师端通过录屏操作进行屏幕录制，进而获取直播内容的截图，通过箭头1的指向将直播内容的截图传递到图像识别接口，进而通过箭头2的指向调用服务器的图像识别服务；服务器识别直播内容的截图中的目标元素并获取与目标元素对应的展示信息，并将展示信息通过箭头3的指向发送给老师端；老师端通过箭头4的指向将展示信息融合在以YUV数据形式采集的直播媒体流中，通过箭头5的指向对融合展示信息后的直播媒体流进行去噪处理，通过箭头6的指向对去噪后的直播媒体流进行视频帧的编码，进而通过箭头7的指向将对摄像头采集的直播媒体流进行编码、将麦克风采集的PCM音频进行编码以及将去噪后的直播媒体流进行编码后的直播媒体流进行融合，封包后发送给服务器的音视频直播服务；服务器将封包后的直播媒体流发送给学员端。
上述YUV数据是一种对图像的颜色编码处理后的数据，“Y”表示明亮度(Luminance或Luma)，即灰值，“U”和“V”表示的则是色度(Chrominance或Chroma)，用于描述影像色彩及饱和度；上述PCM音频指即脉冲编码调制(Pulse Code Modulation)形式的音频。
本申请实施例中在客户端显示直播内容时，可以根据实际需求，灵活的设置在直播内容中展示与直播内容中的目标元素相关的展示信息，提升了直播内容的丰富度。
请参照图26，基于同一发明构思，本申请实施例提供一种直播控制装置1400，包括：
第一展示单元2601，用于显示直播内容；
第二展示单元2602，用于在上述直播内容中展示与直播内容中的目标元素对应的展示信息。
作为一种实施例，第二展示单元2602具体用于：
从直播屏幕上获取上述直播内容的截图；
将上述直播内容的截图发送给第一服务器，以及
接收与直播内容中的目标元素对应的展示信息，上述展示信息与上述直播内容中的目标信息对应且是上述第一服务器从上述直播内容的截图中识别出上述目标元素后获取的；
将上述展示信息展示到上述直播屏幕上；以及
将上述展示信息包含在直播媒体流中发送给第二服务器，以使上述第二服务器将上述直播媒体流发送给收看直播的目标客户端，以使上述目标客户端在直播内容中展示上述展示信息。
作为一种实施例，第二展示单元2602具体用于：
从直播屏幕上获取上述直播内容的截图；
将上述直播内容的截图发送给第一服务器；以及
将包含上述直播内容的直播媒体流发送给第二服务器，以及
接收包含展示信息的直播媒体流，上述展示信息与上述直播内容中的目标元素对应且是上述第一服务器从上述直播内容的截图中识别出上述目标元素后获取的，上述包含展示信息的直播媒体流是上述第二服务器将获取的展示信息融合到上述包含上述直播内容的直播媒体流中得到的；
将上述展示信息展示到上述直播屏幕上。
作为一种实施例，第二展示单元2602具体用于：
从直播屏幕上获取上述直播内容的截图；
将上述直播内容的截图包含在直播媒体流中发送给第二服务器，以及
接收包含展示信息的直播媒体流，上述展示信息与上述直播内容中的目标元素对应且是上述第二服务器从上述直播内容的截图中识别出上述目标元素后获取的，上述包含展示信息的直播媒体流是上述第二服务器将获取的展示信息融合到上述第二服务器接收到的直播媒体流中得到的；
将上述展示信息展示到上述直播屏幕上。
作为一种实施例，第二展示单元2602具体用于：
从直播屏幕上获取上述直播内容的截图；
从上述直播内容的截图中识别目标元素；
获取识别出的目标元素对应的展示信息；
将上述展示信息展示到上述直播屏幕上；以及
将上述展示信息包含在直播媒体流中发送给第二服务器，以使上述第二服务器将上述直播媒体流发送给收看直播的目标客户端，以使上述目标客户端在直播内容中展示上述展示信息。
作为一种实施例，第一展示单元具体2601用于：从第二服务器中获得包含展示信息的直播媒体流；上述展示信息与上述直播内容中的目标元素对应；
第二展示单元2602具体用于：在上述直播内容中，展示获得的直播媒体流中与直播内容中的目标元素对应的展示信息。
作为一种实施例，上述第二展示单元具体用于：
确定上述直播内容中的目标元素在直播屏幕上的显示位置区域；
在上述确定的显示位置区域对应的目标区域处，展示与上述直播内容中的目标元素对应的展示信息。
作为一种实施例，第二展示单元2602具体用于：
响应通过上述直播屏幕触发的截屏操作指令，对上述直播屏幕进行截图操作，得到上述直播内容的截图；或
上述直播屏幕上的直播内容发生变化时，对上述直播屏幕进行截图操作，得到上述直播内容的截图。
作为一种实施例，第二展示单元2601具体用于：
在上述直播内容中展示与直播内容中的目标元素对应的展示触发信息；
响应针对上述展示触发信息的操作，显示与上述目标元素关联的目标信息的。
作为一种实施例，图26中的装置可以用于实现前文论述的客户端对应的任意一种直播控制方法。
请参照图27，基于同一发明构思，本申请实施例提供一种直播控制装置2700，包括：
信息接收单元2701，用于接收包含直播内容的直播媒体流，上述直播媒体流包括主播客户端基于直播内容获取的元素信息，上述直播内容包括上述主播客户端的直播屏幕上显示的内容；
信息处理单元2702，用于上述元素信息包括上述直播内容的截图时，获取从上述截图中识别出的目标元素对应的展示信息，将上述展示信息包含在上述直播媒体流中发送给上述主播客户端和收看直播的目标客户端，以使上述主播客户端和上述目标客户端在上述直播内容中展示上述展示信息；或，上述元素信息包括上述主播客户端从上述直播内容的截图中识别出的目标元素对应的展示信息时，将上述直播媒体流发送给目标客户端，以使上述目标客户端在上述直播内容中展示上述展示信息。
作为一种实施例，图27中的装置可以用于实现前文论述的服务器对应的任意一种直播控制方法。
请参照图28，基于同一发明构思，本申请实施例提供一种直播控制装置2800，包括：
信息接收单元2801，用于接收主播客户端发送的直播内容的截图，上述直播内容的截图是上述主播客户端从直播屏幕上获取的；
图像识别单元2802，用于从上述直播内容的截图中识别目标元素；
信息处理单元2803，用于获取识别出的目标元素对应的展示信息；以及将上述展示信息发送给主播客户端，以使上述主播客户端将上述展示信息包含在直播媒体流中发送给用于直播的第二服务器，以使收看直播的目标客户端在直播内容中展示上述展示信息；或，将上述展示信息发送给用于直播的第二服务器，以使上述第二服务器将上述展示信息融合在上述主播客户端发送的直播媒体流中，以使收看直播的目标客户端在直播内容中展示上述展示信息。
作为一种实施例，图28中的装置可以用于实现前文论述的图2或图3中的第一服务器210对应的任意一种直播控制方法。
基于同一发明构思，本申请实施例提供一种终端设备，下面对该终端设备进行介绍。
请参照图29，上述主播客户端和目标客户端可以安装在终端设备2900上，该终端设备2900包括显示单元2940、处理器2980以及存储器2920，其中，显示单元2940包括显示面板2941，用于显示由用户输入的信息或提供给用户的信息以及主播客户端110和目标客户端120的各种操作界面等，在本申请实施例中主要用于显示终端设备2900中已安装的主播客户端或目标客户端的界面、快捷窗口等。
可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)或有机发光二极管OLED(Organic Light-Emitting Diode)等形式来配置显示面板2941。
处理器2980用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器2980读取主播客户端以及目标客户端对应的应用等，从而在该终端设备2900上运行应用，在显示单元2940上显示应用的界面。处理器2980可以包括一个或多个通用处理器，还可包括一个或多个DSP(Digital Signal Processor，数字信号处理器)，用于执行相关操作，以实现本申请实施例所提供的技术方案。
存储器2920一般包括内存和外存，内存可以为随机存储器(RAM)，只读存储器(ROM)，以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器2920用于存储计算机程序和其他数据，该计算机程序包括客户端对应的应用程序等，其他数据可包括操作系统或应用程序被运行后产生的数据，该数据包括系统数据(例如操作系统的配置参数)和用户数据。本申请实施例中程序指令存储在存储器2920中，处理器2980执行存储其中2920中的程序指令，实现前文图论述的任意的一种目标函数确定方法。
上述显示单元2940用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与终端设备2900的用户设置以及功能控制有关的信号输入等。具体地，本申请实施例中，该显示单元2940可以包括显示面板2941。显示面板2941例如触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板2941上或在显示面板2941的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，显示面板2941可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测玩家的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器2980，并能接收处理器2980发来的命令并加以执行。在本申请实施例中，若用户点击主播客户端110或目标客户端120，则在显示面板2941中的触摸检测装置检测到触摸操作，则将检测到的触摸操作对应的信号发送的触摸控制器，触摸控制器将信号转换成触点坐标发送给处理器2980，处理器2980根据接收到的触点坐标确定用户需要对主播客户端110或目标客户端120进行的操作。
其中，显示面板2941可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元2940，终端设备2900还可以包括输入单元2930，输入单元2930可以包括图形输入设备2931和其他输入设备2932，其中其他输入设备可以但不限于包括物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
除以上之外，终端设备2900还可以包括用于给其他模块供电的电源2990、音频电路2960、近场通信模块2970和RF电路2910。终端设备2900还可以包括一个或多个传感器2950，例如加速度传感器、光传感器、压力传感器等。音频电路2960具体包括扬声器2961和麦克风2962等，例如终端设备2900可以通过麦克风2962采集用户的声音，进行相应的操作等。
作为一种实施例，处理器2980的数量可以是一个或多个，处理器980和存储器2920可以是耦合设置，也可以是相对独立设置。
作为一种实施例，图29中的处理器2980可以用于实现如图24中的第一展示单元2601和第二展示单元2602的功能。
作为一种实施例，图29中的处理器2980可以用于实现前文论述的卡主播客户端110的功能，和/或目标客户端120的功能。
上述直播控制装置2700作为硬件实体的一个实例如图30所示的计算机设备，该计算机设备包括处理器3001、存储介质3002以及至少一个外部通信接口3003；上述处理器3001、存储介质3002以及外部通信接口3003均通过总线3004连接。
存储介质3002中存储有计算机程序；
处理器3001执行该计算机程序时实现前文论述的第二服务器的直播控制方法。
图30中是以一个处理器3001为例，但是实际上不限制处理器3001的数量。
其中，存储介质3002可以是易失性存储介质(volatile memory)，例如随机存取存储介质(random-access memory，RAM)；存储介质3002也可以是非易失性存储介质(non-volatile memory)，例如只读存储介质，快闪存储介质(flash memory)，硬盘(hard diskdrive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储介质3002是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储介质3002可以是上述存储介质的组合。
上述直播控制装置2800作为硬件实体的一个实例可以参见图30所示的计算机设备，其中图30所示的计算机设备作为直播控制装置2800的硬件实体时，上述存储介质3002中存储有计算机程序；处理器3001执行该计算机程序时实现前文论述的第一服务器210的直播控制方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例提供的一种直播控制方法。
基于同一技术构思，本申请实施例还一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当上述计算机指令在计算机上运行时，使得计算机执行如前文论述的目标函数确定方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种直播控制方法，其特征在于，包括：
显示直播内容；
在所述直播内容中展示与直播内容中的目标元素对应的展示信息。
2.如权利要求1所述的方法，其特征在于，所述在所述直播内容中展示与直播内容中的目标元素对应的展示信息，包括：
从直播屏幕上获取所述直播内容的截图；
将所述直播内容的截图发送给第一服务器，以及
接收与直播内容中的目标元素对应的展示信息，所述展示信息与所述直播内容中的目标信息对应且是所述第一服务器从所述直播内容的截图中识别出所述目标元素后获取的；
将所述展示信息展示到所述直播屏幕上；以及
将所述展示信息包含在直播媒体流中发送给第二服务器，以使所述第二服务器将所述直播媒体流发送给收看直播的目标客户端，以使所述目标客户端在直播内容中展示所述展示信息。
3.如权利要求1所述的方法，其特征在于，所述在所述直播内容中展示与直播内容中的目标元素对应的展示信息，包括：
从直播屏幕上获取所述直播内容的截图；
将所述直播内容的截图发送给第一服务器；以及
将包含所述直播内容的直播媒体流发送给第二服务器，以及
接收包含展示信息的直播媒体流，所述展示信息与所述直播内容中的目标元素对应且是所述第一服务器从所述直播内容的截图中识别出所述目标元素后获取的，所述包含展示信息的直播媒体流是所述第二服务器将获取的展示信息融合到所述包含所述直播内容的直播媒体流中得到的；
将所述展示信息展示到所述直播屏幕上。
4.如权利要求1所述的方法，其特征在于，所述在所述直播内容中展示与直播内容中的目标元素对应的展示信息，包括：
从直播屏幕上获取所述直播内容的截图；
将所述直播内容的截图包含在直播媒体流中发送给第二服务器，以及
接收包含展示信息的直播媒体流，所述展示信息与所述直播内容中的目标元素对应且是所述第二服务器从所述直播内容的截图中识别出所述目标元素后获取的，所述包含展示信息的直播媒体流是所述第二服务器将获取的展示信息融合到所述第二服务器接收到的直播媒体流中得到的；
将所述展示信息展示到所述直播屏幕上。
5.如权利要求1所述的方法，其特征在于，所述在所述直播内容中展示与直播内容中的目标元素对应的展示信息，包括：
从直播屏幕上获取所述直播内容的截图；
从所述直播内容的截图中识别目标元素；
获取识别出的目标元素对应的展示信息；
将所述展示信息展示到所述直播屏幕上；以及
将所述展示信息包含在直播媒体流中发送给第二服务器，以使所述第二服务器将所述直播媒体流发送给收看直播的目标客户端，以使所述目标客户端在直播内容中展示所述展示信息。
6.如权利要求1所述的方法，其特征在于，所述显示直播内容，包括：
从第二服务器中获得包含展示信息的直播媒体流；所述展示信息与所述直播内容中的目标元素对应；
所述在所述直播内容中展示与直播内容中的目标元素对应的展示信息，包括：
在所述直播内容中，展示获得的直播媒体流中与直播内容中的目标元素对应的展示信息。
7.如权利要求1-6任一项所述的方法，其特征在于，所述在所述直播内容中展示与直播内容中的目标元素对应的展示信息，包括：
确定所述直播内容中的目标元素在直播屏幕上的显示位置区域；
在所述确定的显示位置区域对应的目标区域处，展示与所述直播内容中的目标元素对应的展示信息。
8.如权利要求2-5任一项所述的方法，其特征在于，所述从直播屏幕上获取所述直播内容的截图，包括：
响应通过所述直播屏幕触发的截屏操作指令，对所述直播屏幕进行截图操作，得到所述直播内容的截图；或
所述直播屏幕上的直播内容发生变化时，对所述直播屏幕进行截图操作，得到所述直播内容的截图。
9.如权利要求1-6任一项所述的方法，其特征在于，所述在所述直播内容中展示与直播内容中的目标元素对应的展示信息，包括：
在所述直播内容中展示与直播内容中的目标元素对应的展示触发信息；
响应针对所述展示触发信息的操作，显示与所述目标元素关联的目标信息的。
10.一种直播控制方法，其特征在于，包括：
接收包含直播内容的直播媒体流，所述直播媒体流包括主播客户端基于直播内容获取的元素信息，所述直播内容包括所述主播客户端的直播屏幕上显示的内容；
所述元素信息包括所述直播内容的截图时，获取从所述截图中识别出的目标元素对应的展示信息，将所述展示信息包含在所述直播媒体流中发送给所述主播客户端和收看直播的目标客户端，以使所述主播客户端和所述目标客户端在所述直播内容中展示所述展示信息；或，所述元素信息包括所述主播客户端从所述直播内容的截图中识别出的目标元素对应的展示信息时，将所述直播媒体流发送给目标客户端，以使所述目标客户端在所述直播内容中展示所述展示信息。
11.一种直播控制方法，其特征在于，包括：
接收主播客户端发送的直播内容的截图，所述直播内容的截图是所述主播客户端从直播屏幕上获取的；
从所述直播内容的截图中识别目标元素；
获取识别出的目标元素对应的展示信息；以及
将所述展示信息发送给主播客户端，以使所述主播客户端将所述展示信息包含在直播媒体流中发送给用于直播的第二服务器，以使收看直播的目标客户端在直播内容中展示所述展示信息；或，将所述展示信息发送给用于直播的第二服务器，以使所述第二服务器将所述展示信息融合在所述主播客户端发送的直播媒体流中，以使收看直播的目标客户端在直播内容中展示所述展示信息。
12.一种直播控制装置，其特征在于，包括：
第一展示单元，用于显示直播内容；
第二展示单元，用于在所述直播内容中展示与直播内容中的目标元素对应的展示信息。
13.一种直播控制装置，其特征在于，包括：
信息接收单元，用于接收包含直播内容的直播媒体流，所述直播媒体流包括主播客户端基于直播内容获取的元素信息，所述直播内容包括所述主播客户端的直播屏幕上显示的内容；
信息处理单元，用于所述元素信息包括所述直播内容的截图时，获取从所述截图中识别出的目标元素对应的展示信息，将所述展示信息包含在所述直播媒体流中发送给所述主播客户端和收看直播的目标客户端，以使所述主播客户端和所述目标客户端在所述直播内容中展示所述展示信息；或，所述元素信息包括所述主播客户端从所述直播内容的截图中识别出的目标元素对应的展示信息时，将所述直播媒体流发送给目标客户端，以使所述目标客户端在所述直播内容中展示所述展示信息。
14.一种直播控制装置，其特征在于，包括：
信息接收单元，用于接收主播客户端发送的直播内容的截图，所述直播内容的截图是所述主播客户端从直播屏幕上获取的；
图像识别单元，用于从所述直播内容的截图中识别目标元素；
信息处理单元，用于获取识别出的目标元素对应的展示信息；以及将所述展示信息发送给主播客户端，以使所述主播客户端将所述展示信息包含在直播媒体流中发送给用于直播的第二服务器，以使收看直播的目标客户端在直播内容中展示所述展示信息；或，将所述展示信息发送给用于直播的第二服务器，以使所述第二服务器将所述展示信息融合在所述主播客户端发送的直播媒体流中，以使收看直播的目标客户端在直播内容中展示所述展示信息。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9中任一项、10或11所述方法的步骤。
CN202010634643.7A 2020-07-02 2020-07-02 一种直播控制方法、装置、设备及计算机存储介质 Pending CN111741321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010634643.7A CN111741321A (zh) 2020-07-02 2020-07-02 一种直播控制方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010634643.7A CN111741321A (zh) 2020-07-02 2020-07-02 一种直播控制方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN111741321A true CN111741321A (zh) 2020-10-02

Family

ID=72653080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010634643.7A Pending CN111741321A (zh) 2020-07-02 2020-07-02 一种直播控制方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111741321A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573090A (zh) * 2021-07-28 2021-10-29 广州方硅信息技术有限公司 游戏直播中的内容显示方法、装置、系统和存储介质
CN114390359A (zh) * 2020-10-15 2022-04-22 聚好看科技股份有限公司 一种消息的展示方法及显示设备
CN114449304A (zh) * 2022-01-27 2022-05-06 北京达佳互联信息技术有限公司 信息展示方法、装置、设备、介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747293A (zh) * 2014-01-10 2014-04-23 北京酷云互动科技有限公司 与电视节目关联的产品推荐方法及推荐装置
CN104808898A (zh) * 2015-04-13 2015-07-29 深圳市金立通信设备有限公司 一种终端
WO2017166510A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 一种直播中信息展示方法及装置
CN108055589A (zh) * 2017-12-20 2018-05-18 聚好看科技股份有限公司 智能电视
CN109271983A (zh) * 2018-09-27 2019-01-25 青岛海信电器股份有限公司 屏幕画面截图中识别物体的显示方法及显示终端
CN111126083A (zh) * 2019-12-04 2020-05-08 苏宁智能终端有限公司 一种终端画面实时翻译方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747293A (zh) * 2014-01-10 2014-04-23 北京酷云互动科技有限公司 与电视节目关联的产品推荐方法及推荐装置
CN104808898A (zh) * 2015-04-13 2015-07-29 深圳市金立通信设备有限公司 一种终端
WO2017166510A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 一种直播中信息展示方法及装置
CN108055589A (zh) * 2017-12-20 2018-05-18 聚好看科技股份有限公司 智能电视
CN109271983A (zh) * 2018-09-27 2019-01-25 青岛海信电器股份有限公司 屏幕画面截图中识别物体的显示方法及显示终端
CN111126083A (zh) * 2019-12-04 2020-05-08 苏宁智能终端有限公司 一种终端画面实时翻译方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390359A (zh) * 2020-10-15 2022-04-22 聚好看科技股份有限公司 一种消息的展示方法及显示设备
CN114390359B (zh) * 2020-10-15 2023-03-03 聚好看科技股份有限公司 一种消息的展示方法及显示设备
CN113573090A (zh) * 2021-07-28 2021-10-29 广州方硅信息技术有限公司 游戏直播中的内容显示方法、装置、系统和存储介质
CN114449304A (zh) * 2022-01-27 2022-05-06 北京达佳互联信息技术有限公司 信息展示方法、装置、设备、介质及产品

Similar Documents

Publication Publication Date Title
CN110225369B (zh) 视频选择播放方法、装置、设备和可读存储介质
CN108847214B (zh) 语音处理方法、客户端、装置、终端、服务器和存储介质
CN110868635B (zh) 视频处理方法、装置、电子设备及存储介质
CN111741321A (zh) 一种直播控制方法、装置、设备及计算机存储介质
CN110914872A (zh) 用认知洞察力导航视频场景
US20220013026A1 (en) Method for video interaction and electronic device
CN112653902B (zh) 说话人识别方法、装置及电子设备
CN112752121B (zh) 一种视频封面生成方法及装置
CN111800668B (zh) 弹幕的处理方法、装置、设备及存储介质
WO2023071917A1 (zh) 虚拟对象互动方法、装置、存储介质及计算机程序产品
CN104866275B (zh) 一种用于获取图像信息的方法和装置
WO2021023047A1 (zh) 人脸图像的处理方法、装置、终端及存储介质
JP2021034003A (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
WO2022001600A1 (zh) 信息解析方法及装置、设备、存储介质
US20230368461A1 (en) Method and apparatus for processing action of virtual object, and storage medium
CN112866783A (zh) 评论交互方法和装置、电子设备
CN113573090A (zh) 游戏直播中的内容显示方法、装置、系统和存储介质
CN111309200A (zh) 一种扩展阅读内容的确定方法、装置、设备及存储介质
CN114143572A (zh) 直播交互方法、装置、存储介质、电子设备
US20230215296A1 (en) Method, computing device, and non-transitory computer-readable recording medium to translate audio of video into sign language through avatar
CN113840177B (zh) 直播互动方法、装置、存储介质与电子设备
WO2022179415A1 (zh) 视听作品的展示方法、装置、设备及介质
CN113438532B (zh) 视频处理、视频播放方法、装置、电子设备及存储介质
US20140178035A1 (en) Communicating with digital media interaction bundles
CN112579868A (zh) 多模态识图搜索方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030703

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002