CN113891105A - 画面显示方法和装置、存储介质及电子设备 - Google Patents

画面显示方法和装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113891105A
CN113891105A CN202111144911.8A CN202111144911A CN113891105A CN 113891105 A CN113891105 A CN 113891105A CN 202111144911 A CN202111144911 A CN 202111144911A CN 113891105 A CN113891105 A CN 113891105A
Authority
CN
China
Prior art keywords
target
close
area
picture
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111144911.8A
Other languages
English (en)
Inventor
陈文琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202111144911.8A priority Critical patent/CN113891105A/zh
Publication of CN113891105A publication Critical patent/CN113891105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning

Abstract

本申请公开了一种画面显示方法和装置、存储介质及电子设备。其中，该方法包括：服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面；响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。本申请解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。

Description

画面显示方法和装置、存储介质及电子设备
技术领域
本发明涉及计算机领域，具体而言，涉及一种画面显示方法和装置、存储介质及电子设备。
背景技术
在网络直播场景中，当用户对直播画面中的局部区域进行特写放大操作时，相关技术通常采用截取直播画面的原图片局部区域进行直接拉伸变大，但放大后的局部区域图像会变模糊，清晰度欠佳，影响用户体验。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种画面显示方法和装置、存储介质及电子设备，以至少解决直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
根据本发明实施例的一个方面，提供了一种画面显示方法，包括：通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示上述直播视频中的目标视频帧画面，其中，上述合成图像帧序列中的每个合成图像帧是上述推流客户端将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；在上述合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域；在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，根据上述目标合成图像帧在上述拉流客户端展示上述目标特写区域内的特写画面。
根据本发明实施例的另一方面，还提供了一种画面显示方法，包括：获取直播视频对应的视频帧画面；识别上述视频帧画面中的至少一个特写区域；将上述视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，上述特写区域与上述视频帧画面中的操作区域相对应，上述操作区域用于使拉流客户端根据触控操作显示上述特写区域；将上述直播视频和上述合成图像帧序列通过服务器发送至拉流客户端。
根据本发明实施例的另一方面，还提供了一种画面显示装置，包括：接收单元，用于通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示上述直播视频中的目标视频帧画面，其中，上述合成图像帧序列中的每个合成图像帧是上述推流客户端将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；确定单元，用于响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；查找单元，用于在上述合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域；展示单元，用于在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，根据上述目标合成图像帧在上述拉流客户端展示上述目标特写区域内的特写画面。
根据本发明实施例的另一方面，还提供了一种画面显示装置，包括：获取单元，用于获取直播视频对应的视频帧画面；识别单元，用于识别上述视频帧画面中的至少一个特写区域；合成单元，用于将上述视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，上述特写区域与上述视频帧画面中的操作区域相对应，上述操作区域用于使拉流客户端根据触控操作显示上述特写区域；发送单元，用于将上述直播视频和上述合成图像帧序列通过服务器发送至拉流客户端。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述的画面显示方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的画面显示方法。
在本申请实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示上述直播视频中的目标视频帧画面，其中，上述合成图像帧序列中的每个合成图像帧是上述推流客户端将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；在上述合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域；在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，根据上述目标合成图像帧在上述拉流客户端展示上述目标特写区域内的特写画面，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的画面显示方法的应用环境的示意图；
图2是根据本申请实施例的另一种可选的画面显示方法的应用环境的示意图；
图3是根据本申请实施例的一种可选的画面显示方法的流程图；
图4是根据本申请实施例的一种可选的画面显示方法的客户端界面显示示意图；
图5是根据本申请实施例的另一种可选的画面显示方法的流程图；
图6是根据本申请实施例的又一种可选的画面显示方法的客户端界面显示示意图；
图7是根据本申请实施例的另一种可选的画面显示方法的显示界面示意图；
图8是根据本申请实施例的另一种可选的画面显示方法的客户端界面显示示意图；
图9是根据本申请实施例的另一种可选的画面显示方法的客户端界面显示示意图；
图10是根据本申请实施例的一种可选的画面显示装置的结构示意图；
图11是根据本申请实施例的一种可选的画面显示装置的结构示意图；
图12是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种画面显示方法，可选地，作为一种可选的实施方式，上述一种画面显示可以但不限于应用于如图1所示的环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106，终端设备102可以包括但不限于车载电子设备、手持终端、可穿戴设备、便携式设备等。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有画面显示应用客户端。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于显示直播视频、目标特写区域和目标特写区域中的特写画面。处理器1024用于响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；存储器1026用于存储上述目标特写区域和直播视频匹配的合成图像帧序列。
此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储直播视频、目标特写区域和目标特写区域中的特写画面。处理引擎1064用于在与直播视频匹配的合成图像帧序列中，查找与目标操作区域对应的目标特写区域，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；在合成图像帧序列中查找到目标特写区域的情况下，在播放客户端展示目标特写区域内的特写画面，其中，目标特写区域内的特写画面中包括被特效处理后的目标对象。
具体过程如以下步骤：假设如图1所示终端设备102中运行有画面显示应用客户端，用户108操作人机交互屏幕1022对歌曲进行管理和操作，如步骤S102，在播放客户端展示直播视频中的目标视频帧画面。然后执行步骤S104，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；步骤S106，将上述目标操作区域通过网络104发送给服务器106。服务器106接收到该请求后，执行步骤S108至S110，在与直播视频匹配的合成图像帧序列中，查找与目标操作区域对应的目标特写区域，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；在合成图像帧序列中查找到目标特写区域的情况下，在播放客户端展示目标特写区域内的特写画面，其中，目标特写区域内的特写画面中包括被特效处理后的目标对象；并如步骤S112，通过网络104通知终端设备102，返回上述特写画面；步骤S112，在终端设备102中展示目标特写区域内的特写画面。
作为另一种可选的实施方式，本申请上述画面显示方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，以获取上述特写画面。
可选地，在本实施例中，上述终端设备102和用户设备204可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络104可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图3所示，上述画面显示方法包括：
S302，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
S304，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
S306，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
S308，在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。
在步骤S302中，实际应用时，可以包括但不限于通过手机、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑等设备播放当前的直播视频，上述直播视频中高端目标视频帧画面可以通过手机、笔记本电脑等电子设备实时录制，并通过流媒体进行传输，在此不作任何限定。如图4所示，在电子设备的播放客户端400中，显示有直播视频，直播视频中的人物来自于通过电子设备实时录制并通过流媒体显示在直播客户端400中。
在步骤S304中，实际应用时，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；如图4所示，通过点击特写放大按键404后，确定触控操作在目标视频帧画面中的目标操作区域406，即直播图像中人物的头像区域，和人物手持的物品区域；
在步骤S306中，实际应用时，如图4所示，在与上述直播视频匹配的合成图像帧序列402中，查找与上述目标操作区域406对应的目标特写区域，其中，上述合成图像帧序列400中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧，图4中目标操作区域406对应的目标特写区域有两个，人物头像和照相机区域。
在一实施例中，当图4中目标操作区域406对应的目标特写区域有一个，人物头像区域或照相机区域其中之一时，目标操作区域406对应的目标特写区域也为一个，合成图像帧序列400中的每个合成图像帧将直播视频中对应的视频帧画面内识别出的一个人物头像区域或照相机特写区域进行合成后得到的图像帧。
在步骤S308中，实际应用时，如图4所示在上述合成图像帧序列400的目标合成图像帧中查找到上述目标特写区域(人物头像区域和/或照相机区域)的情况下，在播放客户端400展示上述目标特写区域408内的特写画面，目标特写区域内的特写画面中包括被特效处理后的目标对象(人物头像或照相机)。
在本申请实施例中，如图4所示，在合成图像帧序列中，识别出携带上述目标对象(如目标人物和照相机)的候选视频帧画面；从各个上述候选视频帧画面中提取出上述目标对象所在显示区域(目标特写区域406)；对上述显示区域的上述目标对象进行特写处理，得到上述特写区域，其中，上述特写区域内特写画面的编码码率大于上述显示区域内显示画面的编码码率，例如，特写区域内特写区域的编码码率为3500Kbps，可以支持的图像分辨率为1280*720，显示区域的显示画面的编码码率为1800Kbps，可以支持的图像分辨率为720*480，显然，特写区域的画面图像显示更加清晰。将每个上述候选视频帧画面各自对应上述特写区域进行依次合成，以得到上述合成图像帧(即将头像特写区域和照相机区域进行合成)；将各个上述合成图像帧依次排列，以得到上述合成图像帧序列402。
在本申请实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
在一个或多个实施例中，步骤S306，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域包括：
S1，确定目标视频帧画面的帧序号，及目标操作区域的操作位置；
S2，在合成图像帧序列中查找与帧序号对应的目标合成图像帧，并在查找到的目标合成图像帧中查找与操作位置对应的特写位置；
S3，将特写位置所指示的特写区域确定为目标特写区域。
在本申请实施例中，如图4所示，确定出目标视频画面的帧序号，也就是说获取目标视频画面中包含的帧图像的序号，并记录下目标操作区域404的位置，在上述合成图像帧序列402中查找与上述帧序号对应的上述目标合成图像帧，并在查找到的上述目标合成图像帧中查找与上述操作位置对应的特效位置，例如查找人物头像区域位置和/或照相机区域对应的特效位置；将上述人物头像区域位置和/或照相机区域对应区域确定为上述目标特写区域。
通过本申请提供的一个或多个实施例，通过确定目标视频帧画面的帧序号，及目标操作区域的操作位置；在合成图像帧序列中查找与帧序号对应的目标合成图像帧，并在查找到的目标合成图像帧中查找与操作位置对应的特写位置；将特写位置所指示的特写区域确定为目标特写区域，可以精准的获取到目标特写区域的合成图像。
在一个或多个实施例中，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面包括：
按照合成图像帧序列被预设的第一分辨率展示特写画面，并按照为直播视频选配的第二分辨率展示目标视频帧画面中除特写画面之外的画面；其中，第一分辨率大于第二分辨率。
可选地，在本实施例中，合成图像帧序列应是被推流侧选定且相对固定的，那么合成图像帧序列的分辨率可以但不限于也由推流侧进行预设，而拉流侧作为一个选择端，在已有且预设的内容(如图像帧、分辨率)进行选择。
可选地，在本实施例中，可以但不限于存在多类第一分辨率，在此情况下，在拉流侧也能进行选配。
在一个或多个实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，包括：
S1，接收推流客户端发送的合成图像帧序列，其中，合成图像帧序列由推流客户端通过合成图像帧序列被预设的第一路码率被推流至拉流客户端；
S2，接收推流客户端发送的目标视频帧画面，其中，目标视频帧画面的视频帧由推流客户端通过目标视频帧画面被预设的第二路码率被推流至拉流客户端，第一路码率大于第二路码率。
可选地，在本实施例中，分辨率可以但不限于理解为视频帧的图像理论上最大的精细程度，而码率可以但不限于理解为传输视频帧时的数据传输速率；其中，分辨率与码率都会对视频帧所实际表现出的精细程度进行影响，如分辨率高的视频帧所实际表现出的精细程度高，但如果码率过低，也会让高分辨率的视频帧所实际表现出的精细程度没有达到理论最大值；因此，在高分辨率的前提下，还应配套对应足够大的码率，才能呈现理论上最大精细成的视频帧，如合成图像帧序列的分辨率和码率可以但不限于都大于目标视频帧画面的视频帧的分辨率和码率，进而合成图像帧序列所呈现的精细程度会高于目标视频帧画面的视频帧。或者说，除不同分辨率外，还可以但不限于通过配置不同路的码率进行数据传输，以呈现更精细的视频帧。
可选地，作为一种可选的实施方式，如图5所示，上述画面显示方法还包括：
S502，获取直播视频对应的视频帧画面；
S504，识别视频帧画面中的至少一个特写区域；
S506，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
S508，将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请实施例中，通过获取直播视频对应的视频帧画面；识别视频帧画面中的至少一个特写区域；将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；将直播视频和合成图像帧序列通过服务器发送至拉流客户端，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
作为一种可选的方案，识别视频帧画面中的至少一个特写区域，包括：
S1，在直播视频的各个视频帧画面中，识别出携带目标对象的候选视频帧画面；
S2，从各个候选视频帧画面中提取出目标对象所在显示区域；
S3，对显示区域的目标对象进行特写处理，得到特写区域，其中，特写区域内特效画面的编码码率大于显示区域内显示画面的编码码率。
可选地，在本申请实施例中，需要特效处理的目标对象可以为人物额头像，或者是某个具体的物品，例如商家推荐的商品等，在此不做任何限定。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列，包括：
S1，将每个候选视频帧画面各自对应特写区域进行依次合成，以得到合成图像帧；
S2，将各个合成图像帧依次排列，以得到合成图像帧序列。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，对显示区域的目标对象进行特写处理，得到特写区域包括以下至少之一：
S1，将显示区域的目标对象的显示尺寸从第一尺寸放大至第二尺寸，其中，第二尺寸下目标对象的显示清晰度大于第一尺寸下目标对象的显示清晰度；
S2，为显示区域的目标对象添加附加显示资源，其中，附加显示资源用于突出显示目标对象。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，在识别视频帧画面中的至少一个特写区域之前，包括：
配置在直播视频中所要特写处理的目标对象。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，配置在直播视频中所要特写处理的目标对象包括以下至少之一：
S1，从直播视频中识别出人脸区域，并将识别出的人脸区域所指示的头部位置配置为目标对象；
S2，从直播视频中识别出目标物体区域，并将目标物体区域中所指示的物体对象配置为目标对象，其中，目标物体区域是根据导入推流客户端的物体图片确定得到；
S3，从直播视频中识别出固定画面区域，并将固定画面区域中所指示的图元对象配置为目标对象。
如图6所示，在播放客户端600中，可以通过神经网络模型识别出人脸区域，将识别出的上述人脸区域所指示的头部位置配置为第一目标对象602，以及第二目标对象604。
如图7所示，在播放客户端700中，通过点击目标图片导入按键706，根据导入上述播放客户端的物体图片确定得到目标物体区域，目标物体区域包括第一目标物体区域702(照相机所在区域)，以及第二目标物体区域704(即电脑所在区域)，从上述直播视频中识别出目标物体区域，并将上述目标物体区域中所指示的物体对象配置为上述目标对象(照相机和电脑)。
如图8所示，在播放客户端800中，从上述直播视频中识别出固定画面区域802，并将上述固定画面区域802中所指示的图元对象配置为上述目标对象(照相机)。
本申请提供的一个或多个实施例，通过不同的方式来识别出直播视频中的目标物体区域，可以灵活便捷的选择不同的目标对象进行特写放大。
可选地，在本实施例中，为上述显示区域的上述目标对象添加附加显示资源，其中，上述附加显示资源用于突出显示上述目标对象。
如图8所示，附加显示资源可以为图8中的矩形显示框；如图9所示，附加显示资源可以为图9中的椭圆形显示框和三角形的挂件。通过上述附加显示资源，可以将目标对象对应的目标特写区域进行突出显示。
可选地，在本申请的实施例中，例如，按照第一分辨率1920*1080展示上述特写画面，并按照第二分辨率1080*720展示上述目标视频帧画面中除上述特写画面之外的画面。也就是说，特写画面显示的分辨率大于原直播画面的分辨率。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，
将直播视频和合成图像帧序列通过服务器发送至拉流客户端，包括：
S1，基于为合成图像帧序列预设的第一路码率，对目标合成图像帧进行推流；
S2，基于为目标视频帧画面的视频帧预设的第二路码率，对目标视频帧画面的视频帧进行推流，其中，第一路码率大于第二路码率。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
相关技术中的在一些直播场景中，观众有点击某个画面局部进行特写放大的操作，但是采用截取直播画面的原图片局部区域进行直接拉伸变大，放大后的局部区域图像会变模糊，清晰度欠佳，影响用户体验。
为了技术上述技术问题，本申请实施例提供了一种画面显示方法包括如下内容：
S1，主播使用推流客户端(上述播放客户端)开播，开启特写高清功能，选取特写区域，特写区域支持多个。特写区域选取有以下几种方式：
1)第一种为智能识别人脸区域作为特写区域，对直播画面中的若干人进行人脸识别，获取各个脸部区域，进而按一定比例得到虚线框位置表示各个人物的头部位置，以头部位置作为特写区域位置。
2)第二种方式通过智能识别物体区域，需要在客户端导入物体的图片作为比对图，在直播过程中，客户端会实时用比对图去跟直播画面比对，得到匹配中的图片区域，即为匹配物品，作为特写区域位置。
3)第三种方式是主播直接在客户端手动选择特写区域位置，这种方式选择的特写位置，无法根据实际人脸或者物品的运动动态调节，位置是固定的。而1)和2)的智能识别方式可以基于人脸或者物品的运动，实时更新特写区域的位置。
S2，通过步骤S1得到特写区域后，播放客户端将特写区域的画面复制然后重新拼接成一个新的特效合成图。记录新的合成图的分辨率p，同时记录每个特写区域在合成图中的位置s1以及特写区域在原图中的位置s0。
S3，客户端启动特效高清功能后，每次推流一路为特写(流媒体)时，同时推两路流，一路为原图视频流，另一路为区域合成画面视频流，其中特写画面视频流可以用高码率推流，其推出的画面清晰度会优于原图中特写区域画面。
S4，步骤S3中的原图视频流中，对于每一帧视频画面帧，都携带步骤S2获取的特写区域在合成图中的位置s1以及特写区域在原图中的位置s0。
S5，对于观众拉流端(即流媒体播放端)，如图4所示，当观众点击屏幕位置时，拉流客户端从原图视频流中拿到特效原图位置s0，然后判断观众点击位置是否处于s0之内，如果满足，说明观众点击了特写区域，这时候，拉流客户端拉取特写区域合成画面视频流，在合成画面中找到匹配的特写区域，从合成图中抽取出匹配的该特写区域画面，进而放大展示展示。
在本申请实施例中，通过在播放客户端展示直播视频中的目标视频帧画面；响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；在与上述直播视频匹配的合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域，其中，上述合成图像帧序列中的每个合成图像帧是将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，在上述播放客户端展示上述目标特写区域内的特写画面，其中，上述目标特写区域内的特写画面中包括被特效处理后的目标对象的方式；将目标特写区域的图像合成与原目标视频帧画面匹配的序列帧，由于相同的传输码率只传输目标视频画面帧中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了对于直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了对直播画面局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
根据本发明实施例的另一个方面，还提供了一种用于实施上述画面显示方法的画面显示装置。如图10所示，该装置包括：
接收单元1002，用于通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
确定单元1004，用于响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
查找单元1006，用于在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
展示单元1008，用于在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。
在步骤S302中，实际应用时，可以包括但不限于通过手机、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑等设备播放当前的直播视频，上述直播视频中高端目标视频帧画面可以通过手机、笔记本电脑等电子设备实时录制，并通过流媒体进行传输，在此不作任何限定。如图4所示，在电子设备的播放客户端400中，显示有直播视频，直播视频中的人物来自于通过电子设备实时录制并通过流媒体显示在直播客户端400中。
在步骤S304中，实际应用时，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；如图4所示，通过点击特写放大按键404后，确定触控操作在目标视频帧画面中的目标操作区域406，即直播图像中人物的头像区域，和人物手持的物品区域；
在步骤S306中，实际应用时，如图4所示，在与上述直播视频匹配的合成图像帧序列402中，查找与上述目标操作区域406对应的目标特写区域，其中，上述合成图像帧序列400中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧，图4中目标操作区域406对应的目标特写区域有两个，人物头像和照相机区域。
在一实施例中，当图4中目标操作区域406对应的目标特写区域有一个，人物头像区域或照相机区域其中之一时，目标操作区域406对应的目标特写区域也为一个，合成图像帧序列400中的每个合成图像帧将直播视频中对应的视频帧画面内识别出的一个人物头像区域或照相机特写区域进行合成后得到的图像帧。
在步骤S308中，实际应用时，如图4所示在上述合成图像帧序列400的目标合成图像帧中查找到上述目标特写区域(人物头像区域和/或照相机区域)的情况下，在播放客户端400展示上述目标特写区域408内的特写画面，目标特写区域内的特写画面中包括被特效处理后的目标对象(人物头像或照相机)。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了对直播画面局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
在本申请的一个或多个实施例中，查找单元1006包括：
第一确定模块，用于确定目标视频帧画面的帧序号，及目标操作区域的操作位置；
查找模块，用于在合成图像帧序列中查找与帧序号对应的目标合成图像帧，并在查找到的目标合成图像帧中查找与操作位置对应的特写位置；
第二确定模块，用于将特写位置所指示的特写区域确定为目标特写区域。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请的一个或多个实施例中，展示单元1008包括：
展示模块，用于按照合成图像帧序列被预设的第一分辨率展示特写画面，并按照为直播视频选配的第二分辨率展示目标视频帧画面中除特写画面之外的画面；其中，第一分辨率大于第二分辨率。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请的一个或多个实施例中，接收单元1002，包括：
第一接收模块，用于接收推流客户端发送的合成图像帧序列，其中，合成图像帧序列由推流客户端通过合成图像帧序列被预设的第一路码率被推流至拉流客户端；
第二接收模块，用于接收推流客户端发送的目标视频帧画面，其中，目标视频帧画面的视频帧由推流客户端通过目标视频帧画面被预设的第二路码率被推流至拉流客户端，第一路码率大于第二路码率。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
根据本发明实施例的另一个方面，还提供了一种用于实施上述画面显示方法的画面显示装置。如图11所示，该装置包括：
获取单元1102，用于获取直播视频对应的视频帧画面；
识别单元1104，用于识别视频帧画面中的至少一个特写区域；
合成单元1106，用于将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
发送单元1108，用于将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请实施例中，通过获取直播视频对应的视频帧画面；识别视频帧画面中的至少一个特写区域；将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；将直播视频和合成图像帧序列通过服务器发送至拉流客户端，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
在本申请的一个或多个实施例中，识别单元1104，包括：
识别模块，用于在直播视频的各个视频帧画面中，识别出携带目标对象的候选视频帧画面；
提取模块，用于从各个候选视频帧画面中提取出目标对象所在显示区域；
处理模块，用于对显示区域的目标对象进行特写处理，得到特写区域，其中，特写区域内特效画面的编码码率大于显示区域内显示画面的编码码率。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请的一个或多个实施例中，合成单元1106，包括：
合成模块，用于将每个候选视频帧画面各自对应特写区域进行依次合成，以得到合成图像帧；
排序模块，用于将各个合成图像帧依次排列，以得到合成图像帧序列。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请的一个或多个实施例中，处理模块包括以下至少之一：
放大子模块，用于将显示区域的目标对象的显示尺寸从第一尺寸放大至第二尺寸，其中，第二尺寸下目标对象的显示清晰度大于第一尺寸下目标对象的显示清晰度；
添加子模块，用于为显示区域的目标对象添加附加显示资源，其中，附加显示资源用于突出显示目标对象。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请的一个或多个实施例中，包括：
配置模块，用于在识别视频帧画面中的至少一个特写区域之前，配置在直播视频中所要特写处理的目标对象。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请的一个或多个实施例中，配置模块包括以下至少之一：
第一识别子模块，用于从直播视频中识别出人脸区域，并将识别出的人脸区域所指示的头部位置配置为目标对象；
配置子模块，用于从直播视频中识别出目标物体区域，并将目标物体区域中所指示的物体对象配置为目标对象，其中，目标物体区域是根据导入推流客户端的物体图片确定得到；
第二识别子模块，用于从直播视频中识别出固定画面区域，并将固定画面区域中所指示的图元对象配置为目标对象。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
在本申请的一个或多个实施例中，发送单元1108，包括：
第一推流模块，用于基于为合成图像帧序列预设的第一路码率，对目标合成图像帧进行推流；
第二推流模块，用于基于为目标视频帧画面的视频帧预设的第二路码率，对目标视频帧画面的视频帧进行推流，其中，第一路码率大于第二路码率。
具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
根据本发明实施例的又一个方面，还提供了一种用于实施上述画面显示方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图12所示，该电子设备包括存储器1202和处理器1204，该存储器1202中存储有计算机程序，该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
S2，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
S3，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
S4，在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。或，
S1，获取直播视频对应的视频帧画面；
S2，识别视频帧画面中的至少一个特写区域；
S3，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
S4，将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
可选地，本领域普通技术人员可以理解，图12所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图12其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图12中所示更多或者更少的组件(如网络接口等)，或者具有与图12所示不同的配置。
其中，存储器1202可用于存储软件程序以及模块，如本发明实施例中的画面显示方法和装置对应的程序指令/模块，处理器1204通过运行存储在存储器1202内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的画面显示方法。存储器1202可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1202可进一步包括相对于处理器1204远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1202具体可以但不限于用于显示目标特写区域内的特写画面。作为一种示例，如图12所示，上述存储器1202中可以但不限于包括上述画面显示装置中的接收单元1002、确定单元1004、查找单元1006及展示单元1008(或图12中为展示的获取单元1102、识别单元1104、合成单元1106以及发送单元1108)。此外，还可以包括但不限于上述画面显示装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1206包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1206为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器1208，用于显示上述特写画面；和连接总线1212，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
在一个或多个实施例中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述画面显示方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
S2，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
S3，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
S4，在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。或，
S1，获取直播视频对应的视频帧画面；
S2，识别视频帧画面中的至少一个特写区域；
S3，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
S4，将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上上述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种画面显示方法，其特征在于，包括：
通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示所述直播视频中的目标视频帧画面，其中，所述合成图像帧序列中的每个合成图像帧是所述推流客户端将所述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
响应于对所述目标视频帧画面的触控操作，确定所述触控操作在所述目标视频帧画面中的目标操作区域；
在所述合成图像帧序列中，查找与所述目标操作区域对应的目标特写区域；
在所述合成图像帧序列的目标合成图像帧中查找到所述目标特写区域的情况下，根据所述目标合成图像帧在所述拉流客户端展示所述目标特写区域内的特写画面。
2.根据权利要求1所述的方法，其特征在于，在所述合成图像帧序列中，查找与所述目标操作区域对应的目标特写区域包括：
确定所述目标视频帧画面的帧序号，及所述目标操作区域的操作位置；
在所述合成图像帧序列中查找与所述帧序号对应的所述目标合成图像帧，并在查找到的所述目标合成图像帧中查找与所述操作位置对应的特写位置；
将所述特写位置所指示的特写区域确定为所述目标特写区域。
3.根据权利要求1至中任一项所述的方法，其特征在于，所述根据所述目标合成图像帧在所述拉流客户端展示所述目标特写区域内的特写画面包括：
按照所述合成图像帧序列被预设的第一分辨率展示所述特写画面，并按照为所述直播视频选配的第二分辨率展示所述目标视频帧画面中除所述特写画面之外的画面；其中，所述第一分辨率大于所述第二分辨率。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过服务器接收推流客户端发送的直播视频和合成图像帧序列，包括：
接收所述推流客户端发送的所述合成图像帧序列，其中，所述合成图像帧序列由所述推流客户端通过所述合成图像帧序列被预设的第一路码率被推流至所述拉流客户端；
接收所述推流客户端发送的所述目标视频帧画面，其中，所述所述目标视频帧画面的视频帧由所述推流客户端通过所述目标视频帧画面被预设的第二路码率被推流至所述拉流客户端，所述第一路码率大于所述第二路码率。
5.一种画面显示方法，其特征在于，所述方法包括：
获取直播视频对应的视频帧画面；
识别所述视频帧画面中的至少一个特写区域；
将所述视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，所述特写区域与所述视频帧画面中的操作区域相对应，所述操作区域用于使拉流客户端根据触控操作显示所述特写区域；
将所述直播视频和所述合成图像帧序列通过服务器发送至拉流客户端。
6.根据权利要求5所述的方法，其特征在于，所述识别所述视频帧画面中的至少一个特写区域，包括：
在所述直播视频的各个视频帧画面中，识别出携带目标对象的候选视频帧画面；
从各个所述候选视频帧画面中提取出所述目标对象所在显示区域；
对所述显示区域的所述目标对象进行特写处理，得到所述特写区域，其中，所述特写区域内特写画面的编码码率大于所述显示区域内显示画面的编码码率。
7.根据权利要求6所述的方法，其特征在于，所述将所述视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列，包括：
将每个所述候选视频帧画面各自对应所述特写区域进行依次合成，以得到所述合成图像帧；
将各个所述合成图像帧依次排列，以得到所述合成图像帧序列。
8.根据权利要求6所述的方法，其特征在于，所述对所述显示区域的所述目标对象进行特写处理，得到所述特写区域包括以下至少之一：
将所述显示区域的所述目标对象的显示尺寸从第一尺寸放大至第二尺寸，其中，所述第二尺寸下所述目标对象的显示清晰度大于所述第一尺寸下所述目标对象的显示清晰度；
为所述显示区域的所述目标对象添加附加显示资源，其中，所述附加显示资源用于突出显示所述目标对象。
9.根据权利要求6所述的方法，其特征在于，在所述识别所述视频帧画面中的至少一个特写区域之前，包括：
配置在所述直播视频中所要特写处理的所述目标对象。
10.根据权利要求9所述的方法，其特征在于，配置在所述直播视频中所要特写处理的所述目标对象包括以下至少之一：
从所述直播视频中识别出人脸区域，并将识别出的所述人脸区域所指示的头部位置配置为所述目标对象；
从所述直播视频中识别出目标物体区域，并将所述目标物体区域中所指示的物体对象配置为所述目标对象，其中，所述目标物体区域是根据导入推流客户端的物体图片确定得到；
从所述直播视频中识别出固定画面区域，并将所述固定画面区域中所指示的图元对象配置为所述目标对象。
11.根据权利要求5至10中任一项所述的方法，其特征在于，所述将所述直播视频和所述合成图像帧序列通过服务器发送至拉流客户端，包括：
基于为所述合成图像帧序列预设的第一路码率，对所述目标合成图像帧进行推流；
基于为所述目标视频帧画面的视频帧预设的第二路码率，对所述目标视频帧画面的视频帧进行推流，其中，所述第一路码率大于所述第二路码率。
12.一种画面显示装置，其特征在于，包括：
接收单元，用于通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示所述直播视频中的目标视频帧画面，其中，所述合成图像帧序列中的每个合成图像帧是所述推流客户端将所述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
确定单元，用于响应于对所述目标视频帧画面的触控操作，确定所述触控操作在所述目标视频帧画面中的目标操作区域；
查找单元，用于在所述合成图像帧序列中，查找与所述目标操作区域对应的目标特写区域；
展示单元，用于在所述合成图像帧序列的目标合成图像帧中查找到所述目标特写区域的情况下，根据所述目标合成图像帧在所述拉流客户端展示所述目标特写区域内的特写画面。
13.一种画面显示装置，其特征在于，包括：
获取单元，用于获取直播视频对应的视频帧画面；
识别单元，用于识别所述视频帧画面中的至少一个特写区域；
合成单元，用于将所述视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，所述特写区域与所述视频帧画面中的操作区域相对应，所述操作区域用于使拉流客户端根据触控操作显示所述特写区域；
发送单元，用于将所述直播视频和所述合成图像帧序列通过服务器发送至拉流客户端。
14.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至4或5至11任一项中所述的方法。
15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至4或5至11任一项中所述的方法。
CN202111144911.8A 2021-09-28 2021-09-28 画面显示方法和装置、存储介质及电子设备 Pending CN113891105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111144911.8A CN113891105A (zh) 2021-09-28 2021-09-28 画面显示方法和装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111144911.8A CN113891105A (zh) 2021-09-28 2021-09-28 画面显示方法和装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113891105A true CN113891105A (zh) 2022-01-04

Family

ID=79007461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111144911.8A Pending CN113891105A (zh) 2021-09-28 2021-09-28 画面显示方法和装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113891105A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915819A (zh) * 2022-03-30 2022-08-16 卡莱特云科技股份有限公司 一种基于互动屏的数据交互方法、装置及系统
CN115022698A (zh) * 2022-04-28 2022-09-06 上海赛连信息科技有限公司 一种基于画面布局清晰展示画面内容的方法和装置
CN115686671A (zh) * 2022-10-27 2023-02-03 北京城市网邻信息技术有限公司 一种图片加载方法、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106704A (zh) * 2006-06-23 2008-01-16 美国博通公司 视频摄像机、视频处理系统及其方法
US20100079675A1 (en) * 2008-09-30 2010-04-01 Canon Kabushiki Kaisha Video displaying apparatus, video displaying system and video displaying method
CN105635675A (zh) * 2015-12-29 2016-06-01 北京奇艺世纪科技有限公司 一种全景播放方法和装置
CN106792092A (zh) * 2016-12-19 2017-05-31 广州虎牙信息科技有限公司 直播视频流分镜显示控制方法及其相应的装置
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios
US20190110087A1 (en) * 2017-10-05 2019-04-11 Sling Media Pvt Ltd Methods, systems, and devices for adjusting streaming video field-of-view in accordance with client device commands
CN111541907A (zh) * 2020-04-23 2020-08-14 腾讯科技（深圳）有限公司 物品显示方法、装置、设备及存储介质
CN111757137A (zh) * 2020-07-02 2020-10-09 广州博冠光电科技股份有限公司 一种基于单镜头直播视频的多路特写播放方法及装置
CN112188269A (zh) * 2020-09-28 2021-01-05 北京达佳互联信息技术有限公司 视频播放方法和装置以及视频生成方法和装置
CN113099245A (zh) * 2021-03-04 2021-07-09 广州方硅信息技术有限公司 全景视频直播方法、系统和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106704A (zh) * 2006-06-23 2008-01-16 美国博通公司 视频摄像机、视频处理系统及其方法
US20100079675A1 (en) * 2008-09-30 2010-04-01 Canon Kabushiki Kaisha Video displaying apparatus, video displaying system and video displaying method
CN105635675A (zh) * 2015-12-29 2016-06-01 北京奇艺世纪科技有限公司 一种全景播放方法和装置
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios
CN106792092A (zh) * 2016-12-19 2017-05-31 广州虎牙信息科技有限公司 直播视频流分镜显示控制方法及其相应的装置
US20190110087A1 (en) * 2017-10-05 2019-04-11 Sling Media Pvt Ltd Methods, systems, and devices for adjusting streaming video field-of-view in accordance with client device commands
CN111541907A (zh) * 2020-04-23 2020-08-14 腾讯科技（深圳）有限公司 物品显示方法、装置、设备及存储介质
CN111757137A (zh) * 2020-07-02 2020-10-09 广州博冠光电科技股份有限公司 一种基于单镜头直播视频的多路特写播放方法及装置
CN112188269A (zh) * 2020-09-28 2021-01-05 北京达佳互联信息技术有限公司 视频播放方法和装置以及视频生成方法和装置
CN113099245A (zh) * 2021-03-04 2021-07-09 广州方硅信息技术有限公司 全景视频直播方法、系统和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜庆峰;: "基于流媒体实现视频缩放播放", 电子技术与软件工程, no. 20 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915819A (zh) * 2022-03-30 2022-08-16 卡莱特云科技股份有限公司 一种基于互动屏的数据交互方法、装置及系统
CN114915819B (zh) * 2022-03-30 2023-09-15 卡莱特云科技股份有限公司 一种基于互动屏的数据交互方法、装置及系统
CN115022698A (zh) * 2022-04-28 2022-09-06 上海赛连信息科技有限公司 一种基于画面布局清晰展示画面内容的方法和装置
CN115022698B (zh) * 2022-04-28 2023-12-29 上海赛连信息科技有限公司 一种基于画面布局清晰展示画面内容的方法和装置
CN115686671A (zh) * 2022-10-27 2023-02-03 北京城市网邻信息技术有限公司 一种图片加载方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108737882B (zh) 图像的显示方法、装置、存储介质及电子装置
CN113891105A (zh) 画面显示方法和装置、存储介质及电子设备
US9749710B2 (en) Video analysis system
KR20150026367A (ko) 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
WO2020044097A1 (zh) 一种实现位置服务的方法和装置
CN107087224A (zh) 内容同步设备和方法
CN109982106B (zh) 一种视频推荐方法、服务器、客户端及电子设备
US10255243B2 (en) Data processing method and data processing system
CN103338405A (zh) 一种截屏应用的方法、设备及系统
US11928152B2 (en) Search result display method, readable medium, and terminal device
US20230316529A1 (en) Image processing method and apparatus, device and storage medium
JP2001157192A (ja) オブジェクト情報提供方法及びシステム
WO2013135132A1 (zh) 移动增强现实搜索方法、客户端、服务器及搜索系统
CN111491187A (zh) 视频的推荐方法、装置、设备及存储介质
CN106162357A (zh) 获取视频内容的方法及装置
CN111756615A (zh) 会话消息显示方法、装置、终端设备及计算机存储介质
CN110740290A (zh) 监控录像预览方法及装置
CN111583348A (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
CN114374853A (zh) 内容展示方法、装置、计算机设备和存储介质
CN113596555B (zh) 视频播放方法、装置及电子设备
CN115170400A (zh) 一种视频修复的方法、相关装置、设备以及存储介质
CN100410849C (zh) 对背景图像进行设定的信息处理装置、信息显示方法及程序
CN112288877A (zh) 视频播放方法、装置、电子设备及存储介质
CN112333508A (zh) 视频预览方法、系统、设备及存储介质
CN112040304A (zh) 一种支持无线投屏的硬盘录像机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination