CN114257824A - 直播显示方法、装置、存储介质及计算机设备 - Google Patents

直播显示方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN114257824A
CN114257824A CN202111415535.1A CN202111415535A CN114257824A CN 114257824 A CN114257824 A CN 114257824A CN 202111415535 A CN202111415535 A CN 202111415535A CN 114257824 A CN114257824 A CN 114257824A
Authority
CN
China
Prior art keywords
live broadcast
target
user
video stream
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111415535.1A
Other languages
English (en)
Other versions
CN114257824B (zh
Inventor
曾家乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN202111415535.1A priority Critical patent/CN114257824B/zh
Publication of CN114257824A publication Critical patent/CN114257824A/zh
Application granted granted Critical
Publication of CN114257824B publication Critical patent/CN114257824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种直播显示方法、装置、存储介质及计算机设备。本申请实施例通过显示直播主页界面,直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域;当检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。以此,通过采集目标用户的眼球信息,并自动播放根据眼球信息获取到的目标直播视频流,无需用户手动触发目标直播视频流进行播放,简化了直播显示的控制操作过程,提升了直播显示的多样性和显示效率。

Description

直播显示方法、装置、存储介质及计算机设备
技术领域
本申请涉及网络直播领域,具体涉及一种直播显示方法、装置、存储介质及计算机设备。
背景技术
随着直播行业的发展普及,观看直播成为众多用户的日常娱乐方式,直播系统的主页,也可以称为首页,为了提升用户观看直播的热情,主页一般会根据用户需求和爱好等特点推荐用户感兴趣的直播间给用户。
在对现有技术的研究和实践过程中,本申请的发明人发现,现有技术中,推荐的直播间只能显示直播间预置的截图,用户需要点击进入直播间中才能看到相应的直播内容,过程比较繁琐,导致直播显示的效率较差。
发明内容
本申请实施例提供一种直播显示方法、装置、存储介质及计算机设备,可以提升直播显示的多样性和显示效率。
为解决上的述技术问题,本申请实施例提供以下技术方案:
一种直播显示方法,包括:
显示直播主页界面,所述直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;
采集目标用户的眼球信息,并根据所述眼球信息确定目标用户的视线在所述直播主页界面上的注视区域;
当检测到所述注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取所述目标直播框组件对应的目标直播视频流进行播放。
一种直播显示装置,包括:
显示单元,用于显示直播主页界面,所述直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;
眼球信息采集单元,用于采集目标用户的眼球信息,并根据所述眼球信息确定目标用户的视线在所述直播主页界面上的注视区域;
视频流获取单元,用于在检测到所述注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取所述目标直播框组件对应的目标直播视频流进行播放。
在一些实施例中,所述直播显示装置,还包括:
特征信息采集单元,用于在所述眼球信息采集单元采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域之前,采集当前的观看所述直播主页界面的用户的脸部特征信息;
频率获取单元,用于根据所述脸部特征信息确定每一个用户的身份特征信息,并获取每一个身份特征信息关联的使用频率;
第一确定单元,用于将使用频率大于预设频率阈值的用户确定为第一用户;
第二确定单元,用于在检测到所述第一用户的数量为单个时,将所述第一用户确定为目标用户。
在一些实施例中,所述直播显示装置,还包括:
第三确定单元,用于在所述第一确定单元将使用频率大于预设频率阈值的用户确定为第一用户之后,在检测到所述第一用户的数量为多个时,根据每一个第一用户的脸部特征信息确定每一个第一用户对应的年龄信息,其中,每一个年龄信息关联一个观看权重;
排序单元,用于将所述观看权重按照由大至小的顺序对每一个第一用户进行排序;
第四确定单元,用于保留观看权重最大的第一用户确定为目标用户。
在一些实施例中,所述第四确定单元,包括:
第一确定子单元,用于在检测到观看权重最大的第一用户的数量为单个时,将所述观看权重最大的第一用户确定为目标用户;
第二确定子单元,用于在检测到观看权重最大的第一用户的数量为多个时,将所述观看权重最大的第一用户确定为第二用户;
第一获取子单元,用于获取每一个第二用户的观看距离信息;
第二确定子单元,用于将所述观看距离信息最小的第二用户确定为目标用户。
在一些实施例中,所述直播显示装置,还包括:
第五确定单元,用于在所述第一确定单元将使用频率大于预设频率阈值的用户确定为第一用户之后,在检测到所述第一用户的数量为多个时,将所述第一用户确定为目标用户;
所述眼球信息采集单元,包括:
采集子单元,用于采集每一个目标用户的对应的眼球信息,并根据每一眼球信息确定每一个目标用户的视线在所述主播主页界面上对应的注视区域;
所述视频流获取单元,包括:
第二获取子单元,用于在检测到任一注视区域处于同一个目标直播框组件上的停留时间超过预设时间阈值时,获取所述目标直播框组件对应的目标直播视频流进行播放。
在一些实施例中,所述第二获取子单元,包括:
第三获取子单元,用于在检测到所述目标直播框组件的数量为单个时,获取所述目标直播框组件对应的目标直播视频流进行播放;
第四获取子单元,用于在检测到所述目标直播框组件的数量为多个时,获取每一目标直播框组件对应的目标直播视频流同时进行静音播放;
第五获取子单元,用于获取每一目标直播视频流对应的语音信息,并对每一语音信息进行语音转化,得到对应的文本信息;
显示子单元,用于将每一文本信息显示在对应的目标直播框组件上。
在一些实施例中,所述视频流获取单元,还包括:
计算子单元,用于在检测到所述目标直播框组件存在遮挡区域时,计算所述目标直播框组件与显示屏中心的距离;
拖动子单元,用于根据所述距离拖动所述直播主页界面的显示区域,以使得消除所述目标直播框组件的遮挡区域;
第六获取子单元,用于在检测到所述目标直播框组件上不存在遮挡区域时,获取所述目标直播框组件对应的目标直播视频流进行播放。
在一些实施例中,所述直播显示装置,还包括:
生成单元,用于在检测到所述注视区域处于第一预设组件上的停留时间超过第二预设时间阈值时,生成预设滚动条组件;
控制单元,用于根据所述注视区域在所述预设滚动条组件上的位置关系,控制所述直播主页界面滑动,以切换所述直播主页界面的显示区域。
在一些实施例中,所述直播显示装置,还包括:
第一开启单元,用于在所述视频流获取单元获取所述目标直播框组件对应的目标直播视频流进行播放之后,在检测到所述注视区域处于播放目标直播视频流的目标直播框组件的停留时间超过第三预设时间阈值时,开启所述目标直播视频流对应的直播主界面。
在一些实施例中,所述直播显示装置,还包括:
数据采集单元,用于在所述第一开启单元开启所述目标直播视频流对应的直播主界面之前,采集不同用户在直播主界面切换至直播间的训练特征数据和时间标签数据;
训练单元,用于根据所述训练数据和时间标签数据训练预设模型,得到训练后的预设模型;
输出单元,用于根据所述训练后的预设模型输出所述目标用户的预测时间作为第三预设时间阈值。
在一些实施例中,所述直播显示装置,还包括:
第二开启单元,用于在所述视频流获取单元获取所述目标直播框组件对应的目标直播视频流进行播放之后,在当检测到所述目标用户的表情数据发生预设变化时,开启所述目标直播视频流对应的直播主界面。
一种计算机可读存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述直播显示方法中的步骤。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述提供的直播显示方法中的步骤。
一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述提供的直播显示方法中的步骤。
本申请实施例通过显示直播主页界面,直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域;当检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。以此,通过采集目标用户的眼球信息,并自动播放根据眼球信息获取到的目标直播视频流,无需用户手动触发目标直播视频流进行播放,简化了直播显示的控制操作过程,提升了直播显示的多样性和显示效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的直播显示系统的场景示意图;
图2是本申请实施例提供的直播显示方法的流程示意图;
图3a是本申请实施例提供的直播显示方法的另一流程示意图;
图3b是本申请实施例提供的直播界面的示意图;
图3c是本申请实施例提供的直播界面的另一示意图;
图4是本申请实施例提供的直播显示装置的结构示意图;
图5是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种直播显示方法、装置、存储介质及计算机设备。
请参阅图1,图1为本申请实施例所提供的直播显示系统的场景示意图,包括:服务器A、主播客户端B和观众客户端C,服务器A、主播客户端B和观众客户端C之间可以通过通信网络进行数据交互。通信网络可以包括无线网络以及有线网络,其中无线网络可以包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。通信网络中可以包括路由器、网关等网络实体,图中并未示意出。
该直播显示系统可以包括直播显示装置,该直播显示装置具体可以集成在平板电脑、手机、笔记本电脑、台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中,该终端可以安装客户端,例如直播客户端或者游戏客户端等等,需要说明的是,该直播客户端可以包括主播客户端B和观众客户端C,在图1中,观众客户端C可以用于显示直播主页界面,直播主页界面可以包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域;当检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。
该直播显示系统还可以包括服务器A,服务器A中可以存储有主播客户端B与各个直播间之间的对应关系,当观众客户端C选择直播间后,服务器A可以根据各个直播间与主播客户端B的对应关系,向属于同一直播间内的所有观众客户端C发送对应主播客户端B的直播视频流。该服务器A还可以用于存储用户的身份特征信息,与身份特征信息关联的使用频率等。其中,服务器A可以为单独的服务器,也可以为服务器集群,还可以为本地服务器,还可以为云端服务器等,此处不限定服务器A的类型,具体可以根据实际需求进行设置。
需要说明的是,图1所示的直播显示系统的场景示意图仅仅是一个示例,本申请实施例描述的直播显示系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着直播显示系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
在本实施例中,将从直播显示装置的角度进行描述,该直播显示装置具体可以集成在终端的客户端中。
请参阅图2,图2是本申请实施例提供的直播显示方法的流程示意图。该直播显示方法包括:
在步骤101中,显示直播主页界面。
在本申请实施例中,直播过程由主播客户端将与主播对应的直播视频流发送至服务器,服务器可以接收直播视频流,并在接收到观众客户端发送的观看请求时,响应于观看请求,将对应的直播视频流发送至观众客户端,观众客户端可以接收并响应于该直播视频流,播放该直播视频流。
用户观看直播时,服务器可以将与主播对应的直播流发送至观众客户端,观众客户端可以显示直播主页界面,直播主页界面可以包括至少一个直播框组件,其中,每一直播框组件关联一个主播相应的直播视频流,直播框组件可以用于播放关联的直播视频流。
例如,主播可以包括购物主播、游戏主播以及体育主播等,直播主页界面可以包括购物直播框组件、游戏直播框组件以及体育直播框组件等。购物直播框可以与购物主播对应的购物直播视频流关联,购物直播框组件可以用于播放购物直播视频流;游戏直播框组件可以与游戏主播对应的游戏直播视频流关联,游戏直播框组件可以用于播放游戏直播视频流;体育直播框组件可以与体育主播对应的体育直播视频流关联,体育直播框组件可以用于播放体育直播视频流。此处不限定主播和直播框组件的类型及数量,具体可以根据实际需求进行设置。
在步骤102中,采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域。
在本申请实施例中,眼球信息可以包括眼球位置以及注视方向等。观众客户端可以采集目标用户的眼球位置以及注视方向,并可以根据眼球位置以及注视方向确定目标用户的注视角度,并可以根据目标用户的眼球与观众客户端之间的间距及注视角度,计算目标用户的视线投射至观众客户端的投射区域,并可以将该投射区域作为目标用户的视线在直播主界面上的注视区域。
在一些实施方式中,观众客户端可以包括摄像头(例如,前置摄像头),摄像头可以拍摄目标用户的目标人脸图像,观众客户端可以对目标人脸图像进行分析,获取与目标人脸图像对应的目标用户的眼球信息。
在一些实施方式中,直播显示系统还可以包括眼球传感器,眼球传感器可以与观众客户端通过通信网络进行连接,并可以通过通信网络进行数据交互;眼球传感器可以用于检测人眼的眼球信息。观众客户端可以通过通信网络发送眼球信息获取请求至眼球传感器,眼球传感器接收并响应于眼球信息获取请求,对目标用户的眼球进行检测,获得眼球信息,并可以将眼球信息通过通信网络发送至观众客户端,观众客户端可以接收眼球传感器返回的眼球信息。
在一些实施方式中,在采集目标用户的眼球信息之前,直播显示方法还可以包括:
(1)获取观众客户端所处的环境图像。
(2)对环境图像进行分析,确定环境图像中是否存在人脸结构图像。
(3)当确定环境图像中存在人脸结构图像时,获取人脸结构图像中的眼球位置。
(4)根据眼球位置,确定与人脸结构图像对应的目标用户是否为真人。
其中,观众客户端可以通过摄像头采集观众客户端所处环境的环境图像,并可以将环境图像输入至人脸识别模型,人脸识别模型响应于环境图像,识别环境图像中是否存在人脸结构图像,并在识别到环境图像中存在人脸结构图像时,可以获取该人脸结构图像中的眼球位置,观众客户端可以根据该眼球位置,确定与该人脸结构图像对应的目标用户是否为真人。
人脸识别模型可以为神经网络模型,例如长短期记忆(Long Short-Term Memory,LSTM)网络模型、门限循环模型、自动编码器模型、决策树(Decision Tree,DT)模型、随机森林模型、特征均值分类模型、分类回归树模型、隐马尔科夫模型、K最近邻(K-NearestNeighbor,KNN)算法模型、逻辑回归模型、朴素贝叶斯(Naive Bayes,NB)模型、支持向量机(Support Vector Machine,SVM)模型、高斯模型以及KL散度(Kullback–Leiblerdivergence)模型等。此处不限定人脸识别模型的具体类型,具体可以根据实际需求进行设置。
作为一种实施方式,观众客户端可以根据不同帧该人脸结构图像中的眼球位置,确定与该人脸结构图像对应的目标用户的眼球是否滚动,当确定该目标用户的眼球滚动时,可以确定该目标用户为真人,当确定该目标用户的眼球未滚动时,可以确定该目标用户不为真人。
作为另一种实施方式,观众客户端可以根据不同帧该人脸结构图像中的眼球位置,确定与该人脸结构图像对应的目标用户的视线的角度是否重合,当确定该目标用户的视线的角度重合时,可以确定该目标用户为真人,当确定该目标用户的视线的角度不重合时,可以确定该目标用户不为真人。
作为另一种实施方式,观众客户端可以将该眼球位置,输入至预先训练好的真人识别模型,获得真人识别模型输出的用于表征该目标用户为真人的第一识别结果,以及用于表征该目标用户不为真人的第二识别结果。
真人识别模型可以为神经网络模型,例如长短期记忆(Long Short-Term Memory,LSTM)网络模型、门限循环模型、自动编码器模型、决策树(Decision Tree,DT)模型、随机森林模型、特征均值分类模型、分类回归树模型、隐马尔科夫模型、K最近邻(K-NearestNeighbor,KNN)算法模型、逻辑回归模型、朴素贝叶斯(Naive Bayes,NB)模型、支持向量机(Support Vector Machine,SVM)模型、高斯模型以及KL散度(Kullback–Leiblerdivergence)模型等。此处不限定真人识别模型的具体类型,具体可以根据实际需求进行设置。
观众客户端在根据眼球位置,确定与人脸结构图像对应的目标用户为真人之后,采集目标用户的眼球信息,可避免对画像或相片中的用户的眼球信息进行采集,导致眼球信息的采集准确性,提高了眼球信息的采集准确性。
在步骤103中,当检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。
在本申请实施例中,观众客户端可以对注视区域的停留时间进行检测,并在检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,可以获取该目标直播框组件对应的目标直播视频流,并播放该目标直播视频流,以此,实现了根据采集到的目标用户的眼球信息,自动播放对应的目标直播视频流,简化了直播显示的控制操作过程,提升了直播显示的多样性和显示效率。
其中,第一预设时间阈值可以由后台人员设定或者目标用户设置。作为一种示例,后台人员或者目标用户可以根据目标用户的年龄对第一预设时间阈值进行设置,例如,当目标用户的年龄为18-30岁时,可以将第一预设时间阈值设置为3秒(s),当目标用户的年龄为31-50岁时,可以将第一预设时间阈值设置为5s,当目标用户的年龄为51岁及以上时,可以将第一预设时间阈值设置为8s等。作为另一种示例,后台人员或者目标用户也可以根据目标用户的浏览速度对第一预设时间阈值进行设置,当目标用户的浏览速度较快时,可以将第一预设时间阈值设置为3s,当目标用户的浏览速度适中时,可以将第一预设时间阈值设置为5s,当目标用户的浏览速度较慢时,可以将第一预设时间阈值设置为8s等。此处不限定第一预设时间阈值的具体数值,具体可以根据实际需求进行设置。
在一些实施方式中,获取目标直播框组件对应的目标直播视频流进行播放,可以包括:
(1)当检测到目标直播框组件存在遮挡区域时,计算目标直播框组件与显示屏中心的距离;
(2)根据距离拖动直播主页界面的显示区域,以使得消除目标直播框组件的遮挡区域;
(3)当检测到目标直播框组件上不存在遮挡区域时,获取目标直播框组件对应的目标直播视频流进行播放。
由于受到直播主页界面的尺寸限制,存在直播框组件显示不完全,即直播框组件被部分遮挡,因此,观众客户端可以对目标直播框的显示边界的完整性进行检测,获得检测结果,并可以根据检测结果,确定目标直播框组件是否存在遮挡区域。当获得用于表征目标直播框的显示边界不完整的第一检测结果时,则确定目标直播框组件存在遮挡区域;当获得用于表征目标直播框的显示边界完整的第二检测结果时,则确定目标直播框组件不存在遮挡区域。
当检测到目标直播框组件存在遮挡区域时,可以计算目标直播框组件与显示屏中心的距离,并可以根据该距离拖动直播主页界面的显示区域,以使得目标直播框组件移动至显示屏中心的位置,以消除目标直播框组件的遮挡区域,直至在检测到目标直播框组件上不存在遮挡区域时,可以获取目标直播框组件对应的目标直播视频流进行播放,可保证目标用户观看到的目标直播视频流显示完整,提升了目标用户观看直播的观感。
在一些实施方式中,在获取目标直播框组件对应的目标直播视频流进行播放之后,直播显示方法还可以包括:
(1)确定目标用户的当前注视区域;
(2)当确定目标用户的当前注视区域移出目标直播框组件时,获取当前注视区域所处的当前直播框组件;
(3)当检测到当前注视区域处于当前直播框组件的停留时间超过第一预设时间阈值时,获取当前直播框组件对应的当前直播视频流进行播放。
在本实施例中,当目标用户的视线从目标直播框组件移动至其他直播框组件,可以将目标用户的当前注视区域所处的直播框组件作为当前直播框组件,并在当前注视区域处于当前直播框组件的停留时间超过第一预设时间阈值时,可以获取当前直播框组件对应的当前直播视频流进行播放,可保证目标用户的视线移动至其他直播框组件时,及时更新播放对应的直播视频流,进一步地提升了直播显示的显示效率。
在一些实施方式中,在获取目标直播框组件对应的目标直播视频流进行播放之后,直播显示方法还可以包括:
(1)检测目标用户的当前注视方向;
(2)当检测到目标用户的当前注视方向离开显示屏的时间超过预设离开时间阈值时,可以发出提示信息,以提示目标用户是否需要暂停显示目标直播视频流;
(3)在接收到目标用户发送的暂停播放指令时,暂停播放目标直播视频流;
(4)在接收到目标用户发送的暂停显示指令时,可以将目标直播视频流转换成音乐流播放。
其中,提示信息可以为文字信息,或/及,语音信息,例如,观众客户端可以在检测到目标用户的当前注视方向离开显示屏的时间超过预设离开时间阈值时,可以于显示屏显示提示信息,或/及,通过语音模块播报提示信息。观众客户端可以接收目标用户触控输入的暂停播放指令,也可以接收目标用户通过语音发送的暂停播放指令等,并在接收到目标用户发送的暂停播放指令时,暂停播放目标直播视频,可避免无用户观看时仍在显示直播视频流,导致资源浪费,可提升资源利用效率。
观众客户端在接收到目标用户发送的暂停显示指令,例如,观众客户端在检测到目标用户关闭显示屏时,观众客户端可以将目标直播视频流转换成音乐流播放,可提升直播的多样性。
由上可知,本申请实施例通过显示直播主页界面,直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域;当检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。以此,通过采集目标用户的眼球信息,并自动播放根据眼球信息获取到的目标直播视频流,无需用户手动触发目标直播视频流进行播放,简化了直播显示的控制操作过程,提升了直播显示的多样性和显示效率。
在本实施例中,将从直播显示装置的角度进行描述,该直播显示装置具体可以集成在平板电脑、手机等具备储存单元并安装有微处理器而具有运算能力的终端中,该终端可以开启直播客户端,在本申请实施例中,该直播客户端可以为观众客户端。
请参阅图3a,图3a为本申请实施例提供的信息处理方法的另一流程示意图。该方法流程可以包括:
在步骤201中,显示直播主页界面。
在本实施例中,可以理解的是,为了更好的理解本实施例,可以一并参阅图3b,图3b是本申请实施例提供的直播主页界面20的示意图,观众客户端可以显示直播主页界面20,该直播主页界面20可以包括购物直播框组件21、游戏直播框组件22以及体育直播框组件23,购物直播框组件21、游戏直播框组件22以及体育直播框组件23可以于观众客户端的显示屏纵向排布。购物直播框组件21与购物主播相应的购物直播视频流关联,购物直播框组件21可以用于播放购物直播视频流。游戏直播框组件22与游戏主播相应的游戏直播视频流关联,游戏直播框组件22可以用于播放游戏直播视频流。体育直播框组件23与体育主播相应的体育直播视频流关联,体育直播框组件23可以用于播放体育直播视频流。需要说明的是,直播框组件21、游戏直播框组件22以及体育直播框组件23也可以于观众客户端的显示屏横向排布,此处不作限定。
在步骤202中,采集当前的观看直播主页界面的用户的脸部特征信息。
在本实施例中,脸部特征信息可以包括脸部轮廓特征、眼部特征、鼻子特征以及嘴巴特征等。观众客户端可以通过摄像头对当前的观看直播主页界面的用户的人脸进行拍摄,获得人脸图像,并可以对人脸图像进行分析,提取人脸图像对应的脸部特征信息。
在步骤203中,根据脸部特征信息确定每一个用户的身份特征信息,并获取每一个身份特征信息关联的使用频率。
在本实施例中,观众客户端可以对脸部特征信息进行识别,并可以根据对脸部特征信息的识别结果,确定每一个用户的身份特征信息,并可以根据身份特征信息,获取与每一个身份特征信息关联的使用频率。具体地,观众客户端可以将脸部特征信息与预存脸部特征信息进行匹配,获得匹配度,当匹配度大于或等于匹配度阈值时,可以将与该匹配度对应的预存脸部特征信息,作为目标预存脸部特征信息,并可以获取与目标预存脸部特征信息对应的目标身份特征信息,并可以根据目标身份特征信息,获取与目标身份特征信息关联的使用频率。身份特征信息可以包括姓名信息、性别信息以及身高信息等。
在步骤204中,将使用频率大于预设频率阈值的用户确定为第一用户。
在本实施例中,观众客户端可以将使用频率与预设频率阈值进行比对,并可以将使用频率大于预设频率阈值的用户确定为第一用户。其中,预设频率阈值可以由用户预先设置,也可以由观众客户端根据用户的使用记录进行动态调整等。
例如,预设频率阈值可以为20次每月时,观众客户端可以将使用频率大于20次每月的用户确定为第一用户;预设频率阈值也可以为30次每月,观众客户端可以将使用频率大于30次每月的用户确定为第一用户。此处不限定预设频率阈值的具体数值,具体可以根据实际需求进行设置。
在步骤205中,当检测到第一用户的数量为单个时,将第一用户确定为目标用户。
在本实施例中,由于观看直播的用户数量可以为单个或多个,因此,观众客户端可以对第一用户的数量进行检测,当检测到第一用户的数量为单个时,可以将第一用户确定为目标用户。
在步骤S206中,当检测到第一用户的数量为多个时,根据每一个第一用户的脸部特征信息确定每一个第一用户对应的年龄信息。
在本实施例中,当观众客户端检测到第一用户的数量为多个时,观众客户端可以根据每一个第一用户的脸部特征信息确定每一个第一用户对应的年龄信息,并可以根据每一个第一用户的年龄信息,获取每一个第一用户的观看权重,其中,每一个年龄信息关联一个观看权重,观看权重可以用于表征用户对观看直播的喜好。
例如,观看直播的用户年龄信息分布为0-80岁,则年龄信息为0-5岁的用户的观看权重可以为0.05,年龄信息为6-17岁的用户的观看权重可以为0.15,年龄信息为18-35岁的用户的观看权重可以为0.35,年龄信息为36-50岁的用户的观看权重可以为0.2,年龄信息为61-70岁的用户的观看权重可以为0.15,年龄信息为70-80岁的用户的观看权重可以为0.1。此处不限定年龄信息以及观看权重的值,具体可以根据实际需求进行设置。
在步骤S207中,将观看权重按照由大至小的顺序对每一个第一用户进行排序。
在本实施例中,观众客户端在获取到每一个第一用户的观看权重之后,可以将观看权重按照由大至小的顺序进行排序,获得排列顺序,并可以将该排列顺序作为对应的多个第一用户的排列顺序。
在步骤S208中,保留观看权重最大的第一用户确定为目标用户。
在本实施例中,观众客户端在对每一个第一用户进行排序之后,可以将排在首序的观看权重作为目标观看权重,并可以将目标观看权重对应的第一用户确定为目标用户。
在一些实施方式中,保留观看权重最大的第一用户确定为目标用户,可以包括:
(1)检测观看权重最大的第一用户的数量;
(2)当检测到观看权重最大的第一用户的数量为单个时,将观看权重最大的第一用户确定为目标用户;
(3)当检测到观看权重最大的第一用户的数量为多个时,将观看权重最大的第一用户确定为第二用户;
(4)获取每一个第二用户的观看距离信息;
(5)将观看距离信息最小的第二用户确定为目标用户。
其中,观众客户端在检测到观看权重最大的第一用户的数量为多个时,可以对多个权重最大的第一用户的观看距离进行检测,并可以将观看距离最小对应的第一用户确定为目标用户。具体地,观众客户端在检测到观看权重最大的第一用户的数量为多个时,可以将多个权重最大的第一用户作为多个第二用户,并可以对多个第二用户的观看距离进行检测,获得多个观看距离信息,将最小的观看距离信息作为目标观看距离信息,并将目标观看距离信息对应的第二用户确定为目标用户。
在步骤S209中,采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域。
在步骤S210中,当检测到注视区域处于同一目标直播框组件上的停留时间超过预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。
在本实施例中,步骤S209以及步骤S210可以参阅前述实施例中相应步骤的内容,此处不再赘述。
在一些实施方式中,直播显示方法还可以包括:
(1)当检测到第一用户的数量为多个时,将第一用户确定为目标用户;
(2)采集每一个目标用户的对应的眼球信息,并根据每一眼球信息确定每一个目标用户的视线在主播主页界面上对应的注视区域;
(3)当检测到任一注视区域处于同一个目标直播框组件上的停留时间超过预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。
其中,目标用户为多个时,观众客户端可以采集每个目标用户对应的眼球信息,并可以根据每一眼球信息确定对应的每个目标用户的视线在主播主页界面上对应的注视区域,并在检测到任一注视区域处于同一个目标直播框组件上的停留时间超过预设时间阈值时,可以获取目标直播框组件对应的目标直播视频流进行播放,可实现同时显示播放多个直播视频流,进一步地提升了直播显示的多样性。
在一些实施方式中,当检测到任一注视区域处于同一个目标直播框组件上的停留时间超过预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放,可以包括:
(3.1)检测目标直播框组件的数量;
(3.2)当检测到目标直播框组件的数量为单个时,获取目标直播框组件对应的目标直播视频流进行播放;
(3.3)当检测到目标直播框组件的数量为多个时,获取每一目标直播框组件对应的目标直播视频流同时进行静音播放;
(3.4)获取每一目标直播视频流对应的语音信息,并对每一语音信息进行语音转化,得到对应的文本信息;
(3.5)将每一文本信息显示在对应的目标直播框组件上。
其中,多个目标用户注视多个目标直播框组件时,观众客户端可以获取每个目标直播框组件对应的目标直播视频流并同时进行静音播放,在静音播放的同时可以将对应的直播视频流的语音信息转化成文本信息并显示在对应的目标直播框组件上,可实现同时显示播放多个直播视频流的同时,避免同时播放多个直播视频流的语音信息,进一步地提升了直播显示的多样性以及用户观看直播的观感。
在一些实施方式中,直播显示方法还可以包括:
(1)当检测到注视区域处于第一预设组件上的停留时间超过第二预设时间阈值时,生成预设滚动条组件;
(2)根据注视区域在预设滚动条组件上的位置关系,控制直播主页界面滑动,以切换直播主页界面的显示区域。
其中,请一并参阅图3c所示,图3c为本申请实施例提供的直播主页界面20的另一示意图,第一预设组件24可以设置于靠近直播主页界面20的右边框的位置,观众客户端在检测到注视区域处于第一预设组件24上的停留时间超过第二预设时间阈值时,可以于第一预设组件24上生成预设滚动条组件241,并根据注视区域在预设滚动条组件241上的位置,控制直播主页界面20滑动,例如,当注视区域在预设滚动条组件241的上部时,控制直播主页界面20向上滑动,当注视区域在预设滚动条组件241的下部时,控制直播主页界面20向下滑动,以切换直播主页界面20的显示区域,进一步地提升了直播显示的多样性。
第二预设时间阈值可以根据目标用户的年龄进行设置,例如,当目标用户的年龄小于或等于15岁时,可以将第二预设时间阈值设置为4s,当目标用户的年龄为16-30岁时,可以将第二预设时间阈值设置为2s,当目标用户的年龄为31-55岁时,可以将第二预设时间阈值设置为3s,当目标用户的年龄大于或等于56岁时,可以将第二预设时间阈值设置为5s等。第二预设时间阈值也可以根据目标用户的历史记录中手动切换直播主页界面的显示区域的速度进行设置,例如,当目标用户历史记录中手动切换直播主页界面的速度对应的时间间隔为2s时,可以将第二预设时间阈值设置为2s,当目标用户历史记录中手动切换直播主页界面的显示区域的速度对应的时间间隔为3s时,可以将第二预设时间阈值设置为3s,当目标用户历史记录中手动切换直播主页界面的显示区域的速度对应的时间间隔为5s时,可以将第二预设时间阈值设置为5s。此处不限定第二预设时间阈值的具体数值,具体可以根据实际需求进行设置。
在一些实施方式中,直播显示方法还可以包括:
(1)采集不同用户在直播主界面切换至直播间的训练特征数据和时间标签数据;
(2)根据训练数据和时间标签数据训练预设模型,得到训练后的预设模型;
(3)根据训练后的预设模型输出目标用户的预测时间作为第三预设时间阈值。
(4)当检测到注视区域处于播放目标直播视频流的目标直播框组件的停留时间超过第三预设时间阈值时,开启目标直播视频流对应的直播主界面。
其中,不同用户观看直播视频流进入直播主界面的时间可能不同,因此,可以对目标用户从观看直播视频流跳转至对应的直播主界面的时间进行预测,获得跳转时间,当目标用户观看目标直播视频流的时间超过跳转时间时,观众客户端可以开启目标直播视频流对应的直播主界面,无需用户手动操作,提升了用户的观看感受。
具体地,训练数据可以包括直播间类型以及直播间清晰度等,观众客户端可以采集直播主界面中的直播间类型、直播间清晰度以及对应的不同用户从直播主界面切换至直播间的切换时间等,并可以对直播间类型、直播间清晰度以及切换时间进行训练,得到预设模型,并可以将目标直播视频流对应的目标直播间类型以及目标直播间清晰度输入至预设模型,获得预设模型输出的目标用户的目标切换时间,并可以将目标切换时间作为第三预设时间阈值,并在检测到目标用户的注视区域在目标直播框组件的停留时间超过第三预设时间阈值时,开启目标直播视频流对应的直播主界面。
在一些实施方式中,直播显示方法还可以包括:
(1)检测目标用户的表情数据;
(2)当检测到目标用户的表情数据发生预设变化时,开启目标直播视频流对应的直播主界面。
其中,表情数据可以包括平常表情数据、开心表情数据、不开心表情数据、惊讶表情数据以及伤心表情数据等;表情数据发生预设变化可以为平常表情数据变化至开心表情数据、平常表情数据变化至不开心表情数据、开心表情数据变化值不开心表情数据等。此处不限定表情数据及表情数据的预设变化类型,具体可以根据实际需求进行设置。
观众客户端可以采集目标用户观看目标直播视频流时的当前人脸图像,并将当前人脸图像输入至预先训练好的表情识别网络模型,获得表情识别网络输出的用于表征目标用户的表情数据是否发生变化表情识别结果,当获得用于表征目标用户的表情数据发生预设变化的结果时,开启目标直播视频流对应的直播主界面,实现了根据检测到观看直播视频流的用户的表情变化,控制直播主界面的开启,避免了用户点击进入,提升了用户的观看体验。
表情识别网络模型可以为神经网络模型,例如长短期记忆(Long Short-TermMemory,LSTM)网络模型、门限循环模型、自动编码器模型、决策树(Decision Tree,DT)模型、随机森林模型、特征均值分类模型、分类回归树模型、隐马尔科夫模型、K最近邻(K-NearestNeighbor,KNN)算法模型、逻辑回归模型、朴素贝叶斯(Naive Bayes,NB)模型、支持向量机(Support Vector Machine,SVM)模型、高斯模型以及KL散度(Kullback–Leiblerdivergence)模型等。此处不限定表情识别网络模型的具体类型,具体可以根据实际需求进行设置。
由上述可知,本申请实施例通显示直播主页界面,直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域;当检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。以此,通过采集目标用户的眼球信息,并自动播放根据眼球信息获取到的目标直播视频流,无需用户手动触发目标直播视频流进行播放,简化了直播显示的控制操作过程,提升了直播显示的多样性和显示效率。
请参阅图4,图4为本申请实施例提供的直播显示装置300的结构示意图,直播显示装置300应用于终端,其中直播显示装置300可以包括显示单元301、眼球信息采集单元302以及视频流获取单元303。
显示单元301,用于显示直播主页界面,直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;
眼球信息采集单元302,用于采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域;
视频流获取单元303,用于在检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。
在一些实施例中,直播显示装置300,还可以包括:
特征信息采集单元,用于在眼球信息采集单元302采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域之前,采集当前的观看直播主页界面的用户的脸部特征信息;
频率获取单元,用于根据脸部特征信息确定每一个用户的身份特征信息,并获取每一个身份特征信息关联的使用频率;
第一确定单元,用于将使用频率大于预设频率阈值的用户确定为第一用户;
第二确定单元,用于在检测到第一用户的数量为单个时,将第一用户确定为目标用户。
在一些实施例中,直播显示装置300,还可以包括:
第三确定单元,用于在第一确定单元将使用频率大于预设频率阈值的用户确定为第一用户之后,在检测到第一用户的数量为多个时,根据每一个第一用户的脸部特征信息确定每一个第一用户对应的年龄信息,其中,每一个年龄信息关联一个观看权重;
排序单元,用于将观看权重按照由大至小的顺序对每一个第一用户进行排序;
第四确定单元,用于保留观看权重最大的第一用户确定为目标用户。
在一些实施例中,第四确定单元,可以包括:
第一确定子单元,用于在检测到观看权重最大的第一用户的数量为单个时,将观看权重最大的第一用户确定为目标用户;
第二确定子单元,用于在检测到观看权重最大的第一用户的数量为多个时,将观看权重最大的第一用户确定为第二用户;
第一获取子单元,用于获取每一个第二用户的观看距离信息;
第二确定子单元,用于将观看距离信息最小的第二用户确定为目标用户。
在一些实施例中,直播显示装置300,还可以包括:
第五确定单元,用于在第一确定单元将使用频率大于预设频率阈值的用户确定为第一用户之后,在检测到第一用户的数量为多个时,将第一用户确定为目标用户;
眼球信息采集单元302,还可以包括:
采集子单元,用于采集每一个目标用户的对应的眼球信息,并根据每一眼球信息确定每一个目标用户的视线在主播主页界面上对应的注视区域;
视频流获取单元303,可以包括:
第二获取子单元,用于在检测到任一注视区域处于同一个目标直播框组件上的停留时间超过预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。
在一些实施例中,第二获取子单元,可以包括:
第三获取子单元,用于在检测到目标直播框组件的数量为单个时,获取目标直播框组件对应的目标直播视频流进行播放;
第四获取子单元,用于在检测到目标直播框组件的数量为多个时,获取每一目标直播框组件对应的目标直播视频流同时进行静音播放;
第五获取子单元,用于获取每一目标直播视频流对应的语音信息,并对每一语音信息进行语音转化,得到对应的文本信息;
显示子单元,用于将每一文本信息显示在对应的目标直播框组件上。
在一些实施例中,视频流获取单元303,还可以包括:
计算子单元,用于在检测到目标直播框组件存在遮挡区域时,计算目标直播框组件与显示屏中心的距离;
拖动子单元,用于根据距离拖动直播主页界面的显示区域,以使得消除目标直播框组件的遮挡区域;
第六获取子单元,用于在检测到目标直播框组件上不存在遮挡区域时,获取目标直播框组件对应的目标直播视频流进行播放。
在一些实施例中,直播显示装置300,还可以包括:
生成单元,用于在检测到注视区域处于第一预设组件上的停留时间超过第二预设时间阈值时,生成预设滚动条组件;
控制单元,用于根据注视区域在预设滚动条组件上的位置关系,控制直播主页界面滑动,以切换直播主页界面的显示区域。
在一些实施例中,直播显示装置300,还可以包括:
第一开启单元,用于在视频流获取单元303获取目标直播框组件对应的目标直播视频流进行播放之后,在检测到注视区域处于播放目标直播视频流的目标直播框组件的停留时间超过第三预设时间阈值时,开启目标直播视频流对应的直播主界面。
在一些实施例中,直播显示装置300,还可以包括:
数据采集单元,用于在第一开启单元开启目标直播视频流对应的直播主界面之前,采集不同用户在直播主界面切换至直播间的训练特征数据和时间标签数据;
训练单元,用于根据训练数据和时间标签数据训练预设模型,得到训练后的预设模型;
输出单元,用于根据训练后的预设模型输出目标用户的预测时间作为第三预设时间阈值。
在一些实施例中,直播显示装置300,还可以包括:
第二开启单元,用于在视频流获取单元获取目标直播框组件对应的目标直播视频流进行播放之后,在当检测到目标用户的表情数据发生预设变化时,开启目标直播视频流对应的直播主界面。
本申请实施例还提供一种计算机设备,该计算机设备可以为终端,如图5所示,其示出了本发明实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图5中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
显示直播主页界面,直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;
采集目标用户的眼球信息,并根据眼球信息确定目标用户的视线在直播主页界面上的注视区域;
当检测到注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取目标直播框组件对应的目标直播视频流进行播放。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对直播显示方法的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种直播显示方法中的步骤。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种直播显示方法中的步骤,因此,可以实现本申请实施例所提供的任一种直播显示方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种直播显示方法、装置、存储介质及计算机设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种直播显示方法,其特征在于,包括:
显示直播主页界面,所述直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;
采集目标用户的眼球信息,并根据所述眼球信息确定目标用户的视线在所述直播主页界面上的注视区域;
当检测到所述注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取所述目标直播框组件对应的目标直播视频流进行播放。
2.根据权利要求1所述的直播显示方法,其特征在于,所述采集目标用户的眼球信息,并根据所述眼球信息确定目标用户的视线在所述直播主页界面上的注视区域之前,还包括:
采集当前的观看所述直播主页界面的用户的脸部特征信息;
根据所述脸部特征信息确定每一个用户的身份特征信息,并获取每一个身份特征信息关联的使用频率;
将使用频率大于预设频率阈值的用户确定为第一用户;
当检测到所述第一用户的数量为单个时,将所述第一用户确定为目标用户。
3.根据权利要求2所述的直播显示方法,其特征在于,所述将使用频率大于预设频率阈值的用户确定为第一用户之后,还包括:
当检测到所述第一用户的数量为多个时,根据每一个第一用户的脸部特征信息确定每一个第一用户对应的年龄信息,其中,每一个年龄信息关联一个观看权重;
将所述观看权重按照由大至小的顺序对每一个第一用户进行排序;
保留观看权重最大的第一用户确定为目标用户。
4.根据权利要求3所述的直播显示方法,其特征在于,所述保留观看权重最大的第一用户确定为目标用户,包括:
当检测到观看权重最大的第一用户的数量为单个时,将所述观看权重最大的第一用户确定为目标用户;
当检测到观看权重最大的第一用户的数量为多个时,将所述观看权重最大的第一用户确定为第二用户;
获取每一个第二用户的观看距离信息;
将所述观看距离信息最小的第二用户确定为目标用户。
5.根据权利要求2所述的直播显示方法,其特征在于,所述将使用频率大于预设频率阈值的用户确定为第一用户之后,还包括:
当检测到所述第一用户的数量为多个时,将所述第一用户确定为目标用户;
所述采集目标用户的眼球信息,并根据所述眼球信息确定目标用户的视线在所述直播主页界面上的注视区域,包括:
采集每一个目标用户的对应的眼球信息,并根据每一眼球信息确定每一个目标用户的视线在所述主播主页界面上对应的注视区域;
所述当检测到所述注视区域处于同一目标直播框组件上的停留时间超过预设时间阈值时,获取所述目标直播框组件对应的目标直播视频流进行播放,包括:
当检测到任一注视区域处于同一个目标直播框组件上的停留时间超过预设时间阈值时,获取所述目标直播框组件对应的目标直播视频流进行播放。
6.根据权利要求5述的直播显示方法,其特征在于,所述获取所述目标直播框组件对应的目标直播视频流进行播放,包括:
当检测到所述目标直播框组件的数量为单个时,获取所述目标直播框组件对应的目标直播视频流进行播放;
当检测到所述目标直播框组件的数量为多个时,获取每一目标直播框组件对应的目标直播视频流同时进行静音播放;
获取每一目标直播视频流对应的语音信息,并对每一语音信息进行语音转化,得到对应的文本信息;
将每一文本信息显示在对应的目标直播框组件上。
7.根据权利要求1述的直播显示方法,其特征在于,所述获取所述目标直播框组件对应的目标直播视频流进行播放,包括:
当检测到所述目标直播框组件存在遮挡区域时,计算所述目标直播框组件与显示屏中心的距离;
根据所述距离拖动所述直播主页界面的显示区域,以使得消除所述目标直播框组件的遮挡区域;
当检测到所述目标直播框组件上不存在遮挡区域时,获取所述目标直播框组件对应的目标直播视频流进行播放。
8.根据权利要求1至7任一项所述的直播显示方法,其特征在于,所述直播显示方法,还包括:
当检测到所述注视区域处于第一预设组件上的停留时间超过第二预设时间阈值时,生成预设滚动条组件;
根据所述注视区域在所述预设滚动条组件上的位置关系,控制所述直播主页界面滑动,以切换所述直播主页界面的显示区域。
9.根据权利要求1至7任一项所述的直播显示方法,其特征在于,所述获取所述目标直播框组件对应的目标直播视频流进行播放之后,还包括:
当检测到所述注视区域处于播放目标直播视频流的目标直播框组件的停留时间超过第三预设时间阈值时,开启所述目标直播视频流对应的直播主界面。
10.根据权利要求9述的直播显示方法,其特征在于,所述开启所述目标直播视频流对应的直播主界面之前,还包括:
采集不同用户在直播主界面切换至直播间的训练特征数据和时间标签数据;
根据所述训练数据和时间标签数据训练预设模型,得到训练后的预设模型;
根据所述训练后的预设模型输出所述目标用户的预测时间作为第三预设时间阈值。
11.根据权利要求1至7任一项所述的直播显示方法,其特征在于,所述获取所述目标直播框组件对应的目标直播视频流进行播放之后,还包括:
当检测到所述目标用户的表情数据发生预设变化时,开启所述目标直播视频流对应的直播主界面。
12.一种直播显示装置,其特征在于,包括:
显示单元,用于显示直播主页界面,所述直播主页界面包括至少一个直播框组件,其中,每一直播框组件关联不同主播相应的直播视频流;
眼球信息采集单元,用于采集目标用户的眼球信息,并根据所述眼球信息确定目标用户的视线在所述直播主页界面上的注视区域;
视频流获取单元,用于在检测到所述注视区域处于同一目标直播框组件上的停留时间超过第一预设时间阈值时,获取所述目标直播框组件对应的目标直播视频流进行播放。
13.一种计算机可读存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至11任一项所述的直播显示方法中的步骤。
14.一种计算机设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至11任一项所述的直播显示方法中的步骤。
CN202111415535.1A 2021-11-25 2021-11-25 直播显示方法、装置、存储介质及计算机设备 Active CN114257824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111415535.1A CN114257824B (zh) 2021-11-25 2021-11-25 直播显示方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111415535.1A CN114257824B (zh) 2021-11-25 2021-11-25 直播显示方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN114257824A true CN114257824A (zh) 2022-03-29
CN114257824B CN114257824B (zh) 2024-03-19

Family

ID=80793289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111415535.1A Active CN114257824B (zh) 2021-11-25 2021-11-25 直播显示方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN114257824B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845153A (zh) * 2022-03-31 2022-08-02 广州方硅信息技术有限公司 直播界面的显示处理方法、电子终端及存储介质
CN117560538A (zh) * 2024-01-12 2024-02-13 江西微博科技有限公司 基于云平台的交互式语音视频的服务方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834446A (zh) * 2015-05-04 2015-08-12 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
KR20160061699A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법
CN109819268A (zh) * 2019-03-15 2019-05-28 网易(杭州)网络有限公司 视频直播中的直播间播放控制方法、装置、介质及设备
CN110248254A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 显示控制方法及相关产品
CN110262659A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关装置
CN111368717A (zh) * 2020-03-02 2020-07-03 广州虎牙科技有限公司 视线确定方法、装置、电子设备和计算机可读存储介质
CN112954209A (zh) * 2021-02-08 2021-06-11 维沃移动通信(杭州)有限公司 拍照方法、装置、电子设备及介质
CN113435357A (zh) * 2021-06-30 2021-09-24 平安科技(深圳)有限公司 语音播报方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061699A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법
CN104834446A (zh) * 2015-05-04 2015-08-12 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
CN109819268A (zh) * 2019-03-15 2019-05-28 网易(杭州)网络有限公司 视频直播中的直播间播放控制方法、装置、介质及设备
CN110248254A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 显示控制方法及相关产品
CN110262659A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关装置
CN111368717A (zh) * 2020-03-02 2020-07-03 广州虎牙科技有限公司 视线确定方法、装置、电子设备和计算机可读存储介质
CN112954209A (zh) * 2021-02-08 2021-06-11 维沃移动通信(杭州)有限公司 拍照方法、装置、电子设备及介质
CN113435357A (zh) * 2021-06-30 2021-09-24 平安科技(深圳)有限公司 语音播报方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845153A (zh) * 2022-03-31 2022-08-02 广州方硅信息技术有限公司 直播界面的显示处理方法、电子终端及存储介质
CN117560538A (zh) * 2024-01-12 2024-02-13 江西微博科技有限公司 基于云平台的交互式语音视频的服务方法和装置
CN117560538B (zh) * 2024-01-12 2024-03-22 江西微博科技有限公司 基于云平台的交互式语音视频的服务方法

Also Published As

Publication number Publication date
CN114257824B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110519636B (zh) 语音信息播放方法、装置、计算机设备及存储介质
CN107566907B (zh) 视频剪辑方法、装置、存储介质及终端
US20190289359A1 (en) Intelligent video interaction method
CN103760968B (zh) 数字标牌显示内容选择方法和装置
CN111683263B (zh) 直播指导方法、装置、设备及计算机可读存储介质
CN112040263A (zh) 视频处理方法、视频播放方法、装置、存储介质和设备
CN109637518A (zh) 虚拟主播实现方法及装置
US11245968B2 (en) Prediction model training via live stream concept association
CN114257824B (zh) 直播显示方法、装置、存储介质及计算机设备
US20230036919A1 (en) Incorporating interaction actions into video display through pixel displacement
CN112399239B (zh) 视频播放方法及装置
CN111596760A (zh) 操作控制方法、装置、电子设备及可读存储介质
CN111723237A (zh) 媒体内容访问控制方法
CN111343512A (zh) 信息获取方法、显示设备及服务器
CN111274449B (zh) 视频播放方法、装置、电子设备和存储介质
JP2024503957A (ja) 動画の編集方法、装置、電子機器、媒体
CN112261321B (zh) 字幕处理方法、装置及电子设备
CN111225250B (zh) 视频的扩展信息处理方法及装置
CN112165626A (zh) 图像处理方法、资源获取方法、相关设备及介质
CN114222147B (zh) 直播布局调整方法、装置、存储介质及计算机设备
CN113840177B (zh) 直播互动方法、装置、存储介质与电子设备
CN114501054B (zh) 直播互动方法、装置、设备及计算机可读存储介质
US20240096329A1 (en) Qa tv-making millions of characters alive
CN113742585A (zh) 内容搜索方法、装置、电子设备和计算机可读存储介质
WO2023077886A1 (zh) 一种显示设备及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant