CN113656638B - 一种观看直播的用户信息处理方法、装置及设备 - Google Patents

Abstract

本发明公开了一种观看直播的用户信息处理方法、装置及设备，该方法包括：获取观看直播时用户状态信息；关联所述用户状态信息与直播内容，得到目标关联数据。通过上述方式，本发明使用户观看直播时动态变化可以与直播视频进度关联，并将视频保存。实现了用户在回看视频时能够再次回到当时的心境。

Description

一种观看直播的用户信息处理方法、装置及设备

技术领域

本发明涉及直播信息处理技术领域，具体涉及一种观看直播的用户信息处理方法、装置及设备。

背景技术

在观看直播时，比赛现场会通过多个摄像头捕捉到运动员以及现场观众的画面，但是并未与直播的整个过程一一关联；

观看直播赛事对于粉丝来说是非常激动人心的，一些精彩瞬间是值得永远珍藏的，同时也包含自己当时的心境。在回顾回想一些个人的经历的时候，除了通过还原当时看到的事物本身，也常常会有重新体验当时心境的需求；而现有技术只能记录赛事本身，无法让用户再次回到当时的心境。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种观看直播的用户信息处理方法、装置及设备。

根据本发明实施例的一个方面，提供了一种观看直播的用户信息处理方法，包括：

获取观看直播时用户状态信息；

关联所述用户状态信息与直播内容，得到目标关联数据。根据本发明实施例的另一方面，提供了一种观看直播的用户信息处理装置，包括：

获取模块，用于获取观看直播时用户状态信息；

处理模块，用于关联所述用户状态信息与直播内容，得到目标关联数据。

根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述观看直播的用户信息处理方法对应的操作。

根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述观看直播的用户信息处理方法对应的操作。

根据本发明上述实施例提供的方案，通过获取观看直播时用户状态信息；关联所述用户状态信息与直播内容，得到目标关联数据。可以使用户观看直播时动态变化与直播视频进度关联，并将视频保存，由此解决了用户无法与直播整个过程一一关联的问题，取得了用户在回看视频时能够再次回到当时的心境的有益效果。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的观看直播的用户信息处理方法流程图；

图2示出了本发明实施例提供的观看直播的用户信息处理中区别与弹幕的用户状态界面图；

图3示出了本发明实施例提供的观看直播的用户信息处理中弹幕的一种形式界面图；

图4示出了本发明实施例提供的观看直播的用户信息处理中我的信息状态信息界面图；

图5示出了本发明实施例提供的观看直播的用户信息处理中所有的信息状态界信息面图；

图6示出了本发明实施例提供的观看直播的用户信息处理中我的实拍状态界面图；

图7示出了本发明实施例提供的观看直播的用户信息处理中切换好友状态信息界面图；

图8示出了本发明实施例提供的观看直播的用户信息处理装置的结构示意图；

图9示出了本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了本发明实施例提供的观看直播的用户信息处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤11，获取观看直播时用户的状态信息；

步骤12，关联所述用户状态信息与直播内容，得到目标关联数据。

该实施例所述的观看直播的用户信息处理方法，通过获取观看直播时用户状态信息；关联所述用户状态信息与直播内容，得到目标关联数据。可以使用户观看直播时的状态变化与直播视频进度关联，并将视频保存，由此解决了用户的状态变化无法与直播整个过程一一关联的问题，取得了用户在回看视频时能够再次回到当时的心境的有益效果。在本发明的一可选的实施例中，步骤11可以包括：

步骤111，获取观看直播时一预设时间段内的用户观看状态信息，所述用户的观看状态信息，包括用户的肢体动作、用户的表情、用户的语言、用户的情绪以及用户的声音，但不限于如上所述。

具体的，当用户进入直播时，开启观看直播设备的摄像头(如观看直播的设备是手机、ipad等电子设备，则会有摄像功能，若观看直播的设备是电视等无摄像功能的，可借助周边的摄像头)，在一预设时间段记录当前用户的观看状态信息。如果摄像头捕捉到多个用户时，可弹出确认框确认主角以及好友；根据人脸识别，分别记录下本次观看过程中相关用户的观看状态信息。如果在现场观看比赛时，可通过赛场现有的摄像头捕捉每个看台用户的观看状态信息。

步骤112，根据所述观看状态信息，得到用户状态信息，所述用户的状态信息包括，胜利状态、专注状态以及自然观看状态，但不限于如上所述。

具体的，线上用户通过赋予计算机识别、理解、表达和适应人的情感的能力，建立和谐人机环境(情感计算技术)，来提取所述观看状态信息中的面部表情变化，然后由生成模型(Generative)和判别模型(Discriminative)的互相博弈学习(生成对抗网络)产生所述用户的状态信息。

通过利用分析比较的计算机技术识别人脸(人脸识别技术)，来提取所述观看状态信息中的面部表情变化，然后由生成模型(Generative)和判别模型(Discriminative)的互相博弈学习(生成对抗网络)产生所述用户的状态信息。

通过利用骨骼追踪技术，来提取所述观看状态信息中的肢体变化，然后由生成模型(Generative)和判别模型(Discriminative)的互相博弈学习(生成对抗网络)产生所述用户的状态信息。

通过将用户语音中的词汇内容转换为计算机可读的输入(语音识别技术)，来提取观看状态信息中的语音变化，然后由生成模型(Generative)和判别模型(Discriminative)的互相博弈学习(生成对抗网络)产生所述用户的状态信息。

所述观看状态信息转换用户状态信息的技术包括但不限于如上所述。

若为现场观看比赛的用户，需借助大数据分析，统计出当前看台大部分用户的表情变化，并根据大数据统计后的结果通过生成模型(Generative)和判别模型(Discriminative)的互相博弈学习(生成对抗网络)产生所述用户的状态信息。

在本发明的又一可选的实施例中，步骤112还可以包括：

步骤1121，将所述观看状态信息与情绪库中用户状态信息进行匹配，得到所述至少一个用户的状态信息，所述情绪库包括预设情绪库、现有的情绪库和结合现场生成的情绪库，但不限于如上所述。

该实施例中，情绪库中用户的状态信息是指，如瞳孔常态正常大小，面部、肢体放松可定义为自然观看状态；如用户瞳孔放大，肢体保持固定动作不变化，拳头哦紧握等，可定义为专注状态；如用户做出胜利姿态，并发出欢呼，跳跃等姿态变化，可定义为胜利状态。预设情绪库中用户的状态信息包括但不限于如上所述，预设情绪库中用户的状态信息支持随时扩展与变更。

如图2和图3所示，在本发明的又一可选的实施例中，步骤12可以包括：

步骤121，将所述用户状态信息和直播内容进行关联，得到第一数据；

具体的，第一数据是指用户的状态信息和直播内容关联后的视频画面，在视频画面中是否展现用户的状态信息，以及展现的形式，展现的大小等数据都可根据用户的状态信息进行实时调整。如为了增强视频画面的观看体验，在一些很精彩的场景，识别出用户正在屏住呼吸，专注度很大的时候，可对状态进行隐藏；如在胜利，失望、自然状态下，可增加用户的状态信息变化的数据展现或者动效。实时调整的数据包括但不限于如上所述。

步骤122，将所述第一数据与用户的用户帐号进行关联，得到目标关联数据。

具体的，也可将原始画面数据和第一数据共同用户的用户帐号进行关联，得到目标关联数据，所述目标关联数据可进行下载、存储。

如图4至图7所示，在本发明的又一可选的实施例中，步骤12之后还可以包括：

步骤123，根据用户帐号信息，获得与所述用户的帐号信息、所述用户的状态信息关联的所述用户的目标关联数据的回看数据和/或所述用户的好友用户的目标关联数据的回看数据，所述用户的用户状态与所述用户的好友的用户状态在一个显示界面中以不同图标进行显示。

该实施例中，当用户登录自己的账号，进入回看，获取用户账号信息，调取关联数据及状态信息。如图4所示，用户进入回看时，在画面中展现当前进度下自己的状态信息。如图7所示，当用户与用户好友进入回看，根据最初判定的主角与好友，差异化展示，主角展示更多信息，给予更大空间，主角下方好友区域为好友用户状态。可单独查看某个好友的用户状态，生成好友的用户状态与视频进度关联的第一数据，支持快捷分享，此时他的用户状态就为主角，其他人为好友的用户状态。

如图5和图6所示，在本发明的又一可选的实施例中，步骤12之后还可以包括：

步骤124，根据用户的帐号信息，在与多个所述用户的状态信息关联的多个所述用户的目标关联数据之间进行切换，获得与所述用户的每一个状态信息关联的目标关联数据的回看数据。

该实施例中，如图5所示，还可在画面中展现当前进度下好友的状态信息。如图6所示，还可在画面中展现当前进度下自己的真实状态。若包含声音可通过点击或者其他交互方式进行播放，也可通过切换，查看当前好友的真实状态。也可通过设置确认实拍画面展现视频运动员、观众等其他用户的状态信息。所述其他用户是指除当前用户之外的用户，包括但不限于用户的好友。

在本发明的再一可选的实施例中，步骤12之后还可以包括：

步骤13，显示所述用户状态信息。

具体的，步骤13可以包括：

步骤131，在用户状态显示区域显示所述用户状态信息，所述用户状态显示区域与弹幕区域是不同的区域；或者

步骤132，在弹幕区域显示所述用户状态信息。

该实施例中，对发生变化的观看状态信息进行提取，通过读取用户在Ns(如3s)的时间内的观看状态信息进行展现，每Ns(如3s)分析一次，若下一个Ns(如3s)的观看状态信息未发生变化，则继续展示上一个观看状态信息，若变化则在画面中更新用户的状态信息，进而形成一段段与直播进程关联的第一数据。于此同时，可结合赛事的进展情况进行自动调节采集频率；如当在赛事比分接近，且接近尾声时可将采集频率提升为Ns-ns(如3s-1s)。若条件允许，可记录所有用户的状态信息，并与用户账号关联。

在本发明的上述实施例中，通过获取观看直播时至少一个用户的状态信息；将所述至少一个用户的状态信息与直播内容进行关联，得到目标关联数据，并存储所述目标关联数据；在直播画面上显示与所述目标关联数据关联的所述至少一个用户的状态信息。可以使用户观看直播时动态变化与直播视频进度关联，并将视频保存，由此解决了用户无法与直播整个过程一一关联的问题，取得了用户在回看视频时能够再次回到当时的心境的有益效果。且多人观看直播可区分我与好友，并可生成多分以某个好友为主角的视频，让好友在回看视频时也能够再次回到当时的心境。同时直播画面可结合用户的状态信息理解当前比赛的进程(进攻、胜利关键时刻等)，进而调整用户状态的显示方式，如不显示或者显示更多的信息，带来更好的观看体验。直播用户还可以在观看直播的时候自动筛选等功能过滤出自己想要发表的评论、弹幕，使用户在精彩片段，聚焦赛事本身来不及发表言论时，也不会错过精彩瞬间的情绪表达。不仅如此，场外观众观看直播时，可通过开启联网设备的摄像头捕捉下观众的表情、肢体变化，转译成相关的表情包，作为弹幕的一种内容自动发布。

图8示出了本发明实施例提供的观看直播的用户信息处理装置80的结构示意图。如图8所示，该装置包括：

获取模块81，用于获取观看直播时用户的状态信息；

处理模块82，用于关联所述用户状态信息与直播内容，得到目标关联数据；

可选的，所述处理模块83还用于显示所述用户状态信息。

可选的，所述获取模块81还用于获取观看直播时一预设时间段内的用户观看状态信息；

根据所述观看状态信息，得到用户状态信息。

可选的，所述获取模块81还用于将所述观看状态信息与情绪库中用户的状态信息进行匹配，得到所述用户状态信息。

可选的，所述处理模块82还用于将所述用户状态信息和直播内容进行关联，得到第一数据；

将所述第一数据与用户的用户帐号进行关联，得到目标关联数据。

可选的，所述处理模块82还用于根据用户帐号信息，获得与所述用户的帐号信息、所述用户的状态信息关联的所述用户的目标关联数据的回看数据和/或所述用户的好友用户的目标关联数据的回看数据，所述用户的用户状态与所述用户的好友的用户状态在一个显示界面中以不同图标进行显示。

可选的，所述处理模块82还用于根据用户的帐号信息，在与多个所述用户的状态信息关联的多个所述用户的目标关联数据之间进行切换，获得与所述用户的每一个状态信息关联的目标关联数据的回看数据。

可选的，所述处理模块82还用于在用户状态显示区域显示所述用户状态信息，所述用户状态显示区域与弹幕区域是不同的区域；

或者在弹幕区域显示所述用户状态信息。

需要说明的是，该实施例是与上述方法实施例对应的装置实施例，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的观看直播的用户信息处理方法。

图9示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图9所示，该计算设备可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。

其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述用于计算设备的观看直播的用户信息处理方法实施例中的相关步骤。

具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。

处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序具体可以用于使得处理器执行上述任意方法实施例中的观看直播的用户信息处理方法。程序中各步骤的具体实现可以参见上述观看直播的用户信息处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (7)

1.一种观看直播的用户信息处理方法，其特征在于，所述方法包括：

获取观看直播时一预设时间段内的用户的观看状态信息，根据所述观看状态信息，得到用户状态信息；

将用户状态信息与直播内容进行关联，得到第一数据，所述第一数据是指用户的状态信息和直播内容关联后的视频画面；

将所述第一数据与用户的用户帐号进行关联，得到目标关联数据；

在直播画面上显示与所述目标关联数据关联的至少一个用户的用户状态信息；

其中，每间隔预设时长分析用户的观看状态信息，若观看状态信息发生变化，则在直播画面中更新用户状态信息，其中，结合赛事的进展情况进行自动调节采集频率；在视频画面中是否展现用户状态信息、展现形式以及展现大小根据用户状态信息进行实时调整。

2.根据权利要求1所述的观看直播的用户信息处理方法，其特征在于，根据所述观看状态信息，得到用户状态信息，包括：

将所述观看状态信息与情绪库中用户的状态信息进行匹配，得到所述用户的状态信息。

3.根据权利要求1所述的观看直播的用户信息处理方法，其特征在于，得到目标关联数据后，还包括：

根据用户帐号信息，获得与所述用户的帐号信息、所述用户的状态信息关联的所述用户的目标关联数据的回看数据和/或所述用户的好友用户的目标关联数据的回看数据，所述用户的用户状态与所述用户的好友的用户状态在一个显示界面中以不同图标进行显示。

4.根据权利要求1-3中任一项所述的观看直播的用户信息处理方法，其特征在于，所述用户的目标关联数据包括多个，得到目标关联数据后，还包括：

根据用户的帐号信息，在与多个所述用户的状态信息关联的多个所述用户的目标关联数据之间进行切换，获得与所述用户的每一个状态信息关联的目标关联数据的回看数据。

5.一种观看直播的用户信息处理装置，其特征在于，所述装置包括：

获取模块，用于获取观看直播时一预设时间段内的用户的观看状态信息，根据所述观看状态信息，得到用户状态信息；

处理模块，用于将用户状态信息与直播内容进行关联，得到第一数据，所述第一数据是指用户的状态信息和直播内容关联后的视频画面；将所述第一数据与用户的用户帐号进行关联，得到目标关联数据；以及，在直播画面上显示与所述目标关联数据关联的至少一个用户的用户状态信息；其中，每间隔预设时长分析用户的观看状态信息，若观看状态信息发生变化，则在直播画面中更新用户状态信息，其中，结合赛事的进展情况进行自动调节采集频率；在视频画面中是否展现用户状态信息、展现形式以及展现大小根据用户状态信息进行实时调整。

6.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-4中任一项所述的观看直播的用户信息处理方法对应的操作。

7.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-4中任一项所述的观看直播的用户信息处理方法对应的操作。