CN114827735A - 视频回看方法、装置、设备及存储介质 - Google Patents

视频回看方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114827735A
CN114827735A CN202210424844.3A CN202210424844A CN114827735A CN 114827735 A CN114827735 A CN 114827735A CN 202210424844 A CN202210424844 A CN 202210424844A CN 114827735 A CN114827735 A CN 114827735A
Authority
CN
China
Prior art keywords
review
picture
file
index
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210424844.3A
Other languages
English (en)
Inventor
刘乾顺
刘庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210424844.3A priority Critical patent/CN114827735A/zh
Publication of CN114827735A publication Critical patent/CN114827735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本申请公开了一种视频回看方法、装置、设备及存储介质，所述方法包括：在用户观看直播时，向客户端发送回看点集合；响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。因而，对直播画面中符合观看用户观看体验的精彩片段进行提取，形成待回看点集合中的回看点显示于直播画面的进度条上，以便观看用户直接查看回放，且回看播放的同时播放直播画面，实现直播画面和回看画面的同时播放，提高用户体验。

Description

视频回看方法、装置、设备及存储介质
技术领域
本申请涉及视频通信技术领域，尤其涉及一种视频回看方法、装置、设备及存储介质。
背景技术
随着视频通信技术的发展，在视频直播的过程中设置回看功能，回看已播放的视频文件，具体地，在直播的整个过程中有进度条显示直播时长，滑动进度条进行回看，拉取指定时间位置的直播流支持回看，但是，在回看时，由于直播画面和回看画面不能同时显示，视频界面上直播画面跳转至回看画面后，回看时无法观看正在直播的内容，导致直播精彩画面丢失，降低用户体验。
发明内容
本申请的主要目的在于提供一种视频回看方法、装置、设备及存储介质，旨在解决现有技术中直播画面和回看画面不能同时播放，导致直播精彩画面丢失的技术问题。
为实现上述目的，本申请提供一视频回看方法，应用于服务端，所述视频回看方法包括：
在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；
响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
可选地，所述索引文件中对应画面的文件索引用于指示对应画面的文件信息在文件索引树中的位置，所述文件索引树中的位置与文件信息为一一对应关系。
可选地，所述文件索引为M位的二进制数，所述二进制数的高位用于指示所述文件信息在所述文件索引树中的层数，所述二进制数的低位用于指示所述文件信息在对应层数的位置，所述M是根据所述索引文件的大小确定的。
可选地，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的步骤，包括：
提取满足预设条件的直播画面，生成待回看点集合；
根据用户的观看指标数值和所述待回看点集合，计算出需要在所述直播画面进度条上显示的所述回看点集合，其中，所述观看指标数值是基于所述历史观看数据确定的，所述观看指标数值包括回看点数量、回看点时间间隔。
可选地，所述预设条件为当前直播画面的标签关键词与预设标签库中标签匹配成功，
所述提取满足预设条件的直播画面，生成待回看点集合的步骤，包括：
获取当前直播的预设标签库，所述预设标签库中包括至少一个标签；
基于预设算法提取所述当前直播画面的标签关键词；
当所述标签关键词与所述预设标签库中的标签匹配成功时，提取所述当前直播画面，生成所述待回看点集合。
可选地，所述获取当前直播的预设标签库，所述预设标签库中包括至少一个标签的步骤，包括：
根据所述当前直播的直播类型，确定预置标签；
获取用户的自定义标签；
对所述预置标签和所述自定义标签中进行分类组合，建立预设标签库。
可选地，所述对所述预置标签和所述自定义标签中的有效标签进行组合，建立预设标签库的步骤之前，所述方法包括：
对所述预置标签和所述自定义标签进行有效识别，得到有效标签；
所述对所述预置标签和所述自定义标签中进行分类组合，建立预设标签库的步骤，包括：
对所述有效标签进行分类组合，建立所述预设标签库。
本申请还提供一种视频回看装置，所述视频回看装置包括：
发送模块，用于在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；
响应模块，用于响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
本申请还提供一视频回看设备，所述视频回看设备包括：存储器、处理器以及存储在存储器上的用于实现所述视频回看方法的程序，
所述存储器用于存储实现所述视频回看方法的程序；
所述处理器用于执行实现所述视频回看方法的程序，以实现上述所述视频回看方法的步骤。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的视频回看方法的步骤。
本申请提供的一种视频回看方法、装置、设备及存储介质，与现有技术中直播画面和回看画面不能同时显示，回看时无法观看正在直播的内容，导致直播精彩画面丢失相比，在本申请中，在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。因而，对直播画面中符合观看用户观看体验的精彩片段进行提取，形成待回看点集合中的回看点显示于直播画面的进度条上，以便观看用户直接查看回放，且回看播放的同时播放直播画面，实现直播画面和回看画面的同时播放，提高用户体验。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本申请视频回看方法第一实施例的流程示意图；
图3为本申请视频回看方法第一实施例中ts文件索引的的索引树示意图；
图4为本申请视频回看方法第一实施例中ts文件索引的二进制表示方式示意图；
图5为本申请视频回看方法第一实施例中回看画面和直播画面32位二进制数示意图；
图6为本申请视频回看方法第一实施例中回看画面和直播画面同时播放界面示意图；
图7为本申请视频回看方法第二实施例中回看点示意图；
图8为本申请视频回看方法第二实施例中合并分类标签库示意图；
图9为本申请视频回看方法第一实施例中功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络操作控制应用程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的网络操作控制应用程序。
参照图2，本申请实施例提供一视频回看方法，应用于服务端，所述视频回看方法包括：
步骤S100，在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；
步骤S200，响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
具体步骤如下：
步骤S100，在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；
在本实施例中，需要说明的是，视频回看方法属于视频回看系统，该视频回看系统从属于视频回看设备。
在本实施例中，具体的应用场景可以是：
视频直播过程中，由于直播画面和回看画面不能同时显示，回看时无法观看正在直播的内容，导致直播精彩画面丢失，降低用户体验。
而在本申请中，对于视频回看系统而言，提取直播画面中满足预设条件的待回看画面，得到待回看点集合；根据观看用户的历史观看数据和所述待回看点集合，确定回看点集合，其中，所述回看点集合显示于所述直播画面的进度条上；响应目标回看点的回看指令，获取所述目标回看点对应的回看画面和所述直播画面，在播放界面同时播放显示所述回看画面和所述直播画面。因而，对直播画面中符合观看用户观看体验的精彩片段进行提取，形成待回看点集合中的回看点显示于直播画面的进度条上，以便观看用户直接查看回放，且回看播放的同时播放直播画面，实现直播画面和回看画面的同时播放，提高用户体验。
也即，在本申请中，避免由于在直播界面无法同时播放直播画面和回看画面，导致用户在查看回放时无法观看直播的内容。
在本实施例中，需要说明的是，回看点是指回看点集合中表示待回看画面的点，待回看画面是直播过程中满足预设条件的精彩画面，该精彩画面的预设条件可以根据观看用户的喜好或直播视频的性质选定，在直播进度条展示这些精彩画面出现的位置，这些位置为回看点，观看用户点击回看点，会在直播应用同时播放显示直播画面和回看画面。
其中，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的步骤，包括：
步骤S110，提取满足预设条件的直播画面，生成待回看点集合；
步骤S120，根据用户的观看指标数值和所述待回看点集合，计算出需要在所述直播画面进度条上显示的所述回看点集合，其中，所述观看指标数值是基于所述历史观看数据确定的，所述观看指标数值包括回看点数量、回看点时间间隔。
在本实施例中，在直播进行过程中，检测直播界面的视频画面，提取满足预设条件的视频画面，得到待回看画面，同时获取待回看画面的时间点，根据多个待回看画面和待回看画面对应的时间点，建立待回看点集合Cn。其中，Cn中的待回看画面按照一定顺序排列，n表示排列的排序值，Ci(0<i<n)表示Cn中第i个元素，Cit(0<i<n)表示Cn中第i个的时间点。
其中，一定顺序可以是时间的顺序，如从按照时间从小到大的顺序，则待回看点集合Cn中的待回看画面按照待回看画面对应的时间点，从小到大排列。一定顺序还可以是其他的排序方式，在此不做具体限定。
其中，所述根据用户的观看指标数值和所述待回看点集合，计算出需要在所述直播画面进度条上显示的所述回看点集合的步骤，包括：
步骤A1，根据所述历史观看数据和预设的平均观看数据，计算出当前直播的观看指标数值，所述观看指标数值包括回看点数量、回看点时间间隔；
步骤A2，遍历所述待回看点集合，提取满足所述观看指标数值的待回看画面，得到有效回看点；
步骤A3，记录所述有效回看点，得到所述回看点集合。
在本实施例中，考虑到观看用户的观看体验，待回看点集合中的待回看画面需要进行筛选再展示于直播画面的进度条上，以剔除无效的待回看画面，余下有效的待回看画面按照预设的展示要求，显示于进度条上。其中，预设的展示要求可以是播放平台的平均观看数据，因此，根据观看用户的历史观看数据、播放平台的平均观看数据和待回看点集合Cn，计算出需要在直播画面的进度条上显示出的回看点集合LBn，其中，n表示回看点个数，LBlast(t)表示LBn中最后一个加入的直播画面的待回看画面的时间点。
具体地，观看用户的历史观看数据包括如下数据：
1)该观看用户所有直播历史平均回看频率F，单位：次/每场；
2)该观看用户该场直播的已观看的时间段Tn，n表示第n个已观看的时间段；
3)该观看用户该场直播未观看的时长Us，Us是指该场直播当前正在直播的时间点与该观看用户当前正在观看的时间点之间的时长，单位：秒；
播放平台的平均观看数据如下：
1)所有观看用户所有直播历史平均回看频率AvgF，AvgF可以由服务端周期性统计并更新，单位：次/每场；
2)所有观看用户所有直播历史平均生成的回看点数量AvgC，AvgC可以由服务端周期性统计并更新，单位：个/每场；
3)服务端要求回看点最小时间间隔Ts，Ts可以按照经验预先配置固定值，也可以由服务端周期性统计并更新,单位：秒。
在本实施例中，通过预设的计算公式或计算模型，基于观看用户的历史观看数据和播放平台的平均观看数据计算出该观看用户合适的回看点数量LBm，计算公式如下：
LBm＝F/AvgF*AvgC……(1)
计算该观看用户当前直播的回看点最小时间间隔，也即回看点时间间隔Ts-min：
Ts-min＝max(Us/LBn，Ts)……(2)
也即，取Us/LBn和Ts中的最大值，作为回看点时间间隔。
遍历待回看点集合Cn中的多个待回看画面，当第i个待回看画面Ci属于观看用户在该场直播上已观看的时间段时，需要判断待回看画面的时间点Cit与LBlast(t)的时间点的间隔是否大于Ts-min，存在两种情况：
情况一，若是，则该Ci有效，将Ci放入回看点集合LBn中并更新LBlast(t)的值；
情况二，若否，则该Ci无效，将Ci丢弃掉，以免进度条上的回看点密集。
将建立的回看点集合LBn返回给播放平台的客户端，以供客户端在当前直播的直播画面进度条上显示回看点。
需要说明的是，根据观看用户的历史观看数据和所述待回看点集合，确定回看点集合，由于观看用户的历史观看数据是随着直播观看的进行而变化的，因此，计算得到的回看点集合是动态变化的，在直播画面的进度条上显示的是实时回看点集合中的回看点。可以理解，确定已显示在进度条上回看点会保留，实时更新时，会在进度条上增加新的回看点。
步骤S200，响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
在本实施例中，接收所述进度条上目标回看点的回看指令，其中，目标回看点是指在直播画面进度条上显示的回看点集合中所需查看的回看点，在观看用户点击目标回看点时，播放平台的客户端会向服务端发送一个目标回看点对应的回看指令，服务端视频回看系统接收到回看指令会进行响应。
由此，响应回看点集合中目标回看点的回看指令，该回看指令是观看用户在直播画面的进度条上点击回看点产生的，通过响应回看指令，生成索引文件，并向客户端发送索引文件，该索引文件中包括与回看指令的直播时间点对应的直播画面的文件索引以及与目标回看点对应的回看画面的文件索引，以使客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
需要说明的是，直播过程中，基于HLS协议将实时直播的直播画面通过.M3U8文件存储，直播画面以ts文件索引列表的形式存储于.M3U8文件中，可以理解，每个ts文件索引对应一段可播放的文件片段。为实现回看画面和直播画面的的同时播放，且减少同时获取回看画面和直播画面的ts文件索引列表导致.M3U8文件大小增大的问题，需要对协议进行编码优化，对回看画面的ts文件索引和直播画面的ts文件索引列表进行编码，并将编码后的ts文件索引保存于优化的.M3U8文件中，优化的.M3U8文件也即索引文件。
可以理解，通过建立索引数来存储ts文件索引，所述索引文件中对应画面的文件索引用于指示对应画面的文件信息在文件索引树中的位置，所述文件索引树中的位置与文件信息为一一对应关系。且所述文件索引为M位的二进制数，所述二进制数的高位用于指示所述文件信息在所述文件索引树中的层数，所述二进制数的低位用于指示所述文件信息在对应层数的位置，所述M是根据所述索引文件的大小确定的。
具体地，首先会限定系统每次接收到回看指令响应的.M3U8文件(索引文件)里面最多返回128对ts索引文件(即最多返回128个回看点ts文件索引，128个当前直播流ts文件索引，共256个ts文件索引)。
参照图3，使用数组大小为256的索引树来存储ts文件索引。将对每一个ts文件索引进行Hash编码，生成一个16位的二进制hash值h，通过h&256的与运算计算索引值index，当index出现重复，会新生成数组大小为256的索引树来存储index重复的ts文件，使用index+salt(salt是一个字符串，每一层数组都有一个对应的salt)，重新Hash编码生成hash值h2，再次通过h2&256的与运算计算索引值index2。重复这样操作，直到没有重复。
由此每个ts文件索引通过Hash编码，在索引树中都有独一无二的位置存放。针对ts文件索引存放的位置，使用一个16位的二进制表示。因为一个.M3U8文件做多存储256个(128对)ts文件索引，256转成二进制为：1,0000,0000，在计算机中，是0从开始的，所有计算机中256种情况，可以使用二进制1111,1111表示。当256个ts文件索引都发生冲突，那么索引树会有256层，也可以使用二进制1111,111表示。参照图4，最终一个16位二进制数表示一个ts文件索引在索引树中的位置，其中高8位存放层数，低8位存放具体某层的位置。
当前每个ts文件索引都可以使用一个16位二进制来表示，所以在.M3U8文件中，可以使用一个32位的二进制来表示一对ts文件索引。参照图5，其中高16位表示回看画面的ts文件索引的Hash值，低16位表示直播画面的ts文件索引值。因此，最终响应的.M3U8文件(索引文件)中存储的ts文件索引使用32位二进制数代替。
服务端在响应回看指令时，会生成目标回看点回应的索引文件，并将索引文件发送至客户端，待客户端解析该索引文件，以在客户端上实现直播画面和会看画面的同时播放。
具体地，客户端基于预设规则解析索引文件，得到目标回看点Ci和目标回看点对应的时间点Cit，根据Cit的时间点，从CDN(Content Delivery Network，内容分发网络)中获取目标回看点对应的ts文件索引列表，同时还获取当前直播的直播流对应的ts文件索引列表，采用预设编码协议对文件索引列表进行编码，得到一个32位二进制数，存储该32位二进制数于索引文件中，得到回看指令对应的索引文件。
可以理解，在具体场景中，接收观看用户点击的目标回看点，生成回看指令，服务端的视频回看系统接收该回看指令，解析回看指令对应的目标回看点，获取目标回看点ts文件索引列表和当前直播流ts文件索引列表，通过优化的协议对目标回看点ts文件索引列表和当前直播流ts文件索引列表进行编码，得到一个32位二进制数的索引文件。基于预设的解析规则解析该索引文件，当解析ts文件索引字段时，需要进行解码，对32位的二进制进行解析，获取高16位和低16位的二进制数值，从索引树中找到对应的ts文件索引。根据ts文件索引，从CDN中获取可播放的文件片段，最终在客户端上实现直播画面和回看画面同时播放显示，播放界面如图6所示。
需要说明的是，在需要直播画面和回看画面同时播放显示时，观看用户点击回看点，生成目标回看点对应的回看指令，响应该回看指令，获取优化协议编码后的.M3U8文件，也即回看指令对应的索引文件。
当无需在直播画面同时显示回看画面时，观看用户可对端回看画面点击关闭，在接收到回看画面的关闭指令后，播放平台的客户端就不会再向服务器发起回看画面和直播画面同时播放的请求以获取优化协议编码后的.M3U8文件，而是获取原始的.M3U8文件，对单直播画面进行播放。
在本实施例中，通过在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。因而，对直播画面中符合观看用户观看体验的精彩片段进行提取，形成待回看点集合中的回看点显示于直播画面的进度条上，以便观看用户直接查看回放，且回看播放的同时播放直播画面，实现直播画面和回看画面的同时播放，提高用户体验。
基于上述第一实施例，本申请还提供另一实施例，在该实施例中，所述提取满足预设条件的直播画面，生成待回看点集合的步骤，包括：
步骤B1，获取当前直播的预设标签库，所述预设标签库中包括至少一个标签；
步骤B2，基于预设算法提取所述当前直播画面的标签关键词；
步骤B3，当所述标签关键词与所述预设标签库中的标签匹配成功时，提取所述当前直播画面，生成所述待回看点集合。
在本实施例中，在运营管理系统中，为不同类型的直播预设置标签，以便抓取直播画面中的精彩画面，供观看用户回看。也即，根据预设置的标签创建当前直播的预设标签库，预设标签库中包括至少一个标签，基于预设的算法提取当前直播画面的标签关键词，预设算法包括AI技术算法、DSFD算法。其中，预设条件为当前直播画面的标签关键词与预设标签库中标签匹配成功，可以理解，以一定的画面时长间隔对当前直播的画面进行连续检测，通过AI技术对当前直播的画面进行检测，如AI通过对每段直播画面使用DBG算法进行动作检测，使用DSFD算法进行人脸检测，对每段的直播画面提取标签关键词，得到标签关键词。然后将标签关键词与预设标签库中的标签进行匹配，若匹配成功，说明该段直播画面符合观看用户的观看行为，也即，当前直播的画面满足预设条件，则提取该直播画面，得到待回看画面，以便整合提取出的待回看画面，创建待回看点集合，参照图7，待回看画面生成的待回看点集合显示于直播画面的进度条上。
需要说明的是，对当前直播的直播画面进行检测的过程中，检测的方式是以一定的画面时长间隔进行连续检测，如连续对直播画面中5-10秒的画面进行检测，由此将直播画面划分成5-10s的片段，通过AI技术对每段直播画面进行检测，提取出符合预设条件的直播画面片段。可以理解，一定的画面时长是管理者根据检测需求设定，不限于5-10s。
进一步地，所述获取当前直播的预设标签库，所述预设标签库中包括至少一个标签的步骤，包括：
步骤C1，根据所述当前直播的直播类型，确定预置标签；
步骤C2，获取用户的自定义标签；
步骤C3，对所述预置标签和所述自定义标签中进行分类组合，建立预设标签库。
在本实施例中，当前直播的预设标签库中包括预置标签和自定义标签，可以理解，预置标签是指根据不同类型、不同简介、不同领域的直播，以及历史设置经验，系统自动生成的标签；自定义标签是指观看用户设置的，当观看用户对预置标签不满意时，可以手动添加标签，将最终的预置标签和自定义标签更新至当前直播的预设标签库。
作为一种示例，预置标签和自定义标签可以为人物标签、动作标签等，如足球赛事直播，按人物标签可以预设置为用户A、用户B等；按动作标签可以预设置标签为射门、抢断、进球等。再如电竞赛事直播，按人物标签可以预设置为用户C等；按动作标签可能是抢龙，五杀等。
作为一种示例，自定义标签是观看用户手动设置的，该手动添加的标签只对当前直播有效，可以理解，同一观看用户观看的多个直播中，根据自定义标签对当前直播中的精彩画面进行提取，同一观看用户的其他直播中，该自定义标签失效，需要重新设定。
作为一种示例，观看用户对预置标签不满意时，可以手动添加标签，还可以删除不满意的预置标签。
作为一种示例，参照图8，对预设置标签和观看用户自定义标签中的有效标签进行合并分类，为观看用户观看的直播生成预设标签库，包括人物标签库和动作标签库。可以理解，若有效的人物标签有：①用户A，②用户B；有效的动作标签有：③进球，④射门，此时对标签进行组合，会有①③，②③，①④，②④等的组合。
进一步地，所述对所述预置标签和所述自定义标签中的有效标签进行组合，建立预设标签库的步骤之前，所述方法包括：
步骤D1，对所述预置标签和所述自定义标签进行有效识别，得到有效标签；
所述对所述预置标签和所述自定义标签中进行分类组合，建立预设标签库的步骤，包括：
步骤D2，对所述有效标签进行分类组合，建立所述预设标签库。
在本实施例中，处理观看用户观看的当前直播的预设标签库的数据，对人物标签、动作标签或其他标签进行有效识别。其中，有效识别包括两部分：第一，观看用户观看的直播标签库中所有标签进行黑名单过滤，过滤掉比如：用户D，用户E相关的标签；第二，每场直播自身有预设标签库，剔除不属于当前直播的标签。最终，得到的观看用户观看的直播的预设标签库中所有标签都是有效的，对有效标签进行分类组合，建立预设标签库。
在本实施例中，通过预设标签库中预设置标签和观看用户的自定义标签，提取符合观看用户的观看行为的待回看画面，得到待回看点集合，并在直播进度条展示符合这些标签的精彩画面出现的位置，以便观看用户回看。
本申请还提供一视频回看设备，所述视频回看设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于服务端的视频回看方法的程序，
所述存储器用于存储实现所述视频回看方法的程序；
所述处理器用于执行实现所述视频回看方法的程序，以实现上述所述视频回看方法的步骤。
本申请视频回看设备具体实施方式与上述所述视频回看方法各实施例基本相同，在此不再赘述。
本申请还提供一视频回看装置，所述视频回看装置包括：
发送模块，用于在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；
响应模块，用于响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
本申请视频回看装置具体实施方式与上述视频回看方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的视频回看方法的步骤。
本申请存储介质具体实施方式与上述视频回看方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一视频回看方法，其特征在于，应用于服务端，所述视频回看方法包括：
在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；
响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
2.如权利要求1所述的视频回看方法，其特征在于，所述索引文件中对应画面的文件索引用于指示对应画面的文件信息在文件索引树中的位置，所述文件索引树中的位置与文件信息为一一对应关系。
3.如权利要求2所述的视频回看方法，其特征在于，所述文件索引为M位的二进制数，所述二进制数的高位用于指示所述文件信息在所述文件索引树中的层数，所述二进制数的低位用于指示所述文件信息在对应层数的位置，所述M是根据所述索引文件的大小确定的。
4.如权利要求1所述的视频回看方法，其特征在于，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的步骤，包括：
提取满足预设条件的直播画面，生成待回看点集合；
根据用户的观看指标数值和所述待回看点集合，计算出需要在所述直播画面进度条上显示的所述回看点集合，其中，所述观看指标数值是基于所述历史观看数据确定的，所述观看指标数值包括回看点数量、回看点时间间隔。
5.如权利要求4所述的视频回看方法，其特征在于，所述预设条件为当前直播画面的标签关键词与预设标签库中标签匹配成功，
所述提取满足预设条件的直播画面，生成待回看点集合的步骤，包括：
获取当前直播的预设标签库，所述预设标签库中包括至少一个标签；
基于预设算法提取所述当前直播画面的标签关键词；
当所述标签关键词与所述预设标签库中的标签匹配成功时，提取所述当前直播画面，生成所述待回看点集合。
6.如权利要求5所述的视频回看方法，其特征在于，所述获取当前直播的预设标签库，所述预设标签库中包括至少一个标签的步骤，包括：
根据所述当前直播的直播类型，确定预置标签；
获取用户的自定义标签；
对所述预置标签和所述自定义标签中进行分类组合，建立预设标签库。
7.如权利要求6所述的视频回看方法，其特征在于，所述对所述预置标签和所述自定义标签中的有效标签进行组合，建立预设标签库的步骤之前，所述方法包括：
对所述预置标签和所述自定义标签进行有效识别，得到有效标签；
所述对所述预置标签和所述自定义标签中进行分类组合，建立预设标签库的步骤，包括：
对所述有效标签进行分类组合，建立所述预设标签库。
8.一种视频回看装置，其特征在于，所述视频回看装置包括：
发送模块，用于在用户观看直播时，向客户端发送回看点集合，所述回看点集合用于所述客户端在直播画面的进度条上显示所述回看点集合中的各个回看点，所述回看点集合是根据用户的历史观看数据以及所述直播画面确定的；
响应模块，用于响应针对所述回看点集合中目标回看点的回看指令，生成并向所述客户端发送索引文件，所述索引文件中包括与所述回看指令的直播时间点对应的直播画面的文件索引以及与所述目标回看点对应的回看画面的文件索引，以使所述客户端根据所述索引文件在播放界面同时播放显示回看画面和所述直播画面。
9.一种视频回看设备，其特征在于，所述视频回看设备包括：存储器、处理器以及存储在存储器上并可在所述处理器上运行的视频回看程序，所述视频回看程序配置为实现如权利要求1至7中任一项所述的视频回看方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有视频回看程序，所述视频回看程序配置为实现如权利要求1至7中任一项所述的视频回看方法的步骤。
CN202210424844.3A 2022-04-21 2022-04-21 视频回看方法、装置、设备及存储介质 Pending CN114827735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210424844.3A CN114827735A (zh) 2022-04-21 2022-04-21 视频回看方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210424844.3A CN114827735A (zh) 2022-04-21 2022-04-21 视频回看方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114827735A true CN114827735A (zh) 2022-07-29

Family

ID=82506543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210424844.3A Pending CN114827735A (zh) 2022-04-21 2022-04-21 视频回看方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114827735A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396713A (zh) * 2022-08-08 2022-11-25 北京达佳互联信息技术有限公司 页面展示方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1312650A (zh) * 2000-01-10 2001-09-12 Lg电子株式会社 使音频/视频信号与数据之间的视频索引同步的方法和系统
CN103051931A (zh) * 2011-10-11 2013-04-17 中兴通讯股份有限公司 回看节目录制、播放方法、服务器、客户端及系统
KR20130073751A (ko) * 2011-12-23 2013-07-03 주식회사 케이티 인덱스파일을 이용한 복합 컨텐츠 생성 및 라이브채널 재편성방법을 수행하는 시스템 및 단말
CN104469433A (zh) * 2013-09-13 2015-03-25 深圳市腾讯计算机系统有限公司 一种视频直播回看方法及装置
CN107864406A (zh) * 2017-10-24 2018-03-30 广东省南方数字电视无线传播有限公司 时移视频播放方法、装置和系统
CN108391176A (zh) * 2018-04-09 2018-08-10 四川百视通科技有限公司 一种rtmp协议到hls协议的实时转换系统及其工作方法
CN109729371A (zh) * 2018-12-21 2019-05-07 中电福富信息科技有限公司 一种基于hls协议多级管理的直播时移系统及方法
CN109862387A (zh) * 2019-03-28 2019-06-07 北京达佳互联信息技术有限公司 直播的回看视频生成方法、装置及设备
CN110971926A (zh) * 2019-12-02 2020-04-07 咪咕视讯科技有限公司 视频播放方法、视频处理方法、视频处理装置及存储介质
CN111182366A (zh) * 2018-11-12 2020-05-19 玲珑视界科技（北京）有限公司 一种支持多屏时移和回看融合生产的系统及方法
CN112929677A (zh) * 2019-12-06 2021-06-08 北京金山云网络技术有限公司 直播视频的回看方法、装置和服务器
CN114339368A (zh) * 2021-11-24 2022-04-12 腾讯科技（深圳）有限公司 赛事直播的显示方法、装置、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1312650A (zh) * 2000-01-10 2001-09-12 Lg电子株式会社 使音频/视频信号与数据之间的视频索引同步的方法和系统
CN103051931A (zh) * 2011-10-11 2013-04-17 中兴通讯股份有限公司 回看节目录制、播放方法、服务器、客户端及系统
KR20130073751A (ko) * 2011-12-23 2013-07-03 주식회사 케이티 인덱스파일을 이용한 복합 컨텐츠 생성 및 라이브채널 재편성방법을 수행하는 시스템 및 단말
CN104469433A (zh) * 2013-09-13 2015-03-25 深圳市腾讯计算机系统有限公司 一种视频直播回看方法及装置
US20160227258A1 (en) * 2013-09-13 2016-08-04 Tencent Technology (Shenzhen) Company Limited Method for playing back live video and device
CN107864406A (zh) * 2017-10-24 2018-03-30 广东省南方数字电视无线传播有限公司 时移视频播放方法、装置和系统
CN108391176A (zh) * 2018-04-09 2018-08-10 四川百视通科技有限公司 一种rtmp协议到hls协议的实时转换系统及其工作方法
CN111182366A (zh) * 2018-11-12 2020-05-19 玲珑视界科技（北京）有限公司 一种支持多屏时移和回看融合生产的系统及方法
CN109729371A (zh) * 2018-12-21 2019-05-07 中电福富信息科技有限公司 一种基于hls协议多级管理的直播时移系统及方法
CN109862387A (zh) * 2019-03-28 2019-06-07 北京达佳互联信息技术有限公司 直播的回看视频生成方法、装置及设备
CN110971926A (zh) * 2019-12-02 2020-04-07 咪咕视讯科技有限公司 视频播放方法、视频处理方法、视频处理装置及存储介质
CN112929677A (zh) * 2019-12-06 2021-06-08 北京金山云网络技术有限公司 直播视频的回看方法、装置和服务器
CN114339368A (zh) * 2021-11-24 2022-04-12 腾讯科技（深圳）有限公司 赛事直播的显示方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396713A (zh) * 2022-08-08 2022-11-25 北京达佳互联信息技术有限公司 页面展示方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107801096B (zh) 视频播放的控制方法、装置、终端设备及存储介质
US10165317B2 (en) System and method for surveying broadcasting ratings
US8898714B2 (en) Methods for identifying video segments and displaying contextually targeted content on a connected television
CN110121098B (zh) 视频播放方法、装置、存储介质和电子装置
CN111601115B (zh) 一种视频检测的方法、相关装置、设备及存储介质
WO2011090540A2 (en) Method for identifying video segments and displaying contextually targeted content on a connected television
CN103430563A (zh) 信号驱动的交互式电视
CN109299326B (zh) 视频推荐方法及装置、系统、电子设备以及存储介质
US9307270B2 (en) System and method for providing image-based video service
CN111182335B (zh) 一种流媒体处理方法、装置、设备及计算机可读存储介质
CN108293140A (zh) 公共媒体段的检测
CN111444415A (zh) 弹幕处理方法、服务器、客户端、电子设备及存储介质
CN112492347A (zh) 处理信息流、显示弹幕信息的方法及信息流处理系统
CN112464031A (zh) 交互方法、装置、电子设备以及存储介质
CN114827735A (zh) 视频回看方法、装置、设备及存储介质
US9538209B1 (en) Identifying items in a content stream
CN111526380B (zh) 视频处理方法、装置、服务器、电子设备及存储介质
CN108024148B (zh) 基于行为特征的多媒体文件识别方法、处理方法及装置
CN112328895A (zh) 用户画像生成方法、装置、服务器及存储介质
US9807453B2 (en) Mobile search-ready smart display technology utilizing optimized content fingerprint coding and delivery
CN110475121B (zh) 一种视频数据处理方法、装置以及相关设备
CN108491067B (zh) 智能扇子控制方法、智能扇子及计算机可读存储介质
CN112235592B (zh) 直播方法、直播处理方法、装置、计算机设备
CN112437332B (zh) 一种目标多媒体信息的播放方法和装置
CN114969493A (zh) 一种内容推荐方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination