CN110971926A - 视频播放方法、视频处理方法、视频处理装置及存储介质 - Google Patents

视频播放方法、视频处理方法、视频处理装置及存储介质 Download PDF

Info

Publication number
CN110971926A
CN110971926A CN201911213359.6A CN201911213359A CN110971926A CN 110971926 A CN110971926 A CN 110971926A CN 201911213359 A CN201911213359 A CN 201911213359A CN 110971926 A CN110971926 A CN 110971926A
Authority
CN
China
Prior art keywords
time point
live
video
client
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911213359.6A
Other languages
English (en)
Other versions
CN110971926B (zh
Inventor
蒋伟
王�琦
李立峰
王斌
杜欧杰
王科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911213359.6A priority Critical patent/CN110971926B/zh
Publication of CN110971926A publication Critical patent/CN110971926A/zh
Application granted granted Critical
Publication of CN110971926B publication Critical patent/CN110971926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例涉及流媒体技术领域，公开了一种视频播放方法、视频处理方法、视频处理装置及存储介质，包括：获取直播视频的当前播放画面；确定当前播放画面的当前播放时间点及服务器端原直播视频流的实际直播时间点；获取自当前播放时间点到实际直播时间点这一时间段内的图像帧；将图像帧展示在显示界面。使得用户能够提前预览客户端当前直播画面与服务器端的实际直播画面之间的延迟时间内的直播内容，避免时间延迟影响到用户的观看体验。

Description

视频播放方法、视频处理方法、视频处理装置及存储介质
技术领域
本发明实施例涉及流媒体技术领域，特别涉及一种视频播放方法、视频处理方法、视频处理装置及存储介质。
背景技术
HLS(HTTP Live Streaming，超文本直播流)协议是基于HTTP(HyperTextTransfer Protocol，超文本传输协议)的流媒体传输协议，近年来，HLS协议在流媒体领域得到了广泛应用，例如在直播领域中。利用HLS协议直播时的客户端获取到的，并不是一个完整的数据流。HLS协议在服务器端将直播数据流存储为连续的视频切片，客户端需要不断的下载并播放这些小文件，因为服务器端总是会将最新的直播数据生成新的小文件，这样客户端只要不停的按顺序播放从服务器获取到的文件，就实现了直播。
然而，发明人发现现有技术中利用HLS协议播放直播视频时，用户在客户端观看到的当前直播画面与服务器端的实际直播画面之间存在时间延迟，影响用户观看直播的体验。
发明内容
本发明实施方式的目的在于提供一种视频播放方法、视频处理方法、视频处理装置及存储介质，使得用户能够提前预览客户端当前直播画面与服务器端的实际直播画面之间的延迟时间内的直播内容，避免时间延迟影响到用户的观看体验。
为解决上述技术问题，本发明的实施方式提供了一种视频播放方法，包括：获取直播视频的当前播放画面；确定当前播放画面的当前播放时间点及服务器端原直播视频流的实际直播时间点；获取自当前播放时间点到实际直播时间点这一时间段内的图像帧；将图像帧展示在显示界面。
本发明的实施方式还提供了一种视频处理方法，其特征在于，包括：实时获取原直播视频流并转换为直播视频；在接收到来自客户端的直播请求时，将直播视频发送至客户端；对实际直播时间点之前的原直播视频流抽取图像帧，并标记图像帧的时间点；在接收到预览请求时，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端，其中，预览请求包括：客户端的当前播放时间点。
本发明的实施方式还提供了一种视频处理装置，其特征在于，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的视频播放方法，或者，视频处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述视频播放方法或视频处理方法。
本发明实施方式相对于现有技术而言提供了一种视频播放方法，在利用HLS协议播放直播视频时，由于需要先将直播视频分割存储为一个个连续的视频切片，之后将视频切片传输至客户端进行播放，但视频切片存在一定的时长，且在传输视频切片的过程中也存在一定的时长，因此，用户在客户端观看到的直播画面与服务器端的实际直播画面之间存在时间延迟，本方案中通过确定客户端直播视频的当前播放画面的的当前播放时间点、及服务器端原直播视频流的实际直播时间点，从而获取自当前播放时间点到实际直播时间点这一时间段内的图像帧，将图像帧展示在播放直播视频的显示界面上，使得用户在客户端观看直播视频时，能够通过延迟时间内的图像帧观看到延迟时间内的直播内容，尤其对于体育赛事等对于直播实时性要求较高的场景来说，能够大大提高用户的观看体验。
另外，获取自当前播放时间点到实际直播时间点这一时间段内的图像帧，具体包括：获取图像存储地址，图像存储地址存储有服务器端从实际直播时间点之前的原直播视频流中抽取的图像帧；从图像存储地址下载自当前播放时间点到实际直播时间点这一时间段内的图像帧。
另外，图像帧为压缩图像帧；将图像帧展示在显示界面，具体包括：将压缩图像帧解压缩得到解压缩后的图像帧；将解压缩后的图像帧展示在显示界面。
另外，每个图像帧标记有时间点；将图像帧展示在显示界面，具体为：根据图像帧的时间点将图像帧按照时间顺序排列展示在显示界面。
另外，在对实际直播时间点之前的原直播视频流抽取图像帧之后，还包括：将抽取的图像帧存储于图像存储地址；在接收到预览请求时，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端，具体为：在接收到预览请求时，将图像存储地址发送至客户端；响应于客户端的预览请求，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端。
另外，响应于客户端的预览请求，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端，具体包括：响应于客户端的预览请求确定自当前播放时间点到实际直播时间点这一时间段内的图像帧；将图像帧进行压缩，得到压缩图像帧；将压缩图像帧发送至客户端。
另外，对实际直播时间点之前的原直播视频流抽取图像帧，具体为：间隔预设时长对实际直播时间点之前的原直播视频流抽取图像帧。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式的视频播放方法的流程示意图；
图2是根据本发明第一实施方式的显示界面的示意图；
图3是根据本发明第二实施方式的视频处理方法的流程示意图；
图4是根据本发明第三实施方式的视频处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种视频播放方法，本实施方式的核心在于包括：获取直播视频的当前播放画面；确定当前播放画面的当前播放时间点及服务器端原直播视频流的实际直播时间点；获取自当前播放时间点到实际直播时间点这一时间段内的图像帧；将图像帧展示在显示界面。在利用HLS协议播放直播视频时，由于需要先将直播视频分割存储为一个个连续的视频切片，之后将视频切片传输至客户端进行播放，但视频切片存在一定的时长，且在传输视频切片的过程中也存在一定的时长，因此，用户在客户端观看到的直播画面与服务器端的实际直播画面之间存在时间延迟，本方案中通过确定直播视频的当前播放画面的当前播放时间点、及服务器端原直播视频流的实际直播时间点，从而获取自当前播放时间点到实际直播时间点这一时间段内的图像帧，将图像帧展示在播放直播视频的显示界面上，使得用户在客户端观看直播视频时，能够通过延迟时间内的图像帧观看到延迟时间内的直播内容，尤其对于体育赛事等对于直播实时性要求较高的场景来说，能够大大提高用户的观看体验。
下面对本实施方式的视频播放方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的视频播放方法的流程示意图如图1所示：
步骤101：获取直播视频的当前播放画面。
具体地说，在利用hls协议进行直播时，客户端一般先向服务器端发送直播请求，服务器端在接收到直播请求时，将该直播视频的索引表发送至客户端，索引表中至少包含该直播视频的视频切片的序列号、以及与序列号对应的存储地址，客户端在接收到该索引表后，则可依据该索引表的序列号从对应的存储地址来下载视频切片，在获取到视频切片后，在客户端的显示界面播放视频切片，便可在客户端观看到直播视频，通过截取当前播放的直播视频的当前播放画面，便可根据当前播放画面的时间点确定出直播视频在客户端的当前播放时间点。
步骤102：确定当前播放画面的当前播放时间点及服务器端原直播视频流的实际直播时间点。
具体地说，依据客户端的当前视频切片的播放时间确定直播视频在客户端播放的当前播放时间点，并从服务器端获取直播视频在服务器端原直播视频流的实际直播时间点。由于在利用HLS协议播放直播视频时，需要先将直播视频分割存储为一个个连续的视频切片，之后将视频切片传输至客户端进行播放，但视频切片存在一定的时长(例如：很多视频切片的时长为10秒)，且在传输视频切片的过程中也存在一定的耗时，因此，客户端播放的当前播放时间点与服务器端原直播视频流的实际直播时间点并不相同，存在延迟时间。而由于这个延迟时间的存在，对于体育赛事等对于直播实时性要求较高的场景，很可能服务器端的实际直播画面中已经结束一场比赛进入中场休息，而客户端看到的画面是比赛的一方刚进球，这时如果客户端用户发送弹幕信息与在体育赛事现场的观众进行交流时，则会发生信息不同步的问题，从而影响到客户端用户的直播体验。
步骤103：获取自当前播放时间点到实际直播时间点这一时间段内的图像帧。
本实施方式中国获取自当前播放时间点到实际直播时间点这一时间段内的图像帧，具体包括：获取图像存储地址，图像存储地址存储有服务器端从实际直播时间点之前的原直播视频流中抽取的图像帧；从图像存储地址下载自当前播放时间点到实际直播时间点这一时间段内的图像帧。
具体地说，服务器端将从实际直播时间点之前的原直播视频流中抽取的图像帧存储于图像存储地址中，并在索引表中记录该图像存储地址，并将索引表同步至客户端。客户端获取索引表中的图像存储地址，并依据图像存储地址下载图像帧，使得客户端能够获取到自当前播放时间点到实际直播时间点这一时间段内的图像帧。
步骤104：将图像帧展示在显示界面。
具体地说，为弥补由于客户端播放的当前播放时间点与服务器端原直播视频流的实际直播时间点存在延迟时间，而带来的信息不同步等问题。将获取到的自当前播放时间点到实际直播时间点这一时间段内的图像帧展示在播放直播视频的显示界面上，使得用户在客户端观看直播视频时，能够通过延迟时间内的图像帧观看到延迟时间内的直播内容，尤其对于体育赛事等对于直播实时性要求较高的场景来说，用户通过预览延迟时间内的图像帧能够大大提高观看体验。
本实施方式中图像帧为压缩图像帧；将图像帧展示在显示界面，具体包括：将压缩图像帧解压缩得到解压缩后的图像帧；将解压缩后的图像帧展示在显示界面。
具体地说，客户端获取到的图像帧可为压缩图像帧，如此，客户端在下载图像帧时不会占用客户端过多的网络宽带，降低了对直播视频的下载与播放的影响。客户端在下载到压缩图像帧后，可将压缩图像帧进行解压缩得到解压缩后的图像帧，以在播放直播视频的显示界面展示解压缩后的图像帧，使得用户预览到的图像帧较为清晰，提升用户的预览体验。可以理解的是，为降低客户端的工作负荷，也可直接在客户端的显示界面展示压缩图像帧。
每个图像帧标记有时间点；将图像帧展示在显示界面，具体为：根据图像帧的时间点将图像帧按照时间顺序排列展示在显示界面。
具体地说，客户端获取的每个图像帧均标记有时间点，图像帧在显示界面的展示方式为：显示界面上部分用于播放视频切片，下部分用于展示自当前播放时间点到实际直播时间点这一时间段内的图像帧，随着直播视频的视频切片的播放，显示界面下部分的图像帧不断更新，用最新的实际直播时间点对应的图像帧来替换时间点最早的视频切片。如图2所示，假设当前播放时间点到实际直播时间点的时间延迟为30秒，则显示界面上部分展示的为ts(n-3)即第n-3个视频切片，显示界面下部分从左到右展示的为Pic(npt)为当前播放时间点对应的图像帧、Pic(npt-1)为当前播放时间点下一时刻对应的图像帧、Pic(npt-n)为当前播放时间点下一时刻对应的图像帧、Pic(npt-28)为当前播放时间点28秒后对应的图像帧、Pic(npt-29)为当前播放时间点28秒后对应的图像帧。随着直播视频的播放，Pic图像帧从左到右一张张更新，更新可采用滚动或淡入淡出等多种形式进行更新。
图像帧在显示界面更新的代码如下：
Figure BDA0002298777150000061
与现有技术相比，本发明实施方式提供了一种视频播放方法，在利用HLS协议播放直播视频时，由于需要先将直播视频分割存储为一个个连续的视频切片，之后将视频切片传输至客户端进行播放，但视频切片存在一定的时长，且在传输视频切片的过程中也存在一定的时长，因此，用户在客户端观看到的直播画面与服务器端的实际直播画面之间存在时间延迟，本方案中通过确定当前播放画面的当前播放时间点及服务器端原直播视频流的实际直播时间点，从而获取自当前播放时间点到实际直播时间点这一时间段内的图像帧，将图像帧展示在播放直播视频的显示界面上，使得用户在客户端观看直播视频时，能够通过延迟时间内的图像帧观看到延迟时间内的直播内容，尤其对于体育赛事等对于直播实时性要求较高的场景来说，能够大大提高用户的观看体验。
本发明的第二实施方式涉及一种视频处理方法。本实施方式中的视频处理方法的流程示意图如图3所示，具体包括：
步骤201：实时获取原直播视频流并转换为直播视频。
步骤202：在接收到来自客户端的直播请求时，将直播视频发送至客户端；
针对上述步骤201至步骤202具体的说，直播信号接入服务器端后，服务器端实时获取原直播视频流，并将原直播视频流按照标准hls协议进行录制，将原直播视频流分割为多个连续的视频切片，并依据生成的视频切片生成索引表，索引表中至少包含该视频切片的序号和存储地址。服务器端在接收到来自客户端的直播请求时，将索引表发送至客户端，以供客户端在接收到索引表后便可依据索引表中的序列号及存储地址从服务器端下载直播视频的视频切片。
步骤203：对实际直播时间点之前的原直播视频流抽取图像帧，并标记图像帧的时间点。
本实施方式中在对实际直播时间点之前的原直播视频流抽取图像帧之后，还包括：将抽取的图像帧存储于图像存储地址；在接收到预览请求时，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端，具体为：在接收到预览请求时，将图像存储地址发送至客户端；响应于客户端的预览请求，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端。
具体的说，在实时获取直播视频的过程中，服务器端抽取原直播视频流的图像帧并标记图像帧的时间点，具体的间隔预设时长对实际直播时间点之前的原直播视频流抽取图像帧，该预设时长小于一个视频切片的切片时长，从而保证在分割视频切片的过程中，能够预先获取到该视频切片的图像帧信息。值得说明的是，可依据视频切片的时长来合理地确定抽取图像帧的间隔时长，优选地，可将间隔时长设置为1秒，既不会使得图像帧过多，又不至于使客户端用户错过直播内容的。值得说明的是，在抽取直播视频的图像帧并标记图像帧的时间点后，需将图像帧存储于图像存储地址，并将图像存储地址更新于索引表中，从而在接收到客户端的预览请求时，将图像存储地址发送至客户端，服务器端响应于客户端的预览请求，根据图像帧的时间点将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端。
单独“对索引列表.xml”进行后台更新同步的代码如下：
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-DEFINE:索引关系＝http://索引关系表.xml
#EXT-X-INF:10.000,
000n.ts
......
000m.ts
#ENDLIST
步骤204：在接收到预览请求时，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端。
具体地说，用户的客户端设置有预览选项，当用户开启该预览选项时，即向客户端发出了预览请求，此时客户端会将带有图像帧的下载地址的索引表同步至客户端，方便客户端依据该地址进行下载。其中，预览请求包括：客户端的当前播放时间点，则响应于客户端的预览请求，客户端的预览请求将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端，以供客户端进行展示。若用户在发出预览请求时并未开始观看直播视频，则预览请求中的客户端的当前播放时间点为00:00。
另外，响应于客户端的预览请求，将自当前播放时间点到当前直播时间点这一时间段内的图像帧发送至客户端，具体包括：响应于客户端的预览请求确定自当前播放时间点到实际直播时间点这一时间段内的图像帧；将图像帧进行压缩，得到压缩图像帧；将压缩图像帧发送至客户端。
具体地说，为节省网络消耗，本实施方式中在接收到客户端的预览请求时，服务器端响应于客户端的预览请求确定自当前播放时间点到实际直播时间点这一时间段内的图像帧，将图像帧进行压缩得到压缩图像帧后，再将压缩图像帧发送至客户端，如此，客户端在下载图像帧时不会占用客户端过多的网络宽带，降低了对直播视频的下载与播放的影响。值得说明的是，服务器端在将图像帧进行存储时，可预先进行压缩后进行存储，不仅可以降低对服务器端资源空间的占用，而且客户端在下载图像帧时不会占用客户端过多的网络宽带。
与现有技术相比，本发明实施方式中提供的视频处理方法，能够响应于客户端的预览请求，客户端的预览请求将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至客户端，以供客户端进行展示，使得用户在客户端观看直播视频时，能够通过延迟时间内的图像帧观看到延迟时间内的直播内容，尤其对于体育赛事等对于直播实时性要求较高的场景来说，能够大大提高用户的观看体验。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种客户端，如图4所示，包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器401能够执行第一实施方式中的视频播放方法，或者，第二实施方式中视频处理方法。
其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。
处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时、外围接口、电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述第一实施方式的视频播放方法或者第二实施方式的视频处理方法。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种视频播放方法，其特征在于，包括：
获取直播视频的当前播放画面；
确定所述当前播放画面的当前播放时间点及服务器端原直播视频流的实际直播时间点；
获取自所述当前播放时间点到所述实际直播时间点这一时间段内的图像帧；
将所述图像帧展示在显示界面。
2.根据权利要求1所述的视频播放方法，其特征在于，所述获取自所述当前播放时间点到所述实际直播时间点这一时间段内的图像帧，具体包括：
获取图像存储地址，所述图像存储地址存储有服务器端从所述实际直播时间点之前的原直播视频流中抽取的图像帧；
从所述图像存储地址下载自所述当前播放时间点到所述实际直播时间点这一时间段内的图像帧。
3.根据权利要求1所述的视频播放方法，其特征在于，所述图像帧为压缩图像帧；所述将所述图像帧展示在显示界面，具体包括：
将所述压缩图像帧解压缩得到解压缩后的图像帧；
将所述解压缩后的图像帧展示在所述显示界面。
4.根据权利要求1所述的视频播放方法，其特征在于，每个所述图像帧标记有时间点；所述将所述图像帧展示在显示界面，具体为：
根据所述图像帧的时间点将所述图像帧按照时间顺序排列展示在所述显示界面。
5.一种视频处理方法，其特征在于，包括：
实时获取原直播视频流并转换为直播视频；
在接收到来自客户端的直播请求时，将所述直播视频发送至所述客户端；
对实际直播时间点之前的所述原直播视频流抽取图像帧，并标记所述图像帧的时间点；
在接收到预览请求时，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至所述客户端，其中，所述预览请求包括：所述客户端的当前播放时间点。
6.根据权利要求5所述的视频处理方法，其特征在于，在所述对所述实际直播时间点之前的所述原直播视频流抽取图像帧之后，还包括：
将抽取的所述图像帧存储于图像存储地址；
所述在接收到预览请求时，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至所述客户端，具体为：
在接收到所述预览请求时，将所述图像存储地址发送至所述客户端；
响应于所述客户端的预览请求，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至所述客户端。
7.根据权利要求6所述的视频处理方法，其特征在于，所述响应于所述客户端的预览请求，将自当前播放时间点到实际直播时间点这一时间段内的图像帧发送至所述客户端，具体包括：
响应于所述客户端的预览请求确定自当前播放时间点到实际直播时间点这一时间段内的图像帧；
将所述图像帧进行压缩，得到压缩图像帧；
将所述压缩图像帧发送至所述客户端。
8.根据权利要求5所述的视频处理方法，其特征在于，所述对实际直播时间点之前的所述原直播视频流抽取图像帧，具体为：
间隔预设时长对实际直播时间点之前的所述原直播视频流抽取图像帧。
9.一种视频处理装置，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一所述的视频播放方法，或者，如权利要求5至8中任一所述的视频处理方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的视频播放方法，或者，如权利要求5至8中任一所述的视频处理方法。
CN201911213359.6A 2019-12-02 2019-12-02 视频播放方法、视频处理方法、视频处理装置及存储介质 Active CN110971926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911213359.6A CN110971926B (zh) 2019-12-02 2019-12-02 视频播放方法、视频处理方法、视频处理装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911213359.6A CN110971926B (zh) 2019-12-02 2019-12-02 视频播放方法、视频处理方法、视频处理装置及存储介质

Publications (2)

Publication Number Publication Date
CN110971926A true CN110971926A (zh) 2020-04-07
CN110971926B CN110971926B (zh) 2022-01-25

Family

ID=70032586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911213359.6A Active CN110971926B (zh) 2019-12-02 2019-12-02 视频播放方法、视频处理方法、视频处理装置及存储介质

Country Status (1)

Country Link
CN (1) CN110971926B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839235A (zh) * 2020-12-30 2021-05-25 北京达佳互联信息技术有限公司 显示方法、评论发送方法、视频帧推送方法及相关设备
CN114071226A (zh) * 2022-01-14 2022-02-18 飞狐信息技术（天津）有限公司 视频预览图的生成方法及装置、存储介质及电子设备
CN114827735A (zh) * 2022-04-21 2022-07-29 咪咕文化科技有限公司 视频回看方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060581A1 (en) * 2008-05-02 2010-03-11 Moore John S System and Method for Updating Live Weather Presentations
CN103458282A (zh) * 2012-06-05 2013-12-18 腾讯科技（深圳）有限公司 视频直播方法及直播装置
US20140098214A1 (en) * 2012-10-09 2014-04-10 Leica Microsystems Cms Gmbh Method for defining a laser microdissection region, and associated laser microdissection system
US20150026740A1 (en) * 2010-01-21 2015-01-22 Comcast Cable Communications, Llc Controlling networked media capture device
US20150026751A1 (en) * 2013-07-18 2015-01-22 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
CN104918124A (zh) * 2015-05-11 2015-09-16 腾讯科技（北京）有限公司 直播互动系统、信息发送方法、信息接收方法及装置
CN106385590A (zh) * 2016-09-12 2017-02-08 广州华多网络科技有限公司 视频推送远程控制方法及装置
CN106598253A (zh) * 2016-12-23 2017-04-26 北京搜狐新媒体信息技术有限公司 一种数据预测方法及装置
CN108337528A (zh) * 2018-01-17 2018-07-27 浙江大华技术股份有限公司 一种预览视频的方法及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060581A1 (en) * 2008-05-02 2010-03-11 Moore John S System and Method for Updating Live Weather Presentations
US20150026740A1 (en) * 2010-01-21 2015-01-22 Comcast Cable Communications, Llc Controlling networked media capture device
CN103458282A (zh) * 2012-06-05 2013-12-18 腾讯科技（深圳）有限公司 视频直播方法及直播装置
US20140098214A1 (en) * 2012-10-09 2014-04-10 Leica Microsystems Cms Gmbh Method for defining a laser microdissection region, and associated laser microdissection system
US20150026751A1 (en) * 2013-07-18 2015-01-22 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
CN104918124A (zh) * 2015-05-11 2015-09-16 腾讯科技（北京）有限公司 直播互动系统、信息发送方法、信息接收方法及装置
CN106385590A (zh) * 2016-09-12 2017-02-08 广州华多网络科技有限公司 视频推送远程控制方法及装置
CN106598253A (zh) * 2016-12-23 2017-04-26 北京搜狐新媒体信息技术有限公司 一种数据预测方法及装置
CN108337528A (zh) * 2018-01-17 2018-07-27 浙江大华技术股份有限公司 一种预览视频的方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839235A (zh) * 2020-12-30 2021-05-25 北京达佳互联信息技术有限公司 显示方法、评论发送方法、视频帧推送方法及相关设备
CN114071226A (zh) * 2022-01-14 2022-02-18 飞狐信息技术（天津）有限公司 视频预览图的生成方法及装置、存储介质及电子设备
CN114827735A (zh) * 2022-04-21 2022-07-29 咪咕文化科技有限公司 视频回看方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110971926B (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
CN110971926B (zh) 视频播放方法、视频处理方法、视频处理装置及存储介质
EP3120569B1 (en) Manifest re-assembler for a streaming video channel
CA2806284C (en) Transmission apparatus, transmission method, reception apparatus, reception method, program, and broadcasting system
CN112188225B (zh) 用于直播回放的弹幕下发方法和直播视频弹幕回放方法
EP3334175A1 (en) Streaming media and caption instant synchronization displaying and matching processing method, device and system
EP2733935A1 (en) Generation device, distribution server, generation method, playback device, playback method, playback system, generation program, playback program, recording medium and data structure
US11025982B2 (en) System and method for synchronizing content and data for customized display
EP3086561A1 (en) Information pushing method, device, and system
US10701461B2 (en) Video Processing Method, Terminal and Server
KR20150014722A (ko) 스크린 샷을 제공하는 장치 및 시스템, 그리고 방법
CN111447455A (zh) 直播视频流回放处理方法、装置及计算设备
CN111147955A (zh) 视频播放方法、服务器和计算机可读存储介质
US20130110980A1 (en) System and method for predicitive trick play using adaptive video streaming
CN107690093B (zh) 一种视频播放方法及装置
CN106209824A (zh) 数据的云编辑方法、系统以及云编辑的客户端
CN111510790B (zh) 视频请求方法、系统、计算机设备及计算机可读存储介质
US11936547B2 (en) Systems and methods for monitoring the display of electronic content on client devices
KR101214167B1 (ko) Ｖｏｄ 서비스 방법, ｖｏｄ 수신기 및 ｖｏｄ 서버
CN104902338A (zh) 一种电视频道预览方法和装置
CN109756727B (zh) 信息显示方法及相关设备
CN109218772A (zh) 智能电视信息推送方法及装置
CN114760485B (zh) 视频轮播方法、系统及相关设备
CN114244843A (zh) 流媒体下载方法、电子设备及存储介质
CN113965797A (zh) 直播间切换方法和系统
EP3142376A1 (en) Information device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant