CN108632676B - 图像的显示方法、装置、存储介质及电子装置 - Google Patents
图像的显示方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN108632676B CN108632676B CN201810449296.3A CN201810449296A CN108632676B CN 108632676 B CN108632676 B CN 108632676B CN 201810449296 A CN201810449296 A CN 201810449296A CN 108632676 B CN108632676 B CN 108632676B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- playing
- time
- playing time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种图像的显示方法、装置、存储介质及电子装置。其中,该方法包括:在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间;确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间;显示目标区域上的图像。本发明解决了相关技术中图像的显示效率较低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种图像的显示方法、装置、存储介质及电子装置。
背景技术
随着网络环境的不断提升,互联网已经深入到人们生活的方方面面。多媒体类产品由于有更好的视听体验,受到大众的喜爱。当用户播放多媒体资源时,可以通过将鼠标悬停在播放进度条上来查看某时刻上多媒体资源的截图,来了解多媒体资源的内容。观看多媒体资源的客户端需要对截图进行显示。目前相关的显示方式有两种,一种是人工编辑图片,人工打点显示,另一种是自动截图并显示每一张图片。
但是,相关的两种图像的显示方式均存在缺陷,例如,第一种方式需要人工介入,存在严重的延迟情况,且效率低下。第二种方式缩略图每次都需要临时获取一张图片地址并临时下载该图片,下载期间显示不了,图片显示会有延迟。如果鼠标移动频繁就会短时间内多次下载图片,网络输入输出(IO)会更多,严重影响图像的显示效率。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的显示方法、装置、存储介质及电子装置,以至少解决相关技术中图像的显示效率较低的技术问题。
根据本发明实施例的一个方面,提供了一种图像的显示方法,包括:在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间;确定所述目标播放时间在目标图像中所对应的目标区域,其中,所述目标图像包括多个区域,所述多个区域与所述多媒体资源的多个播放时间具有对应关系,所述多个区域包括所述目标区域,所述多个播放时间包括所述目标播放时间;显示所述目标区域上的图像。
根据本发明实施例的另一方面,还提供了一种图像的显示方法,包括:获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,所述多媒体资源上的播放时间包括多个播放时间,所述待显示的图像包括多个图像;将所述多个图像拼接为目标图像,其中,所述多个图像中每个图像在所述目标图像上所在的区域为所述目标图像包括的多个区域中的一个区域;将所述目标图像以及具有对应关系的所述多个播放时间和所述多个区域发送至播放所述多媒体资源的客户端,其中,所述目标图像用于指示所述客户端在检测到对所述多媒体资源的播放进度条执行目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间,确定所述目标播放时间在所述目标图像中所对应的目标区域,并显示所述目标区域上的图像。
根据本发明实施例的另一方面,还提供了一种图像的显示装置,包括:第一获取模块,用于在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间;确定模块,用于确定所述目标播放时间在目标图像中所对应的目标区域,其中,所述目标图像包括多个区域,所述多个区域与所述多媒体资源的多个播放时间具有对应关系,所述多个区域包括所述目标区域,所述多个播放时间包括所述目标播放时间;显示模块,用于显示所述目标区域上的图像。
根据本发明实施例的另一方面,还提供了一种图像的显示装置,包括:第二获取模块,用于获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,所述多媒体资源上的播放时间包括多个播放时间,所述待显示的图像包括多个图像;第二拼接模块,用于将所述多个图像拼接为目标图像,其中,所述多个图像中每个图像在所述目标图像上所在的区域为所述目标图像包括的多个区域中的一个区域;发送模块,用于将所述目标图像以及具有对应关系的所述多个播放时间和所述多个区域发送至播放所述多媒体资源的客户端,其中,所述目标图像用于指示所述客户端在检测到对所述多媒体资源的播放进度条执行目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间,确定所述目标播放时间在所述目标图像中所对应的目标区域,并显示所述目标区域上的图像。
根据本发明实施例的另一方面,还提供了一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项中所述的方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行上述任一项中所述的方法。
在本发明实施例中,采用在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间;确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间;显示目标区域上的图像的方式,当检测到对多媒体资源的播放进度条执行目标操作时,根据目标操作位置对应的目标播放时间确定目标图像中与该目标播放时间对应的目标区域,并将目标区域中的图像进行显示,使得一张目标图像能够对应多媒体资源中多个播放时间上图像的显示,从而避免每个播放时间均需要获取图像的情况发生,减少了客户端与服务器之间的IO次数,从而实现了提高图像的显示效率的技术效果,进而解决了相关技术中图像的显示效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的图像的显示方法的应用环境示意图一;
图2是根据本发明实施例的一种可选的图像的显示方法的示意图;
图3是根据本发明实施例的一种可选的图像的显示方法的应用环境示意图二;
图4是根据本发明可选的实施方式的一种可选的图像的显示方法的示意图一;
图5是根据本发明可选的实施方式的一种可选的图像的显示方法的示意图二;
图6是根据本发明可选的实施方式的一种可选的图像的显示方法的示意图三;
图7是根据本发明可选的实施方式的一种可选的图像的显示方法的示意图四;
图8是根据本发明可选的实施方式的一种可选的图像的显示方法的示意图五;
图9是根据本发明实施例的另一种可选的图像的显示方法的示意图;
图10是根据本发明实施例的一种可选的图像的显示方法的应用环境示意图三;
图11是根据本发明可选的实施方式的另一种可选的图像的显示方法的示意图一;
图12是根据本发明可选的实施方式的另一种可选的图像的显示方法的示意图二;
图13是根据本发明可选的实施方式的另一种可选的图像的显示方法的示意图三;
图14是根据本发明实施例的一种可选的图像的显示装置的示意图;
图15是根据本发明实施例的另一种可选的图像的显示装置的示意图;
图16是根据本发明实施例的一种可选的图像的显示方法的应用场景示意图一;
图17是根据本发明实施例的一种可选的图像的显示方法的应用场景示意图二;以及
图18是根据本发明实施例的一种可选的电子装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,本发明实施例中提供的图像的显示方法可以但不限于应用于如图1所示的客户端102和服务器104所构成的硬件环境中。如图1所示,服务器104获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,多媒体资源上的播放时间包括多个播放时间,待显示的图像包括多个图像;将多个图像拼接为目标图像,其中,多个图像中每个图像在目标图像上所在的区域为目标图像包括的多个区域中的一个区域;将目标图像以及具有对应关系的多个播放时间和多个区域发送至播放多媒体资源的客户端102。客户端102在检测到对多媒体资源的播放进度条执行的目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,并显示目标区域上的图像。
可选地,在本实施例中,上述客户端102可以但不限于安装于终端设备上,上述终端设备可以但不限于包括:手机、平板电脑、PC计算机、智能穿戴设备、智能家电、智能家居设备等等。
根据本发明实施例的一个方面,提供了一种图像的显示方法,如图2所示,该方法可以由图1中所示的客户端102来执行,该方法包括:
S202,在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间;
S204,确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间;
S206,显示目标区域上的图像。
可选地,在本实施例中,上述图像的显示方法可以应用于如图3所示的客户端302所构成的硬件环境中。如图3所示,客户端302在检测到对多媒体资源的播放进度条执行的目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间,显示目标区域上的图像。
可选地,在本实施例中,上述客户端302可以但不限于包括图1中所示的客户端102。
可选地,在本实施例中,上述图像的显示方法可以但不限于应用于在客户端上显示图像的场景中。其中,上述客户端可以但不限于为各种类型的应用,例如,在线教育应用、即时通讯应用、社区空间应用、游戏应用、购物应用、浏览器应用、金融应用、多媒体应用、直播应用等。具体的,可以但不限于应用于在上述多媒体应用的客户端上显示图像的场景中,或还可以但不限于应用于在上述直播应用的客户端上显示图像的场景中,以提高图像的显示效率。上述仅是一种示例,本实施例中对此不做任何限定。
可选地,在本实施例中,上述多媒体资源可以但不限于包括:视频资源(如:视频流、视频文件等)、音频资源(如音频流、音频文件等)、幻灯片文件、动态相册、动态图片等等。
可选地,在本实施例中,目标操作可以但不限于包括:点击、停留、移动、拖拽等等。例如:用户控制鼠标指针在播放进度条上的某位置上下移动,该移动操作可以被确定为上述目标操作,将移动过程中移动路径与播放进度条的交点确定为该目标操作的目标操作位置。或者,再例如:用户控制鼠标指针在播放进度条上的某位置停留,当检测到停留时间达到预定时间(例如:2秒)时确定检测到对多媒体资源的播放进度条执行的目标操作,并将鼠标指针停留的位置确定为目标操作的目标操作位置。
可选地,在本实施例中,目标图像被划分为多个区域,每个区域对应一个或者多个多媒体资源的播放时间,每个区域上的图像是其对应的播放时间上检测到目标操作时需要显示的图像。
可选地,在本实施例中,该需要显示的图像可以但不限于是预先为播放时间设定的,也可以是对多媒体资源进行截图得到的。
可选地,在本实施例中,目标区域上的图像的显示方式可以是在多媒体资源的显示界面上将显示画面切换到该目标区域上的图像,或者,也可以是在显示界面的指定区域显示。
在一个可选的实施方式中,如图4所示,客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为00:00:35,即第35秒,客户端确定该目标播放时间00:00:35在目标图像C上对应的目标区域为区域D,则将区域D上的图像显示在播放进度条的B点的上方。
可见,通过上述步骤,当检测到对多媒体资源的播放进度条执行的目标操作时,根据目标操作位置对应的目标播放时间确定目标图像中与该目标播放时间对应的目标区域,并将目标区域中的图像进行显示,使得一张目标图像能够对应多媒体资源中多个播放时间上图像的显示,从而避免每个播放时间均需要获取图像的情况发生,减少了客户端与服务器之间的IO次数,从而实现了提高图像的显示效率的技术效果,进而解决了相关技术中图像的显示效率较低的技术问题。
作为一种可选的方案,确定目标播放时间在目标图像中所对应的目标区域包括:
S1,获取目标图像以及目标图像对应的具有对应关系的播放时间与区域,其中,多个区域中每个区域上的图像为多媒体资源中在与每个区域对应的播放时间上的截图图像;
S2,从具有对应关系的播放时间与区域中获取目标播放时间对应的目标区域。
可选地,在本实施例中,多个区域中每个区域上的图像可以但不限于为多媒体资源中在与每个区域对应的播放时间上的截图图像,在截取图像的同时可以记录截取的图像的播放时间与截取的图像在目标图像中的区域之间的对应关系,获取目标图像并获取该对应关系,从而根据该对应关系确定目标播放时间对应的目标区域。
可选地,在本实施例中,具有对应关系的播放时间与区域可以但不限于以索引文件的形式进行存储。
作为一种可选的方案,获取目标图像以及目标图像对应的具有对应关系的播放时间与区域包括:
S1,确定目标播放时间在多个播放时间段中所落入的目标时间段,其中,多媒体资源的播放时间被划分为多个播放时间段,多个播放时间段与多个图像一一对应,多个图像包括目标图像;
S2,获取目标时间段在多个图像中对应的目标图像,以及目标图像对应的具有对应关系的播放时间与区域。
可选地,在本实施例中,多媒体资源的播放时间可以被划分为多个播放时间段,对于每个播放时间段对应一张图像,目标播放时间所落入的目标播放时间段对应的那张图像可以被确定为是目标图像,在获取目标图像时也可以同时获取目标图像对应的具有对应关系的播放时间和区域。
在一个可选的实施方式中,如图5所示,视频资源A的播放时间被划分为多个播放时间段,包括:时间段1、时间段2、时间段3和时间段4,其中,时间段1对应图像A,时间段2对应图像B,时间段3对应图像C,时间段4对应图像D。目标操作位置为播放进度条的B点,该点对应的目标播放时间为00:00:35,该目标播放时间落入了时间段1中,则获取时间段1对应的图像A作为目标图像,并获取图像A对应的存储有具有对应关系的播放时间和区域的索引文件M。
可选地,在本实施例中,具有对应关系的播放时间段和图像、具有对应关系的图像、播放时间和区域等信息均可以以索引文件的形式进行存储。
作为一种可选的方案,从具有对应关系的播放时间与区域中获取目标播放时间对应的目标区域包括:
S1,根据目标播放时间、目标图像的起始时间以及截图时间间隔确定目标位置,其中,起始时间为目标图像上的多个区域对应的播放时间中最早的时间,截图时间间隔为相邻的两个播放时间之间的间隔,目标位置用于指示目标播放时间在目标图像对应的多媒体资源的播放时间段中的位置;
S2,根据目标位置以及截图图像在目标图像中的排列规则确定目标区域在目标图像上的显示位置;
S3,将目标图像上位于显示位置上的目标尺寸的区域确定为目标区域,其中,目标图像为对目标尺寸的截图图像进行拼接得到的,截图图像在目标图像上按照排列规则排列。
可选地,在本实施例中,目标播放时间对应的目标区域可以但不限于是根据目标播放时间、目标图像的起始时间、截图时间间隔、截图图像在目标图像中的排列规则、目标区域的目标尺寸等信息确定的。
可选地,在本实施例中,截图图像在目标图像中的排列规则可以但不限于包括:按行排列、按列排列、按预定顺序排列等等。
作为一种可选的方案,根据目标播放时间、目标图像的起始时间以及截图时间间隔确定目标位置包括:
S1,确定目标播放时间与目标图像的起始时间的差值;
S2,将差值与截图时间间隔之间的比值确定为目标位置。
在一个可选的实施方式中,如图6所示,目标图像由多个区域组成,每个区域对应多媒体资源的一个播放时间,目标图像位于坐标系xOy中,可以但不限于根据以下方式获取目标播放时间对应的目标区域:
目标图像中有s个区域的图像,按照m行n列拼接成目标图像,拼接规则为按行排列,每个区域的图像宽w高h,计数从0开始。
目标区域的索引位置(即上述目标位置)i=(目标播放时间–目标图像第一个图片的时间)/截图时间间隔。
目标区域所在行数ai为i/n,目标区域所在列数aj为i%m–1,那么,目标区域所在目标图像中的坐标:x=aj*w,y=ai*h。目标区域的坐标(x,y)结合宽高(w,h)即可得到目标区域的区域范围,在客户端显示出来目标区域即可。
需要说明的是,目标图像中的多个区域的图像按列排列时目标区域的确定方式与此类似,在此不再赘述。
作为一种可选的方案,显示目标区域上的图像包括:
S1,将多媒体资源的播放界面切换到播放目标区域上的图像;或者,
S2,在多媒体资源的播放界面中的预定界面显示目标区域上的图像。
可选地,在本实施例中,目标区域上的图像的显示位置可以但不限于包括多媒体资源的播放界面,或者,多媒体资源的播放界面上的预定界面等等。
可选地,在本实施例中,多媒体资源的播放界面上的预定界面可以是位于目标操作位置的上方的位置、可以是位于播放界面的四周的某个位置,预定界面尺寸可以进行配置。
在一个可选的实施方式中,如图7所示,客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为00:00:35,即第35秒,客户端确定该目标播放时间00:00:35在目标图像C上对应的目标区域为区域D,则视频A的播放界面切换为图像A4。
在另一个可选的实施方式中,如图8所示,客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为00:00:35,即第35秒,客户端确定该目标播放时间00:00:35在目标图像C上对应的目标区域为区域D,则将区域D上的图像A4显示在播放进度条的B点的上方。
作为一种可选的方案,在确定目标播放时间在目标图像中所对应的目标区域之前,还包括:
S1,对多媒体资源在多个播放时间上的图像进行截图,得到与多个播放时间具有对应关系的多个截图图像;
S2,将多个截图图像拼接为目标图像,其中,多个截图图像中每个截图图像在目标图像上所在的区域为多个区域中的一个区域;
S3,存储目标图像并记录多个播放时间和多个区域之间的对应关系。
可选地,在本实施例中,上述过程可以但不限于在服务器侧进行,由服务器对多媒体资源进行截图,对截图图像进行拼接和存储。客户端通过与服务器的交互获取目标图像以及目标图像的信息。
根据本发明实施例的另一个方面,还提供了另一种图像的显示方法,如图9所示,该方法包括:
S902,获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,多媒体资源上的播放时间包括多个播放时间,待显示的图像包括多个图像;
S904,将多个图像拼接为目标图像,其中,多个图像中每个图像在目标图像上所在的区域为目标图像包括的多个区域中的一个区域;
S906,将目标图像以及具有对应关系的多个播放时间和多个区域发送至播放多媒体资源的客户端,其中,目标图像用于指示客户端在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,并显示目标区域上的图像。
可选地,在本实施例中,上述图像的显示方法可以但不限于应用于上述客户端对应的服务器。
可选地,在本实施例中,上述图像的显示方法可以应用于如图10所示的服务器1002所构成的硬件环境中。如图10所示,服务器1002获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,多媒体资源上的播放时间包括多个播放时间,待显示的图像包括多个图像;将多个图像拼接为目标图像,其中,多个图像中每个图像在目标图像上所在的区域为目标图像包括的多个区域中的一个区域;将目标图像以及具有对应关系的多个播放时间和多个区域发送至播放多媒体资源的客户端,其中,目标图像用于指示客户端在检测到对多媒体资源的播放进度条执行的目标操作的情况下,确定播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,并显示目标区域上的图像。
可选地,在本实施例中,上述服务器1002可以但不限于包括图1中所示的服务器104。
可选地,在本实施例中,上述多媒体资源可以但不限于包括:视频资源(如:视频流、视频文件等)、音频资源(如音频流、音频文件等)、幻灯片文件、动态相册、动态图片等等。
可选地,在本实施例中,目标操作可以但不限于包括:点击、停留、移动、拖拽等等。例如:用户控制鼠标指针在播放进度条上的某位置上下移动,该移动操作可以被确定为上述目标操作,将移动过程中移动路径与播放进度条的交点确定为该目标操作的目标操作位置。或者,再例如:用户控制鼠标指针在播放进度条上的某位置停留,当检测到停留时间达到预定时间(例如:2秒)时确定检测到对多媒体资源的播放进度条执行的目标操作,并将鼠标指针停留的位置确定为目标操作的目标操作位置。
可选地,在本实施例中,目标图像被划分为多个区域,每个区域对应一个或者多个多媒体资源的播放时间,每个区域上的图像是其对应的播放时间上检测到目标操作时需要显示的图像。
可选地,在本实施例中,该需要显示的图像可以但不限于是预先为播放时间设定的,也可以是对多媒体资源进行截图得到的。
在一个可选的实施方式中,如图11所示,服务器获取具有对应关系的视频A上的播放时间(时间A、时间B、时间C和时间D)与待显示的图像(图像A、图像B、图像C和图像D),将图像A、图像B、图像C和图像D拼接为目标图像C,将目标图像C以及具有对应关系的多个播放时间和多个区域(时间A对应区域A、时间B对应区域B、时间C对应区域C和时间D对应区域D)发送至播放视频A的客户端。
可选地,客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为时间A,客户端确定时间A在目标图像C上对应的目标区域为区域A,则将区域A上的图像显示在播放进度条的B点的上方。
可见,通过上述步骤,获取具有对应关系的多媒体资源上的播放时间与待显示的图像,将多个图像拼接为目标图像,并将目标图像和具有对应关系的播放时间和区域发送给客户端。当客户端检测到对多媒体资源的播放进度条执行的目标操作时,根据目标操作位置对应的目标播放时间确定目标图像中与该目标播放时间对应的目标区域,并将目标区域中的图像进行显示,使得一张目标图像能够对应多媒体资源中多个播放时间上图像的显示,从而避免每个播放时间均需要获取图像的情况发生,减少了客户端与服务器之间的IO次数,从而实现了提高图像的显示效率的技术效果,进而解决了相关技术中图像的显示效率较低的技术问题。
作为一种可选的方案,获取具有对应关系的多媒体资源上的播放时间与待显示的图像包括:
S1,对多媒体资源在多个播放时间上的图像进行截图,得到与多个播放时间具有对应关系的多个图像;或者,
S2,接收多个图像以及多个图像与多个播放时间之间的对应关系。
可选地,在本实施例中,待显示的图像可以是通过对多媒体资源进行截图得到的,或者,也可以是预先配置的。
作为一种可选的方案,多媒体资源包括多媒体数据流,其中,对多媒体资源在多个播放时间上的图像进行截图,得到与多个播放时间具有对应关系的多个图像包括:
S1,从开始获取多媒体数据流时起,按照第一时间间隔对多媒体数据流进行截图,并记录截取的图像在多媒体数据流中对应的播放时间;
S2,每隔目标播放时间长度将当前播放时间段内截取到的图像确定为当前播放时间段对应的多个图像,将当前播放时间段对应的多个图像的播放时间确定为多个播放时间;
S3,记录具有对应关系的播放时间段、播放时间和图像。
可选地,在本实施例中,多媒体资源可以包括多媒体数据流(比如:视频流、音频流、图片流等),对于多媒体数据流可以按照第一时间间隔进行截图,并且每隔目标播放时间长度对当前播放时间段内截取得到的图像进行拼接,得到一张目标图像。
可选地,在本实施例中,具有对应关系的播放时间段、播放时间和图像可以通过生成索引文件的形式进行记录。
在一个可选的实施方式中,以视频直播为例,如图12所示,由截图服务定时从直播流中截取原始图,并裁剪缩放成需要的小图尺寸,将图片上传到图片存储服务,并将图片的时间戳以流ID(sid)为key存入redis列表中sidPicTimetampList<timestamp>,记录sid所有截图的时间戳。缩略图服务从redis读取当前流的截图列表,对于每一个流进行如下处理:从redis读取流的截图列表比如读取一小时以内的截图列表,从图片服务下载流对应的图片,将这些图片按照m*n的形式拼接成一张大图,并生成当前流的缩略图索引文件。如图13所示,25张小图按照5行5列合成一张大图,并生成索引文件。每张小图为大图中的一个区域。
可选地,在本实方式中,索引文件如下形式:
索引文件命名以及下载url:一段播放时间生成一个索引文件,一个索引文件中包括多个大图信息,每个大图是若干个小图合成的。本实施方式中,一小时的直播流生成一个索引文件,一个大图中包括5行5列小图。
索引文件命名形式为:sid+“_timestamp_index_file_”+timeHour
其中,sid为流ID,timeHour的时间格式为YYYYMMDDHH,如:2018012720。
可选地,在本实施方式中,服务器将拼接后的目标图像和上述索引文件发送给客户端,客户端就可以根据检测到的目标操作以及索引文件中提供的信息显示相应的缩略图。
作为一种可选的方案,多媒体资源包括多媒体文件,其中,对多媒体资源在多个播放时间上的图像进行截图,得到与多个播放时间具有对应关系的多个图像包括:
S1,将多媒体文件的播放时间划分为多个播放时间段;
S2,按照第二时间间隔对多个播放时间段中每个播放时间段在多媒体文件中对应的多媒体资源进行截图,得到每个播放时间段对应的多个图像以及与多个图像具有对应关系的播放时间;
S3,记录具有对应关系的播放时间段、播放时间和图像。
可选地,在本实施例中,多媒体资源包括多媒体文件(比如:视频文件、音频文件、动态相册、幻灯片文件等等),服务器可以对多媒体资源的播放时间进行划分,划分为多个播放时间段,对于每个播放时间段的多媒体资源按照第二时间间隔截取图像,将每个播放时间段中截取的图像拼接成一个目标图像。
可选地,在本实施例中,具有对应关系的播放时间段、播放时间和图像可以通过生成索引文件的形式进行记录。
作为一种可选的方案,将多个图像拼接为目标图像包括:
S1,将多个图像转换为多个目标尺寸的图像;
S2,将多个目标尺寸的图像按照排列规则排列为目标行列数的图像矩阵;
S3,将图像矩阵拼接为目标图像。
可选地,在本实施例中,为了便于图像的拼接,服务器可以对图像的尺寸进行转换,转换成相同的目标尺寸后再按照预设的排列规则进行排列,将排列后得到的图像矩阵拼接为目标图像。
可选地,在本实施例中,截图图像在目标图像中的排列规则可以但不限于包括:按行排列、按列排列、按预定顺序排列等等。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面,还提供了一种用于实施上述图像的显示方法的图像的显示装置,如图14所示,该装置包括:
1)第一获取模块1402,用于在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间;
2)确定模块1404,用于确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间;
3)显示模块1406,用于显示目标区域上的图像。
可选地,在本实施例中,上述图像的显示装置可以应用于如图3所示的客户端302所构成的硬件环境中。如图3所示,客户端302在检测到对多媒体资源的播放进度条执行的目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间,显示目标区域上的图像。
可选地,在本实施例中,上述客户端302可以但不限于包括图1中所示的客户端102。
可选地,在本实施例中,上述图像的显示装置可以但不限于应用于在客户端上显示图像的场景中。其中,上述客户端可以但不限于为各种类型的应用,例如,在线教育应用、即时通讯应用、社区空间应用、游戏应用、购物应用、浏览器应用、金融应用、多媒体应用、直播应用等。具体的,可以但不限于应用于在上述多媒体应用的客户端上显示图像的场景中,或还可以但不限于应用于在上述直播应用的客户端上显示图像的场景中,以提高图像的显示效率。上述仅是一种示例,本实施例中对此不做任何限定。
可选地,在本实施例中,上述多媒体资源可以但不限于包括:视频资源(如:视频流、视频文件等)、音频资源(如音频流、音频文件等)、幻灯片文件、动态相册、动态图片等等。
可选地,在本实施例中,目标操作可以但不限于包括:点击、停留、移动、拖拽等等。例如:用户控制鼠标指针在播放进度条上的某位置上下移动,该移动操作可以被确定为上述目标操作,将移动过程中移动路径与播放进度条的交点确定为该目标操作的目标操作位置。或者,再例如:用户控制鼠标指针在播放进度条上的某位置停留,当检测到停留时间达到预定时间(例如:2秒)时确定检测到对多媒体资源的播放进度条执行的目标操作,并将鼠标指针停留的位置确定为目标操作的目标操作位置。
可选地,在本实施例中,目标图像被划分为多个区域,每个区域对应一个或者多个多媒体资源的播放时间,每个区域上的图像是其对应的播放时间上检测到目标操作时需要显示的图像。
可选地,在本实施例中,该需要显示的图像可以但不限于是预先为播放时间设定的,也可以是对多媒体资源进行截图得到的。
可选地,在本实施例中,目标区域上的图像的显示方式可以是在多媒体资源的显示界面上将显示画面切换到该目标区域上的图像,或者,也可以是在显示界面的指定区域显示。
在一个可选的实施方式中,如图4所示,客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为00:00:35,即第35秒,客户端确定该目标播放时间00:00:35在目标图像C上对应的目标区域为区域D,则将区域D上的图像显示在播放进度条的B点的上方。
可见,通过上述装置,当检测到对多媒体资源的播放进度条执行的目标操作时,根据目标操作位置对应的目标播放时间确定目标图像中与该目标播放时间对应的目标区域,并将目标区域中的图像进行显示,使得一张目标图像能够对应多媒体资源中多个播放时间上图像的显示,从而避免每个播放时间均需要获取图像的情况发生,减少了客户端与服务器之间的IO次数,从而实现了提高图像的显示效率的技术效果,进而解决了相关技术中图像的显示效率较低的技术问题。
作为一种可选的方案,确定模块包括:
1)第一获取单元,用于获取目标图像以及目标图像对应的具有对应关系的播放时间与区域,其中,多个区域中每个区域上的图像为多媒体资源中在与每个区域对应的播放时间上的截图图像;
2)第二获取单元,用于从具有对应关系的播放时间与区域中获取目标播放时间对应的目标区域。
可选地,在本实施例中,多个区域中每个区域上的图像可以但不限于为多媒体资源中在与每个区域对应的播放时间上的截图图像,在截取图像的同时可以记录截取的图像的播放时间与截取的图像在目标图像中的区域之间的对应关系,获取目标图像并获取该对应关系,从而根据该对应关系确定目标播放时间对应的目标区域。
可选地,在本实施例中,具有对应关系的播放时间与区域可以但不限于以索引文件的形式进行存储。
作为一种可选的方案,第一获取单元包括:
1)第一确定子单元,用于确定目标播放时间在多个播放时间段中所落入的目标时间段,其中,多媒体资源的播放时间被划分为多个播放时间段,多个播放时间段与多个图像一一对应,多个图像包括目标图像;
2)获取子单元,用于获取目标时间段在多个图像中对应的目标图像,以及目标图像对应的具有对应关系的播放时间与区域。
可选地,在本实施例中,多媒体资源的播放时间可以被划分为多个播放时间段,对于每个播放时间段对应一张图像,目标播放时间所落入的目标播放时间段对应的那张图像可以被确定为是目标图像,在获取目标图像时也可以同时获取目标图像对应的具有对应关系的播放时间和区域。
在一个可选的实施方式中,如图5所示,视频资源A的播放时间被划分为多个播放时间段,包括:时间段1、时间段2、时间段3和时间段4,其中,时间段1对应图像A,时间段2对应图像B,时间段3对应图像C,时间段4对应图像D。目标操作位置为播放进度条的B点,该点对应的目标播放时间为00:00:35,该目标播放时间落入了时间段1中,则获取时间段1对应的图像A作为目标图像,并获取图像A对应的存储有具有对应关系的播放时间和区域的索引文件M。
可选地,在本实施例中,具有对应关系的播放时间段和图像、具有对应关系的图像、播放时间和区域等信息均可以以索引文件的形式进行存储。
作为一种可选的方案,第二获取单元包括:
1)第二确定子单元,用于根据目标播放时间、目标图像的起始时间以及截图时间间隔确定目标位置,其中,起始时间为目标图像上的多个区域对应的播放时间中最早的时间,截图时间间隔为相邻的两个播放时间之间的间隔,目标位置用于指示目标播放时间在目标图像对应的多媒体资源的播放时间段中的位置;
2)第三确定子单元,用于根据目标位置以及截图图像在目标图像中的排列规则确定目标区域在目标图像上的显示位置;
3)第四确定子单元,用于将目标图像上位于显示位置上的目标尺寸的区域确定为目标区域,其中,目标图像为对目标尺寸的截图图像进行拼接得到的,截图图像在目标图像上按照排列规则排列。
可选地,在本实施例中,目标播放时间对应的目标区域可以但不限于是根据目标播放时间、目标图像的起始时间、截图时间间隔、截图图像在目标图像中的排列规则、目标区域的目标尺寸等信息确定的。
可选地,在本实施例中,截图图像在目标图像中的排列规则可以但不限于包括:按行排列、按列排列、按预定顺序排列等等。
作为一种可选的方案,第二确定子单元用于:确定目标播放时间与目标图像的起始时间的差值;将差值与截图时间间隔之间的比值确定为目标位置。
在一个可选的实施方式中,如图6所示,目标图像由多个区域组成,每个区域对应多媒体资源的一个播放时间,目标图像位于坐标系xOy中,可以但不限于根据以下方式获取目标播放时间对应的目标区域:
目标图像中有s个区域的图像,按照m行n列拼接成目标图像,拼接规则为按行排列,每个区域的图像宽w高h,计数从0开始。
目标区域的索引位置(即上述目标位置)i=(目标播放时间–目标图像第一个图片的时间)/截图时间间隔。
目标区域所在行数ai为i/n,目标区域所在列数aj为i%m–1,那么,目标区域所在目标图像中的坐标:x=aj*w,y=ai*h。目标区域的坐标(x,y)结合宽高(w,h)即可得到目标区域的区域范围,在客户端显示出来目标区域即可。
需要说明的是,目标图像中的多个区域的图像按列排列时目标区域的确定方式与此类似,在此不再赘述。
作为一种可选的方案,显示模块包括:
1)切换单元,用于将多媒体资源的播放界面切换到播放目标区域上的图像;或者,
2)显示单元,用于在多媒体资源的播放界面中的预定界面显示目标区域上的图像。
可选地,在本实施例中,目标区域上的图像的显示位置可以但不限于包括多媒体资源的播放界面,或者,多媒体资源的播放界面上的预定界面等等。
可选地,在本实施例中,多媒体资源的播放界面上的预定界面可以是位于目标操作位置的上方的位置、可以是位于播放界面的四周的某个位置,预定界面尺寸可以进行配置。
在一个可选的实施方式中,如图7所示,客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为00:00:35,即第35秒,客户端确定该目标播放时间00:00:35在目标图像C上对应的目标区域为区域D,则视频A的播放界面切换为图像A4。
在另一个可选的实施方式中,如图8所示,客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为00:00:35,即第35秒,客户端确定该目标播放时间00:00:35在目标图像C上对应的目标区域为区域D,则将区域D上的图像A4显示在播放进度条的B点的上方。
作为一种可选的方案,上述装置还包括:
1)截图模块,用于对多媒体资源在多个播放时间上的图像进行截图,得到与多个播放时间具有对应关系的多个截图图像;
2)第一拼接模块,用于将多个截图图像拼接为目标图像,其中,多个截图图像中每个截图图像在目标图像上所在的区域为多个区域中的一个区域;
3)存储模块,用于存储目标图像并记录多个播放时间和多个区域之间的对应关系。
可选地,在本实施例中,上述过程可以但不限于在服务器侧进行,由服务器对多媒体资源进行截图,对截图图像进行拼接和存储。客户端通过与服务器的交互获取目标图像以及目标图像的信息。
根据本发明实施例的另一个方面,还提供了另一种用于实施上述图像的显示方法的图像的显示装置,如图15所示,该装置包括:
1)第二获取模块1502,用于获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,多媒体资源上的播放时间包括多个播放时间,待显示的图像包括多个图像;
2)第二拼接模块1504,用于将多个图像拼接为目标图像,其中,多个图像中每个图像在目标图像上所在的区域为目标图像包括的多个区域中的一个区域;
3)发送模块1506,用于将目标图像以及具有对应关系的多个播放时间和多个区域发送至播放多媒体资源的客户端,其中,目标图像用于指示客户端在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,并显示目标区域上的图像。
可选地,在本实施例中,上述图像的显示装置可以但不限于应用于上述客户端对应的服务器。
可选地,在本实施例中,上述图像的显示装置可以应用于如图10所示的服务器1002所构成的硬件环境中。如图10所示,服务器1002获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,多媒体资源上的播放时间包括多个播放时间,待显示的图像包括多个图像;将多个图像拼接为目标图像,其中,多个图像中每个图像在目标图像上所在的区域为目标图像包括的多个区域中的一个区域;将目标图像以及具有对应关系的多个播放时间和多个区域发送至播放多媒体资源的客户端,其中,目标图像用于指示客户端在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,并显示目标区域上的图像。
可选地,在本实施例中,上述多媒体资源可以但不限于包括:视频资源(如:视频流、视频文件等)、音频资源(如音频流、音频文件等)、幻灯片文件、动态相册、动态图片等等。
可选地,在本实施例中,目标操作可以但不限于包括:点击、停留、移动、拖拽等等。例如:用户控制鼠标指针在播放进度条上的某位置上下移动,该移动操作可以被确定为上述目标操作,将移动过程中移动路径与播放进度条的交点确定为该目标操作的目标操作位置。或者,再例如:用户控制鼠标指针在播放进度条上的某位置停留,当检测到停留时间达到预定时间(例如:2秒)时确定检测到对多媒体资源的播放进度条执行的目标操作,并将鼠标指针停留的位置确定为目标操作的目标操作位置。
可选地,在本实施例中,目标图像被划分为多个区域,每个区域对应一个或者多个多媒体资源的播放时间,每个区域上的图像是其对应的播放时间上检测到目标操作时需要显示的图像。
可选地,在本实施例中,该需要显示的图像可以但不限于是预先为播放时间设定的,也可以是对多媒体资源进行截图得到的。
在一个可选的实施方式中,如图11所示,服务器获取具有对应关系的视频A上的播放时间(时间A、时间B、时间C和时间D)与待显示的图像(图像A、图像B、图像C和图像D),将图像A、图像B、图像C和图像D拼接为目标图像C,将目标图像C以及具有对应关系的多个播放时间和多个区域(时间A对应区域A、时间B对应区域B、时间C对应区域C和时间D对应区域D)发送至播放视频A的客户端。
客户端上播放视频A,用户将鼠标指针停留在播放进度条的B点上,当停留时间达到1.5秒时,客户端检测到对视频A的播放进度条执行的目标操作,确定该目标操作的目标操作位置为播放进度条的B点,播放进度条的B点在视频A中对应的目标播放时间为时间A,客户端确定时间A在目标图像C上对应的目标区域为区域A,则将区域A上的图像显示在播放进度条的B点的上方。
可见,通过上述装置,获取具有对应关系的多媒体资源上的播放时间与待显示的图像,将多个图像拼接为目标图像,并将目标图像和具有对应关系的播放时间和区域发送给客户端。当客户端检测到对多媒体资源的播放进度条执行的目标操作时,根据目标操作位置对应的目标播放时间确定目标图像中与该目标播放时间对应的目标区域,并将目标区域中的图像进行显示,使得一张目标图像能够对应多媒体资源中多个播放时间上图像的显示,从而避免每个播放时间均需要获取图像的情况发生,减少了客户端与服务器之间的IO次数,从而实现了提高图像的显示效率的技术效果,进而解决了相关技术中图像的显示效率较低的技术问题。
作为一种可选的方案,获取模块包括:
1)截图单元,用于对多媒体资源在多个播放时间上的图像进行截图,得到与多个播放时间具有对应关系的多个图像;或者,
2)接收单元,用于接收多个图像以及多个图像与多个播放时间之间的对应关系。
可选地,在本实施例中,待显示的图像可以是通过对多媒体资源进行截图得到的,或者,也可以是预先配置的。
作为一种可选的方案,多媒体资源包括多媒体数据流,其中,截图单元包括:
1)第一截图子单元,用于从开始获取多媒体数据流时起,按照第一时间间隔对多媒体数据流进行截图,并记录截取的图像在多媒体数据流中对应的播放时间;
2)第五确定子单元,用于每隔目标播放时间长度将当前播放时间段内截取到的图像确定为当前播放时间段对应的多个图像,将当前播放时间段对应的多个图像的播放时间确定为多个播放时间;
3)第一记录子单元,用于记录具有对应关系的播放时间段、播放时间和图像。
可选地,在本实施例中,多媒体资源可以包括多媒体数据流(比如:视频流、音频流、图片流等),对于多媒体数据流可以按照第一时间间隔进行截图,并且每隔目标播放时间长度对当前播放时间段内截取得到的图像进行拼接,得到一张目标图像。
可选地,在本实施例中,具有对应关系的播放时间段、播放时间和图像可以通过生成索引文件的形式进行记录。
在一个可选的实施方式中,以视频直播为例,如图12所示,由截图服务定时从直播流中截取原始图,并裁剪缩放成需要的小图尺寸,将图片上传到图片存储服务,并将图片的时间戳以流ID(sid)为key存入redis列表中sidPicTimetampList<timestamp>,记录sid所有截图的时间戳。缩略图服务从redis读取当前流的截图列表,对于每一个流进行如下处理:从redis读取流的截图列表比如读取一小时以内的截图列表,从图片服务下载流对应的图片,将这些图片按照m*n的形式拼接成一张大图,并生成当前流的缩略图索引文件。如图13所示,25张小图按照5行5列合成一张大图,并生成索引文件。每张小图为大图中的一个区域。
可选地,在本实方式中,索引文件如下形式:
索引文件命名以及下载url:一段播放时间生成一个索引文件,一个索引文件中包括多个大图信息,每个大图是若干个小图合成的。本实施方式中,一小时的直播流生成一个索引文件,一个大图中包括5行5列小图。
索引文件命名形式为:sid+“_timestamp_index_file_”+timeHour
其中,sid为流ID,timeHour的时间格式为YYYYMMDDHH,如:2018012720。
可选地,在本实施方式中,服务器将拼接后的目标图像和上述索引文件发送给客户端,客户端就可以根据检测到的目标操作以及索引文件中提供的信息显示相应的缩略图。
作为一种可选的方案,多媒体资源包括多媒体文件,其中,截图单元包括:
1)划分子单元,用于将多媒体文件的播放时间划分为多个播放时间段;
2)第二截图子单元,用于按照第二时间间隔对多个播放时间段中每个播放时间段在多媒体文件中对应的多媒体资源进行截图,得到每个播放时间段对应的多个图像以及与多个图像具有对应关系的播放时间;
3)第二记录子单元,用于记录具有对应关系的播放时间段、播放时间和图像。
可选地,在本实施例中,多媒体资源包括多媒体文件(比如:视频文件、音频文件、动态相册、幻灯片文件等等),服务器可以对多媒体资源的播放时间进行划分,划分为多个播放时间段,对于每个播放时间段的多媒体资源按照第二时间间隔截取图像,将每个播放时间段中截取的图像拼接成一个目标图像。
可选地,在本实施例中,具有对应关系的播放时间段、播放时间和图像可以通过生成索引文件的形式进行记录。
作为一种可选的方案,第二拼接模块包括:
1)转换单元,用于将多个图像转换为多个目标尺寸的图像;
2)排列单元,用于将多个目标尺寸的图像按照排列规则排列为目标行列数的图像矩阵;
3)拼接单元,用于将图像矩阵拼接为目标图像。
可选地,在本实施例中,为了便于图像的拼接,服务器可以对图像的尺寸进行转换,转换成相同的目标尺寸后再按照预设的排列规则进行排列,将排列后得到的图像矩阵拼接为目标图像。
可选地,在本实施例中,截图图像在目标图像中的排列规则可以但不限于包括:按行排列、按列排列、按预定顺序排列等等。
本发明实施例的应用环境可以但不限于参照上述实施例中的应用环境,本实施例中对此不再赘述。本发明实施例提供了用于实施上述实时通信的连接方法的一种可选的具体应用示例。
作为一种可选的实施例,上述图像的显示方法可以但不限于应用于如图16所示的视频直播流的缩略图显示的场景中。在本场景中,缩略图为将原始图片进行裁剪、缩放后到指定的较小尺寸的图片。直播截图指从直播流中截取当前画面的图片。直播回看指直播进行中,滑动进度条查看当前时间之前的已经直播过的内容。以下的大图指上述目标图像,小图指上述目标图像中的区域。
随着网络环境的不断提升,互联网已经深入到人们生活的方方面面。视频类产品,如传统的点播,实时的直播,由于能够提供更好的视听体验,受到大众的喜爱。在本场景中,将以前后端结合的方式来更有效的解决客户端播放进度条显示缩略图的方式,进一步提升用户的交互的体验。
在本场景中,首先对直播流进行实时截图,对截取的原始图片进行裁剪缩放,将缩放后的图片按照时间戳先后进行排列拼接成一个大图,小图在拼接后的大图中以矩阵的形式排列,然后上传至图片存储机器,直播客户端(web、app)在用户鼠标悬停在回看进度条(指播放进度条上已播放的部分)时,客户端只需下载一张图片,并按照时间戳和图片尺寸来获取大图中当前时间戳的缩略图的位置,显示时将大图按照缩略图所在位置和大小做一定的偏移,即可显示当前时间点的缩略图。一张图片可以显示多个时间点的缩略图,减少客户端和服务器的网络交互。提升图片显示的效率和用户视觉体验。
可选地,上述方式可用于直播进行中回放显示当前视频的缩略图的场景中,也可用于用户点播视频中进度条显示当前时间戳对应帧的视频内容缩略图的场景中。
可选地,在本实施例中,将多张缩略图压缩到一张图片上,显示的时候,在一段时间内,只需下载一张图片即可在一定时间范围内不再下载图片,这样一方面可以更加实时的加载显示缩略图,同时也减少了和服务器交互下载图片的次数,节约了服务器带宽。客户端可预先下载大图缓存于本地,再按需要读取本地文件即可快速显示图片。客户端可以根据索引文件得到大图的下载列表,无需多次向服务器临时请求图片地址列表,也减少了前后端的交互。
可选地,在直播进行过程中,会实时将直播内容缓存在服务器上,提供实时回看功能。用户在观看直播时遇到精彩片段时可以查看回看,鼠标悬停在回看进度条上,播放器将鼠标指定的时间点的视频内容的缩略图显示出来,方便用户精确定位到精彩瞬间。
在一个可选的实施方式中,如图16所示,上述直播流的缩略图的显示过程包括以下流程:
首先,生成原始图:截取原始图得到原始小图,上传到图片存储服务上,并在redis记录所有截图列表。然后将小图拼接成大图,生成索引文件:缩略图生成服务从redis读取小图和对应时间戳的列表,按照列表从截图存储服务中下载小图,将小图按照M*N(例如5*5:5行5列)拼接成一张大图,上传至图片存储服务,同时将刚刚的拼接的图片,生成一个索引文件记录当前大图的个数,大图中小图的信息等信息,索引文件也上传到图片存储服务上。最后,在播放进度条上显示缩略图:播放端在播放的时候,根据当前时间戳和当前流id,拼接时间戳索引文件url,下载索引文件,然后解析里面的大图,根据当前时刻,计算落在某张大图的url,下载大图;计算当前时间大图中的对应的当前小图的位置,最终在前端根据当前需要的小图在大图中的位置和图片的大小进行局部展现大图,即只显示大图中的小图部分的图像。
可选地,索引文件中包括多个大图信息,每一张大图中可以显示多张小图。下载一次大图可显示多张小图,减少了下载次数。客户端可以根据索引文件预先下载图片到本地缓存,提升显示效率。
可选地,如图17所示,详细方案如下,分为三阶段:
第一阶段:如图17中的“第一步”所示,由截图服务定时从直播流中截取原始图,并裁剪缩放成需要的小图尺寸,将图片上传到图片存储服务,并将图的时间戳以流ID(sid)为key存入redis列表中sidPicTimetampList<timestamp>,记录sid所有截图的时间戳。
第二阶段:如图17中的“第二步”所示,缩略图服务从redis读取当前流列表,对于每一个流进行如下处理:从redis读取流的截图列表比如读取一小时以内的截图列表,从图片服务下载流对应的图片,将这些图片按照m*n的形式拼接成一张大图。并生成当前流的缩略图索引文件。如图18所示,25张小图按照5行5列合成一张大图,并生成索引文件。
第三阶段:如图17中的“第三步”所示,客户的(pc/app/web)播放器根据当前时间(时间格式:YYYYMMDDHH)按照约定规则拼接出索引文件的下载url,下载索引文件后解析文件,根据当前时间找到当前时间对于的大图文件信息,然后再按照大图url规则拼接出大图的下载url下载大图,根据索引的信息,大图中第一个图片的时间戳,大图中小图的个数,得到当前时间缩略图需要的图片位置,然后根据索引中图片的行数、列数,小图的尺寸宽高计算出当前小图在大图中的位置。客户端对大图进行偏移和宽高限制,只显示大图局部图片,即当前需要的小图。
例如:假设一张大图中有s个小图,m行n列拼接成的一张大图,每张小图宽w高h,计数从0开始。那么,小图索引位置i为(当前时间-大图第一个图片时间)/截图间隔。小图所在行数ai为i/n,小图所在列数aj为i%m–1。那么,小图所在大图中的坐标:小图坐标x=aj*w,小图坐标y=ai*h。再根据小图的坐标(x,y)结合宽高(w,h)即可得到小图区域,在客户端显示出来小图区域即可。
根据本发明实施例的又一个方面,还提供了一种用于实施上述图像的显示的电子装置,如图18所示,该电子装置包括:一个或多个(图中仅示出一个)处理器1802、存储器1804、传感器1806、编码器1808以及传输装置1810,该存储器中存储有计算机程序,该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间;
S2,确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间;
S3,显示目标区域上的图像。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
S1,获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,多媒体资源上的播放时间包括多个播放时间,待显示的图像包括多个图像;
S2,将多个图像拼接为目标图像,其中,多个图像中每个图像在目标图像上所在的区域为目标图像包括的多个区域中的一个区域;
S3,将目标图像以及具有对应关系的多个播放时间和多个区域发送至播放多媒体资源的客户端,其中,目标图像用于指示客户端在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,并显示目标区域上的图像。
可选地,本领域普通技术人员可以理解,图18所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图18其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图18中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图18所示不同的配置。
其中,存储器1802可用于存储软件程序以及模块,如本发明实施例中的图像的显示方法和装置对应的程序指令/模块,处理器1804通过运行存储在存储器1802内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的目标组件的控制方法。存储器1802可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1802可进一步包括相对于处理器1804远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1810用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1810包括一个网络适配器(NetworkInterface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1810为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器1802用于存储应用程序。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在检测到对多媒体资源的播放进度条执行的目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间;
S2,确定目标播放时间在目标图像中所对应的目标区域,其中,目标图像包括多个区域,多个区域与多媒体资源的多个播放时间具有对应关系,多个区域包括目标区域,多个播放时间包括目标播放时间;
S3,显示目标区域上的图像。
可选地,在本实施例中,上述存储介质还可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,多媒体资源上的播放时间包括多个播放时间,待显示的图像包括多个图像;
S2,将多个图像拼接为目标图像,其中,多个图像中每个图像在目标图像上所在的区域为目标图像包括的多个区域中的一个区域;
S3,将目标图像以及具有对应关系的多个播放时间和多个区域发送至播放多媒体资源的客户端,其中,目标图像用于指示客户端在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取播放进度条上被执行目标操作的目标操作位置在多媒体资源中对应的目标播放时间,确定目标播放时间在目标图像中所对应的目标区域,并显示目标区域上的图像。
可选地,存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序,本实施例中对此不再赘述。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种图像的显示方法,其特征在于,包括:
在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间;
确定所述目标播放时间在目标图像中所对应的目标区域,其中,所述目标图像包括多个区域,所述多个区域与所述多媒体资源的多个播放时间具有对应关系,所述多个区域中每个区域上的图像为所述多媒体资源中在与所述每个区域对应的播放时间上的截图图像,所述多个区域包括所述目标区域,所述多个播放时间包括所述目标播放时间,所述目标区域为所述目标图像上位于显示位置上的目标尺寸的区域,所述目标图像为对所述目标尺寸的所述截图图像进行拼接得到的,所述显示位置是根据目标位置以及所述截图图像在所述目标图像中的排列规则确定出的位置,所述目标位置根据所述目标播放时间、所述目标图像的起始时间以及截图时间间隔确定,所述起始时间为所述目标图像上的所述多个区域对应的播放时间中最早的时间,所述截图时间间隔为相邻的两个播放时间之间的间隔,所述目标位置用于指示所述目标播放时间在所述目标图像对应的所述多媒体资源的播放时间段中的位置;
显示所述目标区域上的图像。
2.根据权利要求1所述的方法,其特征在于,确定所述目标播放时间在所述目标图像中所对应的目标区域包括:
获取所述目标图像以及所述目标图像对应的具有对应关系的播放时间与区域;
从所述具有对应关系的播放时间与区域中获取所述目标播放时间对应的所述目标区域。
3.根据权利要求2所述的方法,其特征在于,获取所述目标图像以及所述目标图像对应的具有对应关系的播放时间与区域包括:
确定所述目标播放时间在多个播放时间段中所落入的目标时间段,其中,所述多媒体资源的播放时间被划分为所述多个播放时间段,所述多个播放时间段与多个图像一一对应,所述多个图像包括所述目标图像;
获取所述目标时间段在所述多个图像中对应的所述目标图像,以及所述目标图像对应的所述具有对应关系的播放时间与区域。
4.根据权利要求3所述的方法,其特征在于,所述目标位置根据所述目标播放时间、所述目标图像的起始时间以及截图时间间隔确定包括:
确定所述目标播放时间与所述目标图像的起始时间的差值,将所述差值与所述截图时间间隔之间的比值确定为所述目标位置。
5.根据权利要求1所述的方法,其特征在于,在确定所述目标播放时间在目标图像中所对应的目标区域之前,所述方法还包括:
对所述多媒体资源在所述多个播放时间上的图像进行截图,得到与所述多个播放时间具有对应关系的多个截图图像;
将所述多个截图图像拼接为所述目标图像,其中,所述多个截图图像中每个截图图像在所述目标图像上所在的区域为所述多个区域中的一个区域;
存储所述目标图像并记录所述多个播放时间和所述多个区域之间的对应关系。
6.一种图像的显示方法,其特征在于,包括:
获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,所述多媒体资源上的播放时间包括多个播放时间,所述待显示的图像包括多个图像;
将所述多个图像拼接为目标图像,其中,所述多个图像中每个图像在所述目标图像上所在的区域为所述目标图像包括的多个区域中的一个区域;
将所述目标图像以及具有对应关系的所述多个播放时间和所述多个区域发送至播放所述多媒体资源的客户端,其中,所述目标图像用于指示所述客户端在检测到对所述多媒体资源的播放进度条执行目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间,确定所述目标播放时间在所述目标图像中所对应的目标区域,并显示所述目标区域上的图像,所述目标图像包括多个区域,所述多个区域与所述多媒体资源的多个播放时间具有对应关系,所述多个区域中每个区域上的图像为所述多媒体资源中在与所述每个区域对应的播放时间上的截图图像,所述多个区域包括所述目标区域,所述多个播放时间包括所述目标播放时间,所述目标区域为所述目标图像上位于显示位置上的目标尺寸的区域,所述目标图像为对所述目标尺寸的所述截图图像进行拼接得到的,所述显示位置是根据目标位置以及所述截图图像在所述目标图像中的排列规则确定出的位置,所述目标位置根据所述目标播放时间、所述目标图像的起始时间以及截图时间间隔确定,所述起始时间为所述目标图像上的所述多个区域对应的播放时间中最早的时间,所述截图时间间隔为相邻的两个播放时间之间的间隔,所述目标位置用于指示所述目标播放时间在所述目标图像对应的所述多媒体资源的播放时间段中的位置。
7.根据权利要求6所述的方法,其特征在于,获取具有对应关系的多媒体资源上的播放时间与待显示的图像包括:
对所述多媒体资源在所述多个播放时间上的图像进行截图,得到与所述多个播放时间具有对应关系的所述多个图像;或者,
接收所述多个图像以及所述多个图像与所述多个播放时间之间的对应关系。
8.根据权利要求7所述的方法,其特征在于,所述多媒体资源包括多媒体数据流,其中,对所述多媒体资源在所述多个播放时间上的图像进行截图,得到与所述多个播放时间具有对应关系的所述多个图像包括:
从开始获取所述多媒体数据流时起,按照第一时间间隔对所述多媒体数据流进行截图,并记录截取的图像在所述多媒体数据流中对应的播放时间;
每隔目标播放时间长度将当前播放时间段内截取到的图像确定为所述当前播放时间段对应的所述多个图像,将所述当前播放时间段对应的所述多个图像的播放时间确定为所述多个播放时间;
记录具有对应关系的播放时间段、播放时间和图像。
9.根据权利要求7所述的方法,其特征在于,所述多媒体资源包括多媒体文件,其中,对所述多媒体资源在所述多个播放时间上的图像进行截图,得到与所述多个播放时间具有对应关系的所述多个图像包括:
将所述多媒体文件的播放时间划分为多个播放时间段;
按照第二时间间隔对所述多个播放时间段中每个播放时间段在所述多媒体文件中对应的多媒体资源进行截图,得到所述每个播放时间段对应的所述多个图像以及与所述多个图像具有对应关系的播放时间;
记录具有对应关系的播放时间段、播放时间和图像。
10.根据权利要求6所述的方法,其特征在于,将所述多个图像拼接为目标图像包括:
将所述多个图像转换为多个目标尺寸的图像;
将所述多个目标尺寸的图像按照排列规则排列为目标行列数的图像矩阵;
将所述图像矩阵拼接为所述目标图像。
11.一种图像的显示装置,其特征在于,包括:
第一获取模块,用于在检测到对多媒体资源的播放进度条执行目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间;
确定模块,用于确定所述目标播放时间在目标图像中所对应的目标区域,其中,所述目标图像包括多个区域,所述多个区域与所述多媒体资源的多个播放时间具有对应关系,所述多个区域中每个区域上的图像为所述多媒体资源中在与所述每个区域对应的播放时间上的截图图像,所述多个区域包括所述目标区域,所述多个播放时间包括所述目标播放时间,所述目标区域为所述目标图像上位于显示位置上的目标尺寸的区域,所述目标图像为对所述目标尺寸的所述截图图像进行拼接得到的,所述显示位置是根据目标位置以及所述截图图像在所述目标图像中的排列规则确定出的位置,所述目标位置根据所述目标播放时间、所述目标图像的起始时间以及截图时间间隔确定,所述起始时间为所述目标图像上的所述多个区域对应的播放时间中最早的时间,所述截图时间间隔为相邻的两个播放时间之间的间隔,所述目标位置用于指示所述目标播放时间在所述目标图像对应的所述多媒体资源的播放时间段中的位置;
显示模块,用于显示所述目标区域上的图像。
12.一种图像的显示装置,其特征在于,包括:
第二获取模块,用于获取具有对应关系的多媒体资源上的播放时间与待显示的图像,其中,所述多媒体资源上的播放时间包括多个播放时间,所述待显示的图像包括多个图像;
第二拼接模块,用于将所述多个图像拼接为目标图像,其中,所述多个图像中每个图像在所述目标图像上所在的区域为所述目标图像包括的多个区域中的一个区域;
发送模块,用于将所述目标图像以及具有对应关系的所述多个播放时间和所述多个区域发送至播放所述多媒体资源的客户端,其中,所述目标图像用于指示所述客户端在检测到对所述多媒体资源的播放进度条执行的目标操作的情况下,获取所述播放进度条上被执行所述目标操作的目标操作位置在所述多媒体资源中对应的目标播放时间,确定所述目标播放时间在所述目标图像中所对应的目标区域,并显示所述目标区域上的图像,所述目标图像包括多个区域,所述多个区域与所述多媒体资源的多个播放时间具有对应关系,所述多个区域中每个区域上的图像为所述多媒体资源中在与所述每个区域对应的播放时间上的截图图像,所述多个区域包括所述目标区域,所述多个播放时间包括所述目标播放时间,所述目标区域为所述目标图像上位于显示位置上的目标尺寸的区域,所述目标图像为对所述目标尺寸的所述截图图像进行拼接得到的,所述显示位置是根据目标位置以及所述截图图像在所述目标图像中的排列规则确定出的位置,所述目标位置根据所述目标播放时间、所述目标图像的起始时间以及截图时间间隔确定,所述起始时间为所述目标图像上的所述多个区域对应的播放时间中最早的时间,所述截图时间间隔为相邻的两个播放时间之间的间隔,所述目标位置用于指示所述目标播放时间在所述目标图像对应的所述多媒体资源的播放时间段中的位置。
13.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至10任一项中所述的方法。
14.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至10任一项中所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810449296.3A CN108632676B (zh) | 2018-05-11 | 2018-05-11 | 图像的显示方法、装置、存储介质及电子装置 |
PCT/CN2019/081012 WO2019214371A1 (zh) | 2018-05-11 | 2019-04-02 | 图像的显示方法、生成方法、装置、存储介质及电子装置 |
US16/987,220 US11153658B2 (en) | 2018-05-11 | 2020-08-06 | Image display method and generating method, device, storage medium and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810449296.3A CN108632676B (zh) | 2018-05-11 | 2018-05-11 | 图像的显示方法、装置、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108632676A CN108632676A (zh) | 2018-10-09 |
CN108632676B true CN108632676B (zh) | 2022-02-22 |
Family
ID=63692783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810449296.3A Active CN108632676B (zh) | 2018-05-11 | 2018-05-11 | 图像的显示方法、装置、存储介质及电子装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11153658B2 (zh) |
CN (1) | CN108632676B (zh) |
WO (1) | WO2019214371A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632676B (zh) | 2018-05-11 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 图像的显示方法、装置、存储介质及电子装置 |
CN110166812A (zh) * | 2019-05-17 | 2019-08-23 | 广州优视云集科技有限公司 | 一种支持动态调整清晰度的视频预览方法及系统 |
CN110737386A (zh) * | 2019-09-06 | 2020-01-31 | 华为技术有限公司 | 一种屏幕截取方法及相关设备 |
CN113055585B (zh) * | 2019-12-27 | 2022-06-10 | 青岛海信移动通信技术股份有限公司 | 拍摄界面的缩略图显示方法及移动终端 |
CN111246301B (zh) * | 2020-01-15 | 2023-03-21 | 深圳市雅阅科技有限公司 | 视频播放方法、装置、电子设备及计算机可读存储介质 |
CN111432254B (zh) * | 2020-03-24 | 2022-02-08 | 杭州海康威视数字技术股份有限公司 | 视频信息显示方法及装置 |
US20220067993A1 (en) | 2020-08-31 | 2022-03-03 | Popshop Technologies, Inc. | Live streaming object image capture and image conversion to product catalog |
CN112466440B (zh) * | 2020-12-08 | 2023-07-21 | 深圳平安智慧医健科技有限公司 | 医学影像的加载方法、装置、电子设备及存储介质 |
CN112463283B (zh) * | 2020-12-25 | 2022-03-08 | 创想空间信息技术(苏州)有限公司 | 一种回看应用程序历史内容的方法、系统及电子设备 |
CN114630146B (zh) * | 2022-05-12 | 2023-01-17 | 海看网络科技(山东)股份有限公司 | 一种iptv中解决进度条预览卡顿的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103442252A (zh) * | 2013-08-21 | 2013-12-11 | 宇龙计算机通信科技(深圳)有限公司 | 视频处理方法及装置 |
CN103873916A (zh) * | 2012-12-13 | 2014-06-18 | 深圳市快播科技有限公司 | 一种影片缩略图的处理方法及系统、视频播放器 |
CN103905835A (zh) * | 2012-12-27 | 2014-07-02 | 腾讯科技(北京)有限公司 | 一种视频播放器的进度预览方法、装置和系统 |
CN105721620A (zh) * | 2016-05-09 | 2016-06-29 | 百度在线网络技术(北京)有限公司 | 视频信息推送方法和装置及视频信息展示方法和装置 |
CN106028068A (zh) * | 2016-06-30 | 2016-10-12 | 乐视控股(北京)有限公司 | 视频进度内容预览方法、装置及移动终端 |
CN107872729A (zh) * | 2017-11-15 | 2018-04-03 | 暴风集团股份有限公司 | 获取、生成视频帧缩略图的方法和装置及获取系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100303440A1 (en) * | 2009-05-27 | 2010-12-02 | Hulu Llc | Method and apparatus for simultaneously playing a media program and an arbitrarily chosen seek preview frame |
US9445135B2 (en) * | 2010-09-17 | 2016-09-13 | Futurewei Technologies, Inc. | Method and apparatus for scrub preview services |
US8744249B2 (en) * | 2011-06-17 | 2014-06-03 | Apple Inc. | Picture selection for video skimming |
US10841352B2 (en) * | 2012-11-27 | 2020-11-17 | International Business Machines Corporation | Non-chronological buffering of segments of a media file |
US9317188B2 (en) * | 2013-03-15 | 2016-04-19 | Arris Enterprises, Inc. | Devices and methods for providing navigation images associated with adaptive bit rate video content |
CN105100961B (zh) * | 2015-07-23 | 2018-03-13 | 华为技术有限公司 | 视频缩略图生成方法及生成装置 |
CN107277628B (zh) * | 2017-06-21 | 2019-12-17 | 上海全土豆文化传播有限公司 | 视频预览显示方法及装置 |
US10932006B2 (en) * | 2017-12-22 | 2021-02-23 | Facebook, Inc. | Systems and methods for previewing content |
CN108632676B (zh) * | 2018-05-11 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 图像的显示方法、装置、存储介质及电子装置 |
-
2018
- 2018-05-11 CN CN201810449296.3A patent/CN108632676B/zh active Active
-
2019
- 2019-04-02 WO PCT/CN2019/081012 patent/WO2019214371A1/zh active Application Filing
-
2020
- 2020-08-06 US US16/987,220 patent/US11153658B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103873916A (zh) * | 2012-12-13 | 2014-06-18 | 深圳市快播科技有限公司 | 一种影片缩略图的处理方法及系统、视频播放器 |
CN103905835A (zh) * | 2012-12-27 | 2014-07-02 | 腾讯科技(北京)有限公司 | 一种视频播放器的进度预览方法、装置和系统 |
CN103442252A (zh) * | 2013-08-21 | 2013-12-11 | 宇龙计算机通信科技(深圳)有限公司 | 视频处理方法及装置 |
CN105721620A (zh) * | 2016-05-09 | 2016-06-29 | 百度在线网络技术(北京)有限公司 | 视频信息推送方法和装置及视频信息展示方法和装置 |
CN106028068A (zh) * | 2016-06-30 | 2016-10-12 | 乐视控股(北京)有限公司 | 视频进度内容预览方法、装置及移动终端 |
CN107872729A (zh) * | 2017-11-15 | 2018-04-03 | 暴风集团股份有限公司 | 获取、生成视频帧缩略图的方法和装置及获取系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108632676A (zh) | 2018-10-09 |
WO2019214371A1 (zh) | 2019-11-14 |
US11153658B2 (en) | 2021-10-19 |
US20200404383A1 (en) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108632676B (zh) | 图像的显示方法、装置、存储介质及电子装置 | |
CN108737882B (zh) | 图像的显示方法、装置、存储介质及电子装置 | |
CN107659825B (zh) | 一种直播视频留存的方法、装置、服务器、主播端及介质 | |
CN109089154B (zh) | 一种视频提取方法、装置、设备及介质 | |
US20170171274A1 (en) | Method and electronic device for synchronously playing multiple-cameras video | |
CN111447461A (zh) | 多视角直播视频的同步切换方法、装置、设备和介质 | |
CN104735542B (zh) | 一种视频播放方法及装置 | |
CN109089127B (zh) | 一种视频拼接方法、装置、设备及介质 | |
CN108900857B (zh) | 一种多视角视频流处理方法和装置 | |
CN109168037B (zh) | 视频播放方法和装置 | |
CN104427352B (zh) | 一种用户互动分享的移动终端录放电视视频的方法及系统 | |
CN109474854B (zh) | 视频播放方法、播放列表的生成方法及相关设备 | |
US20150082343A1 (en) | Techniques to provide an enhanced video replay | |
CN113067994B (zh) | 一种视频录制方法及电子设备 | |
US20220046291A1 (en) | Method and device for generating live streaming video data and method and device for playing live streaming video | |
CN104012106A (zh) | 使表示不同视点的视频对准 | |
CN109803151B (zh) | 多媒体数据流切换方法、装置、存储介质及电子装置 | |
CN103533394A (zh) | 信息推送方法、装置和服务器 | |
CN105760490B (zh) | 一种存储资源的方法、装置及电子设备 | |
CN111355966A (zh) | 环绕自由视角直播方法及系统 | |
CN107333163A (zh) | 一种视频处理方法及装置、一种终端及存储介质 | |
CN111147911A (zh) | 视频裁剪方法、装置、电子设备和存储介质 | |
CN111050204A (zh) | 视频裁剪方法、装置、电子设备和存储介质 | |
CN108616769B (zh) | 一种视频点播的方法和装置 | |
CN106162357A (zh) | 获取视频内容的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |