CN110166795B - 一种视频截图方法及装置 - Google Patents

一种视频截图方法及装置 Download PDF

Info

Publication number
CN110166795B
CN110166795B CN201810798032.9A CN201810798032A CN110166795B CN 110166795 B CN110166795 B CN 110166795B CN 201810798032 A CN201810798032 A CN 201810798032A CN 110166795 B CN110166795 B CN 110166795B
Authority
CN
China
Prior art keywords
image
target
compensation
images
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810798032.9A
Other languages
English (en)
Other versions
CN110166795A (zh
Inventor
张志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810798032.9A priority Critical patent/CN110166795B/zh
Publication of CN110166795A publication Critical patent/CN110166795A/zh
Application granted granted Critical
Publication of CN110166795B publication Critical patent/CN110166795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play

Abstract

本发明实施例提供了一种视频截图方法及装置,涉及图像处理技术领域,该方法包括:在接收到用户输入的视频截图请求时,获取视频中目标图像以及目标图像的N帧补偿图像,N为大于0的整数。通过将目标图像中的对象与N帧补偿图像中的对象进行匹配,从N帧补偿图像中确定目标补偿图像。之后再采用确定出的目标补偿图像对目标图像进行图像增强,并将增强后的目标图像确定为用户请求的视频截图。由于在接收到用户的视频截图请求时,获取视频中当前显示的目标图像以及多帧补偿图像并从补偿图像中筛选出目标补偿图像,然后采用目标补偿图像对目标图像进行图像增强后作为视频截图输出至用户,从而提高了用户获取的视频截图的清晰度。

Description

一种视频截图方法及装置
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种视频截图方法及装置。
背景技术
目前观看视频、直播、点播等应用场景越来越多的出现在我们的生活中,当人们在观看视频时,若遇到自己喜欢或者感兴趣的内容时,会通过截图的方式将视频中感兴趣的内容截取并保存下来或分享给其他人。现有的截图方法中,当用户点击截图时,播放器将正在显示的图片作为截图输出,该截取的图片较模糊。
发明内容
由于现有技术中将视频当前显示的图片作为视频截图输出,导致用户获取的视频截图较模糊,本发明实施例提供了一种视频截图方法及装置,用以提高视频截图的质量。
第一方面,本发明实施例提供了一种视频截图方法,该方法包括:在接收到用户输入的视频截图请求时,获取视频中的目标图像以及所述目标图像的N帧补偿图像,N为大于0的整数。然后通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像。之后再采用确定出的目标补偿图像对所述目标图像进行图像增强,并将增强后的目标图像确定为用户请求的视频截图。由于在接收到用户的视频截图请求时,不仅获取了视频中当前显示的目标图像,同时选取了多帧补偿图像,采用补偿图像对目标图像进行图像增强后,提高了目标图像的清晰度。将增强后的目标图像作为视频截图输出至用户,从而提高了用户获取的视频截图的清晰度。其次在对目标图像进行增强时,根据目标图像中的对象从多帧补偿图像中筛选出目标图像,然后采用目标补偿图像对目标图像进行增强,从而一方面提高目标图像的图像增强效果,另一方面提高了图像增强的效率。
在一个可能的设计中,所述通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像,包括:
针对所述目标图像中的目标对象,分别确定所述N帧补偿图像中,每帧补偿图像中包含的各个对象与所述目标对象之间的相似度,然后将所述N帧补偿图像中与所述目标对象的相似度大于预设阈值的对象确定为匹配对象,之后再将所述N帧补偿图像中包含所述匹配对象的补偿图像确定为目标补偿图像。通过比较目标图像与各个补偿图像包含的对象之间的相似度,从各个对象中确定出匹配对象,然后将包含匹配对象的补偿图像确定为目标补偿图像,故目标补偿图像与目标图像包含相似的对象,采用目标补偿图像对目标图像进行补偿能有效提高目标图像的清晰度。
在一个可能的设计中,所述采用确定出的目标补偿图像对所述目标图像进行图像增强,包括:针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象,分别将所述目标对象以及所述目标对象的各个匹配对象划分为M个子区域,M为大于1的整数。
针对所述目标对象的M个子区域中任意一个目标子区域,将所述目标子区域的清晰度分别与各个匹配对象中对应子区域的清晰度进行比较。在确定各个匹配对象的对应子区域中存在清晰度大于所述目标子区域的清晰度的子区域时,采用所述各个匹配对象的对应子区域中清晰度最高的子区域对所述目标子区域进行图像增强。由于在对目标图像进行补偿时,分别将目标图像中的目标对象和目标补偿图像中的匹配对象进一步划分为多个子区域,通过比较目标图像的目标子区域和匹配对象中对应子区域的清晰度,采用各匹配对象中清晰度最高的子区域对目标对象的目标子区域进行增强,故一个目标对象可以采用多个清晰高的匹配对象对进行图像增强,从而显著提高目标图像的清晰度。
在一个可能的设计中,所述采用确定出的目标补偿图像对所述目标图像进行图像增强,包括:针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象,然后将所述目标对象的清晰度分别与所述目标对象的各个匹配对象的清晰度进行比较。
在确定各个匹配对象中存在清晰度大于所述目标对象的清晰度的匹配对象时,采用所述各个匹配对象中清晰度最高的匹配对象对所述目标对象进行图像增强。从各匹配对象中筛选出清晰度大于目标对象的匹配对象,然后进一步从中确定出清晰度最高的匹配对象对目标对象进行图像增强,从而提高目标图像的清晰度。
在一个可能的设计中,所述通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像之前,分别识别所述目标图像中的对象以及所述N帧补偿图像中的对象,并对所述目标图像以及所述N帧补偿图像中识别出的对象进行标记。
在一个可能的设计中,所述目标图像为当前显示的图像或由当前显示的图像及在所述当前显示的图像之后显示的M帧图像组成的图像集,所述M为大于等于1的整数。当目标图像为当前显示的图像时,采用N帧补偿图像对当前显示的图像进行增强,提高了输出的单帧视频截图的清晰度。当目标图像为图像集时,采用N帧补偿图像对图像集进行增强,提高了输出的由图像集组成的动图的清晰度。
在一个可能的设计中,所述目标图像的N帧补偿图像包括:在所述目标图像之前显示的N/2帧图像和在所述目标图像之后显示的N/2帧图像,N为大于等2的偶数。
第二方面,本发明实施例提供了一种视频截图装置,包括:
获取模块,用于在接收到用户输入的视频截图请求时,获取视频中的目标图像以及所述目标图像的N帧补偿图像,N为大于0的整数;
匹配模块,用于通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像;
处理模块,用于采用确定出的目标补偿图像对所述目标图像进行图像增强;
输出模块,用于将增强后的目标图像确定为用户请求的视频截图。
在一个可能的设计中,所述匹配模块具体用于:
针对所述目标图像中的目标对象,分别确定所述N帧补偿图像中,每帧补偿图像中包含的各个对象与所述目标对象之间的相似度;
将所述N帧补偿图像中与所述目标对象的相似度大于预设阈值的对象确定为匹配对象;
将所述N帧补偿图像中,包含所述匹配对象的补偿图像确定为目标补偿图像。
在一个可能的设计中,所述处理模块具体用于:
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;
分别将所述目标对象以及所述目标对象的各个匹配对象划分为M个子区域,M为大于1的整数;
针对所述目标对象的M个子区域中任意一个目标子区域,将所述目标子区域的清晰度分别与各个匹配对象中对应子区域的清晰度进行比较;
在确定各个匹配对象的对应子区域中存在清晰度大于所述目标子区域的清晰度的子区域时,采用所述各个匹配对象的对应子区域中清晰度最高的子区域对所述目标子区域进行图像增强。
在一个可能的设计中,所述处理模块具体用于:
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;
将所述目标对象的清晰度分别与所述目标对象的各个匹配对象的清晰度进行比较;
在确定各个匹配对象中存在清晰度大于所述目标对象的清晰度的匹配对象时,采用所述各个匹配对象中清晰度最高的匹配对象对所述目标对象进行图像增强。
在一个可能的设计中,还包括识别模块,用于在通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像之前,分别识别所述目标图像中的对象以及所述N帧补偿图像中的对象,并对所述目标图像以及所述N帧补偿图像中识别出的对象进行标记。
在一个可能的设计中,所述目标图像为当前显示的图像或由当前显示的图像及在所述当前显示的图像之后显示的M帧图像组成的图像集,所述M为大于等于1的整数。
在一个可能的设计中,所述目标图像的N帧补偿图像包括:在所述目标图像之前显示的N/2帧图像和在所述目标图像之后显示的N/2帧图像,N为大于等2的偶数。
第三方面,本发明实施例提供了一种终端设备,包括至少一个处理单元、至少一个存储单元、一个显示单元,其中,所述存储单元存储有计算机程序,当所述程序被所述处理单元执行时,使得所述处理单元执行上述任一项所述方法的步骤。
第四方面,本发明实施例提供了一种计算机可读介质,其存储有可由终端设备执行的计算机程序,当所述程序在终端设备上运行时,使得所述终端设备执行上述任一项所述方法的步骤。
本发明实施例中,由于在接收到用户的视频截图请求时,不仅获取了视频中当前显示的目标图像,同时选取了多帧补偿图像,采用补偿图像对目标图像进行图像增强后,提高了目标图像的清晰度。将增强后的目标图像作为视频截图输出至用户,从而提高了用户获取的视频截图的清晰度。其次,目标图像可以为单帧图像,也可以为多帧图像组成的图像集,故采用本发明实施例中的视频截图方法,既可以提高单帧视频截图的清晰度,也可以提高从视频中截取的由多帧图像组成的动图的清晰度。在对目标图像进行增强时,通过将目标图像中的对象与补偿图像中的对象进行匹配,从多帧补偿图像中确定目标补偿图像,然后采用目标补偿图像对目标图像进行增强,提高了图像增强的效率。另外,在进行图像增强时,以图像中的对象为单位或以对象中的子区域为单位,从目标补偿图像中确定出清晰度最高的对象或清晰度最高的子区域对目标图像中的对象或子区域进行图像增强,从而改善目标图像增强的效果,提高目标图像的清晰度。整个视频截图过程不需要用户暂停视频播放,给用户带来好的截图体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种系统架构图;
图1b为本发明实施例提供的一种终端的结构示意图;
图2为本发明实施例提供的一种视频截图方法的流程示意图;
图3为本发明实施例提供的一种确定目标补偿图像的方法的流程示意图;
图4a为本发明实施例提供的一种目标图像的示意图;
图4b为本发明实施例提供的一种补偿图像的示意图;
图4c为本发明实施例提供的一种补偿图像的示意图;
图4d为本发明实施例提供的一种补偿图像的示意图;
图5为本发明实施例提供的一种图像增强方法的流程示意图;
图6为本发明实施例提供的一种图像增强方法的流程示意图;
图7a为本发明实施例提供的一种目标图像的示意图;
图7b为本发明实施例提供的一种补偿图像的示意图;
图7c为本发明实施例提供的一种补偿图像的示意图;
图8为本发明实施例提供的一种视频截图方法的流程示意图;
图9a为本发明实施例提供的一种终端播放视频的示意图;
图9b为本发明实施例提供的一种终端播放视频的示意图;
图10为本发明实施例提供的一种视频截图装置的结构示意图;
图11为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了方便理解,下面对本发明实施例中涉及的名词进行解释。
图像增强:有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果。
清晰度:影像或图像上各细部影纹及其边界的清晰程度。
本发明实施例的技术方案适用于移动端播放的视频,也适用于电脑(PersonalComputer,简称PC)端播放的视频,其中,视频包括但是不限于网络视频、电视视频、直播视频、点播视频,视频的格式包括MPEG-1、MPEG-2、MPEG-4、AVI、RMVB、FLV等等。
本发明实施例中的技术方案适用于对各类视频截图的场景,比如,用户在使用视频播放应用程序(比如腾讯视频)观看电视剧时对播放的电视剧进行截图、用户在使用直播应用程序(比如花椒直播)观看直播时对直播视频进行截图、用户在使用通讯软件(比如微信)与朋友视频聊天时对视频聊天进行截图、对用户采用终端设备录制的视频进行截图等等。其次,采用本发明实施例中的技术方案截取的图像可以是单帧图像,也可以是多帧图像组成的动图。
图1a示例性示出了本发明实施例适用的一种系统架构示意图,如图1a所示,本发明实施例适用的系统架构包括终端101和服务器102。
终端101是具备视频播放功能的电子设备,该电子设备可以是智能手机、平板电脑或便携式个人计算机等等。终端101包括视频截图装置,该装置能对播放的视频进行截图。终端上预先安装有视频播放应用程序,用户点击视频播放应用程序上的视频图标请求播放视频。终端101在接收到用户输入的播放视频的请求时,根据用户请求的视频内容向服务器102发送视频文件请求,服务器102在接收到终端发送的视频文件请求时,从本地存储器中获取视频文件请求对应的视频文件,然后将视频文件发送至终端101。为了便于视频文件的传输,服务器102将视频文件发送至终端之前,先将视频文件的多个轨道(track)分别进行编码。视频文件的轨道包括图像轨道、音频轨道以及文本轨道,图像轨道即用户看到的画面,音频轨道就即用户听到的声音,文本轨道即显示屏上显示的字幕。编码格式可以为mpeg-1、mpeg-2、mpeg-4、h.264、vc-1等等。将视频文件的多个轨道(track)分别进行编码后,服务器102进一步将编码后的各个轨道进行封装,封装格式可以为avi、wmv、mp4、ts、mkv、rmvb/rm、flv等等。终端101接收到视频文件后,需要对视频文件进行解析和解码后才能播放。终端101通过无线网络与服务器102连接。服务器102是一台服务器或若干台服务器组成的服务器集群或云计算中心。
进一步地,在图1a所示的系统架构图中,终端101的结构示意图如图1b所示,终端101包括视频解析器1011、视频解码器1012、缓存单元1013、显示单元1014、截图缓存单元1015、图像标定单元1016、搜索匹配单元1017、图像增强单元1018以及截图保存单元1019。
终端101在接收到视频文件后,采用视频解析器1011对视频文件进行解析,将视频文件中封装的多个轨道分离开。视频解析器1011对视频文件进行解析时,针对不同的封装格式,采用对应的解析方式。视频解析器1011将解析后的数据发送至视频解码器1012,由视频解码器1012分别对各个轨道进行解码,采用的解码方式与各个轨道对应的编码格式对应。视频解码器1012将解码后的视频文件发送至缓存单元1013进行保存。可选地,视频解析器1011和视频解码器1012在对视频文件进行解析和解码时,每次读取视频文件中的一帧图像,对该帧图像进行解析和解码,然后读取下一帧图像,依次循环,直到将视频文件中所有图像解码完成。显示单元1014播放视频时,从缓存单元1013中获取解码后的视频文件并显示,显示单元1014在显示视频文件时,一帧一帧的播放视频文件中的图像。显示单元1014上设置截图图标,该截图图标可以是静态截图图标,也可以是动态截图图标。显示单元1014上可以同时设置静态截图图标和动态截图图标,由用户根据实际需求进行选择。
当用户需要从正在播放的视频中截取静图时,点击静态截图图标,在显示单元1014上触发截图操作。显示单元1014将用户的截图请求发送至缓存单元1013。缓存单元1013将目标图像以及目标图像的N帧补偿图像发送至截图缓存单元1015,目标图像为显示单元1014检测到用户点击静态截图图标时显示的图像。截图缓存单元1015将目标图像以及目标图像的N帧补偿图像进行保存。当用户连续多次点击该截图图标时,将触发多次截图操作。缓存单元1013将用户多次点击截图图标时对应的目标图像以及目标图像的N帧补偿图像发送至截图缓存单元1015。截图缓存单元1015将目标图像以及N帧补偿图像发送至图像标定单元1016。由图像标定单元1016对目标图像和N帧补偿图像中的对象进行识别并标记,并发送至搜索匹配单元1017。当图像标定单元1016确定目标图像和N帧补偿图像中存在不符合要求的图像时,比如图像中不包含任何对象的图像,可以将该图像直接删除或者将该图像反馈至截图缓存单元1015。搜索匹配单元1017将目标图像中的对象与N帧补偿图像中的对象进行匹配,从N帧补偿图像中确定目标补偿图像。之后,搜索匹配单元1017将目标图像以及目标补偿图像发送至图像增强单元1018,由图像增强单元1018采用目标补偿图像中的对象对目标图像进行图像增强。图像增强单元1018将增强后的目标图像作为用户请求的静态截图发送至截图保存单元1019进行保存,用户通过访问截图保存单元1019即可获取静态截图。
当用户需要从正在播放的视频中截取动图时,点击动态截图图标,在显示单元1014上触发截图操作。显示单元1014将用户的截图请求发送至缓存单元1013。缓存单元1013将目标图像以及目标图像的N帧补偿图像发送至截图缓存单元1015,目标图像为由当前显示的图像及在当前显示的图像之后显示的M帧图像组成的图像集,M为大于等于1的整数。截图缓存单元1015将图像集以及图像集的N帧补偿图像进行保存。当用户连续多次点击动态截图图标时,将触发多次动态截图操作。缓存单元1013将用户多次点击动态截图图标时对应的图像集以及图像集的N帧补偿图像发送至截图缓存单元1015。截图缓存单元1015将图像集以及图像集的N帧补偿图像发送至图像标定单元1016。由图像标定单元1016对图像集中每一帧图像中的对象进行识别和标定,同时对N帧补偿图像中每一帧图像中的对象进行识别并标记,并发送至搜索匹配单元1017。搜索匹配单元1017针对图像集中每一帧图像,将每一帧图像中的对象与N帧补偿图像中的对象进行匹配,从N帧补偿图像中确定每一帧图像的目标补偿图像。之后,搜索匹配单元1017将图像集以及目标补偿图像发送至图像增强单元1018,由图像增强单元1018采用图像集中每一帧图像的目标补偿图像对图像集中每一帧图像进行图像增强。图像增强单元1018将增强后的图像集中的图像进行组合成动态截图发送至截图保存单元1019,用户通过访问截图保存单元1019即可获取动态截图。
基于图1a所示的系统架构图和图1b所示的终端的结构示意图,本发明实施例提供了一种视频截图方法的流程,该方法的流程可以由视频截图装置执行,如图2所示,包括以下步骤:
步骤S201,在接收到用户输入的视频截图请求时,获取视频中的目标图像以及目标图像的N帧补偿图像,N为大于0的整数。
在一种可能的实施方式中,终端在播放视频时,在播放画面边缘设置截图图标,截图图标包括静态截图图标和动态截图图标。具体地,动态截图图标可以设置为用户单击时截取固定的视频时长,比如10s。也可以设置为用户长按时,将长按动态截图图标的时长确定为截取的视频时长。还可以设置为用户单击后,用户拖动播放进度条确定截取的视频时长。用户在需要截图静态图中,点击静态截图图标。用户在需要截图动态图中,点击动态截图图标。
在一种可能的实施方式中,终端上设置视频截图对应的截图按键,用户在需要截图时,点击终端上预设的截图按键发送视频截图请求至终端,其中可以设置单击截图按键对应静态截图,长按截图按键对应动态截图,长按的时间对应截取的视频时长。
目标图像可以为当前显示的图像,也可以为由当前显示的图像及在当前显示的图像之后显示的M帧图像组成的图像集,M为大于等于1的整数。
当目标图像为当前显示的图像时,N帧补偿图像可以是在目标图像之前显示的图像,比如在当前显示的图像之前连续显示的N帧图像;N帧补偿图像也可以是在目标图像之后显示的图像,比如在当前显示的图像之后连续显示的N帧图像;N帧补偿图像还可以是在目标图像之前和在目标图像之后显示的图像,比如在当前显示的图像之前连续显示的N/2帧图像以及在当前显示的图像之后连续显示的N/2帧图像,N为大于等于2的偶数。需要说明的是,N帧补偿图像并不仅限于在目标图像之前或在目标图像之后连续显示的图像,也可以是在目标图像之前或在目标图像之后不连续显示的图像。
当目标图像为由当前显示的图像及在当前显示的图像之后显示的M帧图像组成的图像集时,N帧补偿图像可以不包含图像集中的图像。示例性地,N帧补偿图像可以为在图像集之前连续显示的N帧图像;N帧补偿图像也可以为在图像集之后连续显示的N帧图像;N帧补偿图像还可以为在图像集之前连续显示的N/2帧图像以及在图像集之后连续显示的N/2帧图像,N为大于等于2的偶数。N帧补偿图像也可以包含图像集中的图像。示例性地,N帧补偿图像可以为图像集中最后一帧图像之前连续显示的N帧图像;N帧补偿图像也可以为当前显示的图像之后连续显示的N帧图像;N帧补偿图像还可以为图像集中的M+1帧图像、在图像集之前连续显示的(N-M-1)/2帧图像以及在图像集之后连续显示的(N-M-1)/2帧图像,(N-M-1)为大于等于2的偶数。需要说明的是,N帧补偿图像并不仅限于连续显示的图像,也可以是不连续显示的图像。
可选地,终端获取视频中目标图像以及目标图像的N帧补偿图像后,分别识别目标图像中的对象以及N帧补偿图像中的对象,并对目标图像以及N帧补偿图像中识别出的对象进行标记。当目标图像为当前显示的图像时,识别当前显示的图像中的对象并标记。当目标图像为由当前显示的图像及在当前显示的图像之后显示的M帧图像组成的图像集时,识别图像帧中每一帧图像中的对象并标记。对象包括图像中的人、物体等等。具体地,通过边缘检测算法、尺度不变特征变换算法(Scale-invariant feature transform,简称SIFT)、加速稳健特征提取算法(Speeded Up Robust Features,简称SURF)等对目标图像的对象以及N帧补偿图像中的对象进行识别,然后将识别出的对象分别进行标记。
步骤S202,通过将目标图像中的对象与N帧补偿图像中的对象进行匹配从N帧补偿图像中确定目标补偿图像。
在一种可能的实施方式中,直接将N帧补偿图像确定为目标补偿图像,比如,选取在目标图像之前连续显示的N/2帧图像以及在目标图像之后连续显示的N/2帧图像作为N帧补偿图像,然后选取的N帧补偿图像确定为目标补偿图像。
在另一种可能的实施方式中,根据目标图像中的对象与N帧补偿图像中的对象的相似度确定目标补偿图像。
当目标图像为当前显示的图像时,根据当前显示的图像中的对象与N帧补偿图像中的对象的相似度,确定当前显示的图像的目标补偿图像。
当目标图像为由当前显示的图像及在当前显示的图像之后显示的M帧图像组成的图像集时,针对图像集中每一帧图像,根据每一帧图像中的对象与N帧补偿图像中的对象的相似度,确定每一帧图像的目标补偿图像。
具体地,根据目标图像中的对象与N帧补偿图像中的对象的相似度确定目标补偿图像,包括以下步骤,如图3所示:
步骤S301,针对目标图像中的目标对象,分别确定N帧补偿图像中,每帧补偿图像中包含的各个对象与目标对象之间的相似度。
示例性的,如图4a所示,设定目标图像为当前显示的图像,通过对目标图像进行识别和标记确定出目标图像中包含目标对象A、目标对象B。目标图像的补偿图像分别为补偿图像1、补偿图像2和补偿图像3,通过对补偿图像1进行识别和标记确定出补偿图像中包含对象a、对象b,补偿图像1的示意图如图4b所示。通过对补偿图像2进行识别和标记确定出补偿图像中包含对象c、对象d、对象e,补偿图像2的示意图如图4c所示。通过对补偿图像3进行识别和标记确定出补偿图像中包含对象f、对象g,补偿图像3的示意图如图4d所示。
采用图像相似度算法分别计算目标对象A与对象a、对象b、对象c、对象d、对象e、对象f、对象g之间的相似度以及分别计算目标对象B与对象a、对象b、对象c、对象d、对象e、对象f、对象g之间的相似度,计算结果如表1所示:
表1.
Figure BDA0001736418940000131
具体实施中,图像相似度算法可以是SIFT算法、哈希算法等等。下面以计算目标对象A与对象a之间的相似度为例进行示例性说明,过程如下:
首先将目标对象A与对象a缩放到指定尺寸,并将目标对象A与对象a处理为灰度图;然后分别计算目标对象A中每行像素点的平均值以及对象a中每行像素点的平均值;接着根据目标对象A中每行像素点的平均值计算目标对象A的方差,根据对象a中每行像素点的平均值计算目标对象a的方差;之后再计算目标对象A的方差与目标对象a的方差之间的差值,根据该差值的大小确定目标对象A与目标对象a之间的相似度,其中,该差值越小,目标对象A与目标对象a之间的相似度越大。
步骤S302,将N帧补偿图像中与目标对象的相似度大于预设阈值的对象确定为匹配对象。
步骤S303,将N帧补偿图像中,包含匹配对象的补偿图像确定为目标补偿图像。
预设阈值根据实际情况进行设定,比如将相似度的预设阈值设为80%,由表1可知,在补偿图像1、补偿图像2和补偿图像3中,与目标对象A的相似度大于预设阈值的对象为对象c和对象f,与目标对象B的相似度大于预设阈值的对象为对象d和对象g,故对象c、对象d、对象f和对象g均为匹配对象。由于补偿图像1中不存在匹配对象,补偿图像2中的对象c和对象d为匹配对象,补偿图像3中的对象f和对象g为匹配对象,故将补偿图像2和补偿图像3确定为目标补偿图像。当目标图像为图像集时,确定图像集中每一帧图像的目标补偿图像的方法与确定当前显示的图像的目标补偿图像的方法相同,此处不再赘述。由于选取出来的补偿图像中的对象并不一定与目标对象相关,直接采用补偿图像对目标图像进行图像增强不能到达好的效果,因此需要对补偿图像进一步进行筛选。通过计算补偿图像中的对象与目标对象之间相似度,然后根据对象之间的相似度从补偿图像中筛选出目标补偿图像,故目标补偿图像中至少存在一个与目标对象相似的匹配对象,采用目标补偿图像对目标图像进行增强,一方面提高了图像增强的效果,另一方面提高了图像增强的效率。
步骤S203,采用确定出的目标补偿图像对目标图像进行图像增强。
步骤S204,将增强后的目标图像确定为用户请求的视频截图。
视频截图可以为由单帧图像组成的静态截图,比如jpg格式的静态图。视频截图也可以为由多帧图像组成的动态截图,比如gif格式的动态图。
当目标图像为当前显示的图像时,采用当前显示的图像的目标补偿图像对目当前显示的图像进行图像增强,然后将增强后的当前显示的图像确定为用户请求的静态截图。
当目标图像为由当前显示的图像及在当前显示的图像之后显示的M帧图像组成的图像集时,针对图像集中每一帧图像,采用每一帧图像的目标补偿图像对每一帧图像进行图像增强。当对图像集中所有图像进行图像增强后,将图像集中的图像进行组合,输出用户请求的动态截图。
具体地,在步骤S203中,采用确定出的目标补偿图像对目标图像进行图像增强时,至少包括以下两种方法:
在一种可能的实施方式中,采用目标补偿图像中的匹配对象对目标图像中的目标对象进行图像增强,具体包括以下步骤,如图5所示:
步骤S501,针对目标图像中的目标对象,从各个目标补偿图像中确定目标对象的匹配对象。
比如,由表1可知,补偿图像2和补偿图像3为当前显示的图像的目标补偿图像,目标对象A的匹配对象为补偿图像2中的对象c以及补偿图像3中的对象f。目标对象B的匹配对象为补偿图像2中的对象d以及补偿图像3中的对象g。
步骤S502,将目标对象的清晰度分别与目标对象的各个匹配对象的清晰度进行比较。
在将目标对象的清晰度与各个匹配对象的清晰度进行比较之前,采用清晰度评估算法分别对目标对象以及各个匹配对象的清晰度进行评估。可选地,清晰度评估算法包括但不限于Brenner梯度法、Tenegrad梯度法、laplace梯度法、方差法、能量梯度法。
在将目标对象的清晰度与各个匹配对象的清晰度进行比较时,可以将目标对象的清晰度分别与每个匹配对象的清晰度进行比较。比如,将目标对象A的清晰度与对象c的清晰度进行比较,然后将目标对象A的清晰度与对象f的清晰度进行比较。也可以将目标对象的清晰度与所有匹配对象的清晰度进行比较。比如,将标对象A的清晰度、对象c的清晰度以及对象f的清晰度三者进行比较。
步骤S503,在确定各个匹配对象中存在清晰度大于目标对象的清晰度的匹配对象时,采用各个匹配对象中清晰度最高的匹配对象对目标对象进行图像增强。
比如,若补偿图像2中对象c的清晰度以及补偿图像3中对象f的清晰度均高于目标对象A的清晰度,则进一步比较补偿图像2中对象c的清晰度以及补偿图像3中对象f的清晰度,采用对象c和对象f中清晰度最高的对象对目标对象A进行图像增强。
若补偿图像2中对象c的清晰度以及补偿图像3中对象f的清晰度中存在一个对象的清晰度高于目标对象A的清晰度,则采用该清晰度高于目标对象A的清晰度的对象对目标对象A进行图像增强。
若补偿图像2中对象c的清晰度以及补偿图像3中对象f的清晰度均小于目标对象A的清晰度,则不对目标对象A进行图像增强。目标对象B的图像增强过程与目标对象A的图像增强过程相同,此处不再赘述。
具体实施中,采用各个匹配对象中清晰度最高的匹配对象对目标对象进行图像增强时,使用的图像增强算法包括对数图像增强算法、指数图像增强算法、基于拉普拉斯算子的图像增强算法等等。当目标图像为图像集时,针对图像集中每一帧图像,采用每一帧图像的目标补偿图像中的匹配对象对每一帧图像中的目标对象进行图像增强的方法,与上述采用当前显示的图像的目标补偿图像中的匹配对象对当前显示的图像的目标对象进行图像增强的方法相同,此处不再赘述。
本发明实施例中,通过比较目标对象与各匹配对象的清晰度,从各匹配对象中选取清晰度最高的匹配对象对目标对象进行图像增强,从而改善目标对象的清晰度,进一步也能提高目标图像的清晰度。
在另一种可能的实施方式中,采用匹配对象的对应子区域对目标图像中的目标子区域进行图像增强,具体包括以下步骤,如图6所示:
步骤S601,针对目标图像中的目标对象,从各个目标补偿图像中确定目标对象的匹配对象。
比如,由表1可知,补偿图像2和补偿图像3为当前显示的图像的目标补偿图像,目标对象A的匹配对象为补偿图像2中的对象c以及补偿图像3中的对象f。目标对象B的匹配对象为补偿图像2中的对象d以及补偿图像3中的对象g。
步骤S602,分别将目标对象以及目标对象的各个匹配对象划分为M个子区域,M为大于1的整数。
具体地,一个子区域可以是一个像素,也可以是多个像素组成的区域。
示例性地,如图7a所示,将目标对象A划分为3个子区域,分别为目标子区域A1、目标子区域A2以及目标子区域A3。对应将目标对象A的各个匹配对象划分为3个子区域,即将对象c划分为3个子区域,分别子区域c1、子区域c2以及子区域c3,如图7b所示。将对象f划分为3个子区域,分别子区域f1、子区域f2以及子区域f3,如图7c所示。
步骤S603,针对目标对象的M个子区域中任意一个目标子区域,将目标子区域的清晰度分别与各个匹配对象中对应子区域的清晰度进行比较。
示例性地,如图7a、图7b及图7c所示,将目标子区域A1的清晰度分别与子区域c1的清晰度和子区域f1的清晰度进行比较,将目标子区域A2的清晰度分别与子区域c2的清晰度和子区域f2的清晰度进行比较,将目标子区域A3的清晰度分别与子区域c3的清晰度和子区域f3的清晰度进行比较。
步骤S604,在确定各个匹配对象的对应子区域中存在清晰度大于目标子区域的清晰度的子区域时,采用各个匹配对象的对应子区域中清晰度最高的子区域对目标子区域进行图像增强。
示例性地,针对目标子区域A1,若子区域c1的清晰度和子区域f1的清晰度均高于目标子区域A1的清晰度,则进一步比较子区域c1的清晰度和子区域f1的清晰度,将子区域c1和子区域f1中清晰度最高的子区域对目标子区域A1进行图像增强。若子区域c1的清晰度以及子区域f1的清晰度中存在一个子区域的清晰度高于目标子区域A1的清晰度,则采用该清晰度高于目标子区域A1的清晰度的子区域对目标子区域A1进行图像增强。若子区域c1的清晰度以及子区域f1的清晰度中均小于目标子区域A1的清晰度,则不对目标子区域A1进行图像增强。采用上述相同的方法确定出对目标子区域A2和目标子区域A2进行图像增强的子区域。图像增强过程中使用的图像增强算法包括对数图像增强算法、指数图像增强算法、基于拉普拉斯算子的图像增强算法等等。需要说明的是,当目标图像为图像集时,上述采用匹配对象的对应子区域对目标图像中的目标子区域进行图像增强的方法同样适用于图像集中每一帧图像。
由于将目标对象以及匹配对象对应划分为M个区域,然后比较每个子区域的相似度,采用相似度最高的子区域对目标子区域进行图像增强,故一个目标对象可以采用多个匹配对象的子区域进行图像增强,从而能显著提高目标图像的清晰度。
为了更好的解释本发明实施例,下面基于具体实施场景描述本发明实施例提供的一种视频截图方法,如图8所示。设定终端上预先安装视频播放应用程序,用户通过视频播放应用程序观看电视剧时,在终端屏幕上点击想观看的电视剧的图标。终端向服务器发送电视剧对应的视频请求。服务器接收到视频请求后,根据终端发送的视频请求向终端发送电视剧对应的视频流。终端在接收到视频流时,采用媒体解析器801对视频流进行解析,将视频流中封装的多个轨道分离开。媒体解析器801将解析后的视频流发送至视频解码器802,由视频解码器802分别对视频流的各个轨道进行解码。解码后的视频流保存在缓存单元803中,解码后的视频流为YUV格式的数据。循环上述步骤,对新接收的视频流进行解析解码后保存在缓存单元803中。然后由缓存单元803将YUV格式的视频流发送至显示单元804进行显示。具体地,显示单元804在显示视频流时,可以先将视频流进行缩放,再采用开放图形库(Open Graphics Library,Opengl)显示。
显示单元804显示视频流之后,用户可以在终端屏幕上看到电视剧,对应如图9a所示。若用户对电视剧中的主角M穿的衣服感兴趣,想保存主角M的照片以便后续根据照片去商场购买同款衣服。用户可以在看到当前显示的图像中包含主角M时,用手指点击图9a所示的屏幕右侧的静态截图图标,在显示单元804上触发静态截图操作。然后由显示单元804将用户的截图请求发送至缓存单元803。缓存单元803将显示单元804当前显示的图像以及当前显示的图像的前后T帧图像发送至截图缓存模块805。截图缓存模块805保存当前显示的图像以及当前显示的图像的前后T帧图像。当用户连续多次点击静态截图图标时,将触发多次截图操作,截图缓存模块805保存多次静态截图操作对应的图像,然后按照用户点击静态截图图标的顺序依次将静态截图操作对应的图像发送至智能分析模块806。
智能分析模型806对当前显示的图像以及当前显示的图像的前后T帧图像中的对象进行识别和标定。示例性地,设定当前显示的图像中为电视剧主角M在操场上跑步的图像,那么当前显示的图像中的对象至少包括主角M。采用边缘检测算法识别出当前显示的图像中的主角M,然后对图像中主角M所在的区域进行标定。同理,若前后T帧图像中也包含主角M,则采用边缘检测算法可以识别前后T帧图像中的主角M,并对主角M所在的区域进行标定。然后将标定后的当前显示的图像以及当前显示的图像的前后T帧图像发送至搜索匹配模块807。
针对当前显示的图像中标定的每一个对象,搜索匹配模块807计算该对象与前后T帧图像中标定的对象的相似度,将前后T帧图像中与该对象的相似度大于预设阈值的对象确定为该对象的匹配对象,并将前后T帧图像中包含匹配对象的图像确定为目标补偿图像。示例性地,针对当前显示的图像中识别并标定的主角M,计算图像中主角M与前后T帧图像中标定的每一个对象的相似度,若当前显示的图像的后一帧图像中标定的对象A与当前显示的图像中主角M的相似度大于预设值,则将对象A确定为当前显示的图像中主角M的匹配对象,将当前显示的图像的后一帧图像确定为当前显示的图像的目标补偿图像。搜索匹配模块807将当前显示的图像以及当前显示的图像的目标补偿图像发送至智能增强模块808。
针对当前显示的图像中的每一个对象,智能增强模块808确定该对象的目标补偿图像以及目标补偿图像中的匹配对象,然后比较该对象与匹配对象的清晰度,采用清晰度大于该对象的匹配对象对该对象进行图像增强。当出现多个匹配对象的清晰度大于该对象的清晰度时,采用多个匹配对象中清晰度最高的匹配对象对该对象进行图像增强。示例性地,设定当前显示的图像中主角M的目标补偿图像为当前显示的图像的后两帧图像,这两帧目标补偿图像中,主角M的匹配对象分别为对象A和对象B。将主角M的清晰度与对象A的清晰度进行比较,将主角M的清晰度与对象B的清晰度进行比较。若对象A与对象B的清晰度均大于主角M的清晰度,则进一步比较对象A和对象B的清晰度。若对象A的清晰度大于对象B的清晰度,则采用对象A对当前显示的图像中的主角M进行图像增强。智能增强模块808对当前显示的图像中的每个对象进行增强后,将当前显示的图像作为用户请求的视频截图发送至截图保存单元809进行保存,用户通过访问截图保存单元809即可获取视频截图。用户根据视频截图可以清晰地看到电视剧主角M所穿的衣服的特点,便于在商场或者网上寻找同款衣服。由于采用目标补偿图像对当前显示的图像进行图像增强,提高了当前显示的图像的清晰度。将增强后的当前显示的图像作为视频截图输出至用户,从而提高了用户获取的视频截图的清晰度。
为了更好的解释本发明实施例,下面基于具体实施场景描述本发明实施例提供的另一种视频截图方法,如图8所示。设定终端上预先安装视频播放应用程序,用户通过视频播放应用程序观看足球比赛,对应如图9b所示。若用户感觉足球比赛中球员W射门的动作很精彩,想保存球员W射门的动态图,用户可以用手指点击图9b所示的屏幕右侧的动态截图图标。当用户单击动态截图图标时,在显示单元804上触发截图操作。然后由显示单元804将用户的截图请求发送至缓存单元803。缓存单元803将由当前显示的图像以及在当前显示的图像之后显示的19帧图像组成的图像集发送至截图缓存模块805,同时将图像集、在图像集之前显示的5帧图像以及在图像集之后显示5帧图像作为图像集的补偿图像发送至截图缓存模块805。
截图缓存模块805保存图像集以及图像集的补偿图像。当用户连续多次点击动态截图图标时,将触发多次动态截图操作,截图缓存模块805保存多次动态截图操作对应的图像,然后按照用户点击动态截图图标的顺序依次将动态截图操作对应的图像发送至智能分析模块806。
从图像集中的第一帧图像开始,智能分析模型806对每一帧图像采用边缘检测算法识别出图像中的对象并标定,比如图像中的足球、球门、球员W,然后对图像中足球、球门、球员W所在的区域进行标定。同理,采用边缘检测算法识别图像集的30帧补偿图像中的对象并进行标定。然后将标定后的图像集以及图像集的补偿图像发送至搜索匹配模块807。
针对图像集中的每一帧图像,搜索匹配模块807通过将每一帧图像中的对象与补偿图像中的对象进行匹配,从补偿图像中确定每一帧图像的目标补偿图像。比如,设定图像集第一帧图像中识别并标定了球员W,计算图像集第一帧图像中球员W与30帧补偿图像中标定的每一个对象的相似度。若30帧补偿图像中在图像集第一帧图像之前显示的两帧图像中标定的对象P、对象Q与图像集第一帧图像中标定的球员W的相似度大于预设值,则将对象P、对象Q确定为图像集第一帧图像中球员W的匹配对象,将图像集第一帧图像的前两帧图像确定为图像集第一帧图像的目标补偿图像。基于同样的方法可以确定出图像集中每一帧图像的目标补偿图像。搜索匹配模块807将图像集以及图像集的目标补偿图像发送至智能增强模块808。
针对图像集中的每一帧图像,智能增强模块808采用每一帧图像的目标补偿图像中的匹配对象对每一帧图像中的对象进行图像增强。示例性地,设定图像集第一帧图像的目标补偿图像为该帧图像之前显示的两帧图像,这两帧目标补偿图像中均包含球员W的匹配对象,分别为对象P、对象Q。将球员W的清晰度与对象P的清晰度进行比较,将球员W的清晰度与对象Q的清晰度进行比较。若对象P的清晰度大于球员W的清晰度,对象Q的清晰度均小于球员W的清晰度,则采用对象P对图像集第一帧图像中的球员W进行图像增强。基于同样的方法,对图像集第一帧图像中其它对象进行图像增强。进一步地,采用对图像集第一帧图像进行增强的方法对图像集中其它图像进行图像增强。智能增强模块808对图像集中的每一帧图像进行增强后,将图像集中的图像组合成动态截图发送至截图保存单元809进行保存。用户通过访问截图保存单元809即可获取动态截图。用户根据动态截图可以清晰地看到球员W射门的过程,给用户带来好的截图体验。
基于相同的技术构思,本发明实施例提供了一种视频截图装置,如图10所示,该视频截图装置通过硬件或者软硬件的结合实现成为图1a中终端101的全部或者一部分,该装置1000包括:获取模块1001、匹配模块1002、处理模块1003以及输出模块1004。
获取模块1001,用于在接收到用户输入的视频截图请求时,获取视频中当前显示的目标图像以及所述目标图像的N帧补偿图像,N为大于0的整数;
匹配模块1002,用于通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像;
处理模块1003,用于采用确定出的目标补偿图像对所述目标图像进行图像增强;
输出模块1004,用于将增强后的目标图像确定为用户请求的视频截图。
在一个可能的设计中,所述匹配模块1002具体用于:
针对所述目标图像中的目标对象,分别确定所述N帧补偿图像中,每帧补偿图像中包含的各个对象与所述目标对象之间的相似度;
将所述N帧补偿图像中与所述目标对象的相似度大于预设阈值的对象确定为匹配对象;
将所述N帧补偿图像中,包含所述匹配对象的补偿图像确定为目标补偿图像。
在一个可能的设计中,所述处理模块1003具体用于:
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;
分别将所述目标对象以及所述目标对象的各个匹配对象划分为M个子区域,M为大于1的整数;
针对所述目标对象的M个子区域中任意一个目标子区域,将所述目标子区域的清晰度分别与各个匹配对象中对应子区域的清晰度进行比较;
在确定各个匹配对象的对应子区域中存在清晰度大于所述目标子区域的清晰度的子区域时,采用所述各个匹配对象的对应子区域中清晰度最高的子区域对所述目标子区域进行图像增强。
在一个可能的设计中,所述处理模块1003具体用于:
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;
将所述目标对象的清晰度分别与所述目标对象的各个匹配对象的清晰度进行比较;
在确定各个匹配对象中存在清晰度大于所述目标对象的清晰度的匹配对象时,采用所述各个匹配对象中清晰度最高的匹配对象对所述目标对象进行图像增强。
在一个可能的设计中,还包括识别模块1005,用于在通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像之前,分别识别所述目标图像中的对象以及所述N帧补偿图像中的对象,并对所述目标图像以及所述N帧补偿图像中识别出的对象进行标记。
在一个可能的设计中,所述目标图像为当前显示的图像或由当前显示的图像及在所述当前显示的图像之后显示的M帧图像组成的图像集,所述M为大于等于1的整数。
在一个可能的设计中,所述目标图像的N帧补偿图像包括:在所述目标图像之前显示的N/2帧图像和在所述目标图像之后显示的N/2帧图像,N为大于等2的偶数。
基于相同的技术构思,本发明实施例提供了一种终端设备,如图11所示,包括至少一个处理器1101,以及与至少一个处理器连接的存储器1102,本发明实施例中不限定处理器1101与存储器1102之间的具体连接介质,图11中处理器1101和存储器1102之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中,存储器1102存储有可被至少一个处理器1101执行的指令,至少一个处理器1101通过执行存储器1102存储的指令,可以执行前述的视频截图方法中所包括的步骤。
其中,处理器1101是终端设备的控制中心,可以利用各种接口和线路连接终端设备的各个部分,通过运行或执行存储在存储器1102内的指令以及调用存储在存储器1102内的数据,从而实现视频截图。
可选的,处理器1101可包括一个或多个处理单元,处理器1101可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。
可以理解的是,上述调制解调处理器也可以不集成到处理器1101中。在一些实施例中,处理器1101和存储器1102可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器1101可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器1102作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1102可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器1102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本发明实施例中的存储器1102还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
该终端设备还包括输入单元1103、显示单元1104、射频单元1105、音频电路1106、扬声器1107、麦克风1108、无线保真(Wireless Fidelity,WiFi)模块1109、蓝牙模块1110、电源1111、外部接口1112、耳机插孔1113等部件。
输入单元1103可用于接收用户输入的启动摄像头拍摄视频帧的指令等等。例如,输入单元1103可包括触摸屏11031以及其它输入设备11032。触摸屏11031可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏11031上或在触摸屏11031附近的操作),即触摸屏11031可用于检测触摸压力以及触摸输入位置和触摸输入面积,并根据预先设定的程序驱动相应的连接装置。触摸屏11031可以检测用户对触摸屏11031的触控操作,将触控操作转换为触控信号发送给处理器1101,或者理解为可将触控操作的触控信息发送给处理器1101,并能接收处理器1101发来的命令并加以执行。触控信息至少可以包括压力大小信息和压力持续时长信息中的至少一种。触摸屏11031可以提供终端设备和用户之间的输入界面和输出界面。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏11031。除了触摸屏11031,输入单元1103还可以包括其它输入设备11032。比如,其它输入设备11032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1104可用于显示由用户输入的信息或提供给用户的信息,比如显示视频或者视频截图。进一步的,触摸屏11031可覆盖显示单元1104,当触摸屏11031检测到在其上或附近的触控操作后,传送给处理器1101以确定的触控操作的压力信息。
在本发明实施例中,触摸屏11031与显示单元1104可以集成为一个部件而实现终端设备的输入、输出、显示功能。为便于描述,本发明实施例以触摸屏11031代表触摸屏11031和显示单元1104的功能集为例进行示意性说明,当然在某些实施例中,触摸屏11031与显示单元1104也可以作为两个独立的部件。
当显示单元1104和触摸板以层的形式彼此叠加以形成触摸屏11031时,显示单元1104可以用作输入装置和输出装置,在作为输出装置时,可以用于显示图像,例如显示视频帧。显示单元1104可以包括液晶显示器(Liquid Crystal Display,LCD)、薄膜晶体管液晶显示器(Thin Film Transistor Liquid Crystal Display,TFT-LCD)、有机发光二极管(Organic Light Emitting Diode,OLED)显示器、有源矩阵有机发光二极体(ActiveMatrix Organic Light Emitting Diode,AMOLED)显示器、平面转换(In-PlaneSwitching,IPS)显示器、柔性显示器、三维显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,根据特定想要的实施方式,终端设备可以包括两个或更多显示单元。
射频单元1105可用于收发信息或通话过程中信号的接收和发送。通常,射频电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,射频单元1205还可以通过无线通信与网络设备和其它设备通信。无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
音频电路1106、扬声器1107、麦克风1108可提供用户与终端设备之间的音频接口。音频电路1106可将接收到的音频数据转换后的电信号,传输到扬声器1107,由扬声器1107转换为声音信号输出。
另一方面,麦克风1108将收集的声音信号转换为电信号,由音频电路1106接收后转换为音频数据,再将音频数据输出处理器1101处理后,经射频单元1105以发送给比如另一电子设备,或者将音频数据输出至存储器1102以便进一步处理,音频电路也可以包括耳机插孔1113,用于提供音频电路和耳机之间的连接接口。
WiFi属于短距离无线传输技术,终端设备通过WiFi模块1109可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块1109,但是可以理解的是,其并不属于终端设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
蓝牙是一种短距离无线通讯技术。利用蓝牙技术,能够有效地简化掌上电脑、笔记本电脑和手机等移动通信终端设备之间的通信,也能够成功地简化以上这些设备与因特网(Internet)之间的通信,终端设备通过蓝牙模块1110使终端设备与因特网之间的数据传输变得更加迅速高效,为无线通信拓宽道路。蓝牙技术是能够实现语音和数据无线传输的开放性方案。虽然图11示出了WiFi模块1109,但是可以理解的是,其并不属于终端设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
终端设备还可以包括电源1111(比如电池),其用于接收外部电力为终端设备内的各个部件供电。
优选的,电源1111可以通过电源管理系统与处理器1101逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
终端设备还可以包括外部接口1112,该外部接口1112可以包括标准的Micro USB接口,也可以包括多针连接器,可以用于连接终端设备与其它设备进行通信,也可以用于连接充电器为终端设备充电。
尽管未示出,终端设备还可以包括摄像头、闪光灯等其它可能的功能模块,在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质,其存储有可由终端设备执行的计算机程序,当所述程序在终端设备上运行时,使得所述终端设备执行视频截图方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种视频截图方法,其特征在于,包括:
在接收到用户输入的视频截图请求时,获取视频中的目标图像以及所述目标图像的N帧补偿图像,N为大于0的整数;
通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像;
采用确定出的目标补偿图像对所述目标图像进行图像增强;
将增强后的目标图像确定为用户请求的视频截图;
所述采用确定出的目标补偿图像对所述目标图像进行图像增强,具体包括:
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;将所述目标对象的清晰度分别与所述目标对象的各个匹配对象的清晰度进行比较,并在确定各个匹配对象中存在清晰度大于所述目标对象的清晰度的匹配对象时,采用所述各个匹配对象中,清晰度最高的匹配对象对所述目标对象进行图像增强;或者,
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;分别将所述目标对象以及所述目标对象的各个匹配对象划分为M个子区域,M为大于1的整数;针对所述目标对象的M个子区域中任意一个目标子区域,将所述目标子区域的清晰度分别与各个匹配对象中对应子区域的清晰度进行比较,并在确定各个匹配对象的对应子区域中,存在清晰度大于所述目标子区域的清晰度的子区域时,采用所述各个匹配对象的对应子区域中,清晰度最高的子区域对所述目标子区域进行图像增强。
2.如权利要求1所述的方法,其特征在于,所述通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像,包括:
针对所述目标图像中的目标对象,分别确定所述N帧补偿图像中,每帧补偿图像中包含的各个对象与所述目标对象之间的相似度;
将所述N帧补偿图像中与所述目标对象的相似度大于预设阈值的对象确定为匹配对象;
将所述N帧补偿图像中,包含所述匹配对象的补偿图像确定为目标补偿图像。
3.如权利要求1所述的方法,其特征在于,所述通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像之前,还包括:
分别识别所述目标图像中的对象以及所述N帧补偿图像中的对象,并对所述目标图像以及所述N帧补偿图像中识别出的对象进行标记。
4.如权利要求1至3任一所述的方法,其特征在于,所述目标图像为当前显示的图像或由当前显示的图像及在所述当前显示的图像之后显示的M帧图像组成的图像集,所述M为大于等于1的整数。
5.如权利要求4所述的方法,其特征在于,所述目标图像的N帧补偿图像包括:在所述目标图像之前显示的N/2帧图像和在所述目标图像之后显示的N/2帧图像,N为大于等2的偶数。
6.一种视频截图装置,其特征在于,包括:
获取模块,用于在接收到用户输入的视频截图请求时,获取视频中的目标图像以及所述目标图像的N帧补偿图像,N为大于0的整数;
匹配模块,用于通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像;
处理模块,采用确定出的目标补偿图像对所述目标图像进行图像增强;
输出模块,用于将增强后的目标图像确定为用户请求的视频截图;
所述处理模块具体用于:
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;将所述目标对象的清晰度分别与所述目标对象的各个匹配对象的清晰度进行比较,并在确定各个匹配对象中存在清晰度大于所述目标对象的清晰度的匹配对象时,采用所述各个匹配对象中,清晰度最高的匹配对象对所述目标对象进行图像增强;或者,
针对所述目标图像中的目标对象,从各个目标补偿图像中确定所述目标对象的匹配对象;分别将所述目标对象以及所述目标对象的各个匹配对象划分为M个子区域,M为大于1的整数;针对所述目标对象的M个子区域中任意一个目标子区域,将所述目标子区域的清晰度分别与各个匹配对象中对应子区域的清晰度进行比较,并在确定各个匹配对象的对应子区域中,存在清晰度大于所述目标子区域的清晰度的子区域时,采用所述各个匹配对象的对应子区域中,清晰度最高的子区域对所述目标子区域进行图像增强。
7.如权利要求6所述的装置,其特征在于,所述匹配模块具体用于:
针对所述目标图像中的目标对象,分别确定所述N帧补偿图像中,每帧补偿图像中包含的各个对象与所述目标对象之间的相似度;
将所述N帧补偿图像中与所述目标对象的相似度大于预设阈值的对象确定为匹配对象;
将所述N帧补偿图像中,包含所述匹配对象的补偿图像确定为目标补偿图像。
8.如权利要求6所述的装置,其特征在于,还包括识别模块,用于在通过将所述目标图像中的对象与所述N帧补偿图像中的对象进行匹配,从所述N帧补偿图像中确定目标补偿图像之前,分别识别所述目标图像中的对象以及所述N帧补偿图像中的对象,并对所述目标图像以及所述N帧补偿图像中识别出的对象进行标记。
9.如权利要求6至8任一所述的装置,其特征在于,所述目标图像为当前显示的图像或由当前显示的图像及在所述当前显示的图像之后显示的M帧图像组成的图像集,所述M为大于等于1的整数。
10.如权利要求9所述的装置,其特征在于,所述目标图像的N帧补偿图像包括:在所述目标图像之前显示的N/2帧图像和在所述目标图像之后显示的N/2帧图像,N为大于等2的偶数。
11.一种计算机可读介质,其存储有可由终端设备执行的计算机程序,其特征在于,当所述程序在终端设备上运行时,使得所述终端设备执行权利要求1至5任一所述方法的步骤。
12.一种终端设备,包括至少一个处理单元、至少一个存储单元、一个显示单元,其特征在于,所述存储单元存储有计算机程序,当所述计算机程序被所述处理单元执行时,使得所述处理单元执行权利要求1至5任一所述方法的步骤。
CN201810798032.9A 2018-07-19 2018-07-19 一种视频截图方法及装置 Active CN110166795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810798032.9A CN110166795B (zh) 2018-07-19 2018-07-19 一种视频截图方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810798032.9A CN110166795B (zh) 2018-07-19 2018-07-19 一种视频截图方法及装置

Publications (2)

Publication Number Publication Date
CN110166795A CN110166795A (zh) 2019-08-23
CN110166795B true CN110166795B (zh) 2022-02-18

Family

ID=67645080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810798032.9A Active CN110166795B (zh) 2018-07-19 2018-07-19 一种视频截图方法及装置

Country Status (1)

Country Link
CN (1) CN110166795B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572706B (zh) * 2019-09-29 2021-05-11 深圳传音控股股份有限公司 视频截屏方法、终端及计算机可读存储介质
CN110910805A (zh) * 2019-12-31 2020-03-24 深圳创维-Rgb电子有限公司 一种显示屏的补偿调节装置及其补偿调节方法
CN111738362B (zh) * 2020-08-03 2020-12-01 成都睿沿科技有限公司 对象识别方法及装置、存储介质及电子设备
CN112565865A (zh) * 2020-11-30 2021-03-26 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN113825023B (zh) * 2021-11-02 2023-12-05 户龙辉 视频文件处理方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523513A (zh) * 2011-12-31 2012-06-27 西南交通大学 基于视频播放器精确获取原视频文件图像的实现方法
CN102681839A (zh) * 2011-01-18 2012-09-19 宏伍工作室公司 用于产生增强型屏幕快照的系统及方法
CN102892008A (zh) * 2011-07-20 2013-01-23 美国博通公司 双图像捕获处理
CN103024328A (zh) * 2012-12-28 2013-04-03 北京汉邦高科数字技术股份有限公司 一种提高数字视频录像机抓图质量的方法
CN103491455A (zh) * 2013-03-29 2014-01-01 吴晗 视频播放控制系统
CN105404455A (zh) * 2015-12-16 2016-03-16 北京奇虎科技有限公司 利用终端对移动终端实现截屏的方法及装置
CN108259991A (zh) * 2018-03-14 2018-07-06 优酷网络技术(北京)有限公司 视频处理方法及装置
US10025986B1 (en) * 2015-04-27 2018-07-17 Agile Sports Technologies, Inc. Method and apparatus for automatically detecting and replaying notable moments of a performance

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5448983B2 (ja) * 2010-04-05 2014-03-19 三菱電機株式会社 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
CN102905138A (zh) * 2011-07-27 2013-01-30 苏州科雷芯电子科技有限公司 一种视频高分辨率重建的方法
TW201441935A (zh) * 2013-04-26 2014-11-01 Hon Hai Prec Ind Co Ltd 視訊截圖系統及方法
CN105677131A (zh) * 2014-11-21 2016-06-15 中兴通讯股份有限公司 一种截图图像输出方法及装置
CN106372607A (zh) * 2016-09-05 2017-02-01 努比亚技术有限公司 一种从视频中提取图片的方法及移动终端
KR20180045732A (ko) * 2016-10-26 2018-05-04 주식회사 넥슨코리아 스크린샷 생성 장치 및 방법
CN107657591A (zh) * 2017-09-05 2018-02-02 维沃移动通信有限公司 一种图像处理方法及移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681839A (zh) * 2011-01-18 2012-09-19 宏伍工作室公司 用于产生增强型屏幕快照的系统及方法
CN102892008A (zh) * 2011-07-20 2013-01-23 美国博通公司 双图像捕获处理
CN102523513A (zh) * 2011-12-31 2012-06-27 西南交通大学 基于视频播放器精确获取原视频文件图像的实现方法
CN103024328A (zh) * 2012-12-28 2013-04-03 北京汉邦高科数字技术股份有限公司 一种提高数字视频录像机抓图质量的方法
CN103491455A (zh) * 2013-03-29 2014-01-01 吴晗 视频播放控制系统
US10025986B1 (en) * 2015-04-27 2018-07-17 Agile Sports Technologies, Inc. Method and apparatus for automatically detecting and replaying notable moments of a performance
CN105404455A (zh) * 2015-12-16 2016-03-16 北京奇虎科技有限公司 利用终端对移动终端实现截屏的方法及装置
CN108259991A (zh) * 2018-03-14 2018-07-06 优酷网络技术(北京)有限公司 视频处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于多帧视频的文本图像质量增强方法;朱成军,李超,薛玲,熊璋;《中国图象图形学报》;20080930;第13卷(第9期);全文 *

Also Published As

Publication number Publication date
CN110166795A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110166795B (zh) 一种视频截图方法及装置
US10425679B2 (en) Method and device for displaying information on video image
US11438637B2 (en) Computerized system and method for automatic highlight detection from live streaming media and rendering within a specialized media player
US10645332B2 (en) Subtitle displaying method and apparatus
CN107801096B (zh) 视频播放的控制方法、装置、终端设备及存储介质
JP6735927B2 (ja) ビデオコンテンツの要約処理
US9531985B2 (en) Measuring user engagement of content
CN107682714B (zh) 一种获取在线视频截图的方法及装置
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
WO2017181598A1 (zh) 视频播放方法及装置
CN111541930B (zh) 直播画面的显示方法、装置、终端及存储介质
CN104796781A (zh) 视频片段提取方法及装置
CN110691281B (zh) 视频播放处理方法、终端设备、服务器及存储介质
CN110248245B (zh) 一种视频定位方法、装置、移动终端及存储介质
WO2017181597A1 (zh) 视频播放方法及装置
WO2017084306A1 (zh) 一种在移动设备浏览器中视频播放关键信息的方法及装置
CN108845742B (zh) 一种图像画面的获取方法和装置以及计算机可读存储介质
CN112771881A (zh) 弹幕处理方法、装置、电子设备及计算机可读取存储介质
CN110223221B (zh) 一种动态图像播放的方法及终端设备
EP4093039A1 (en) Video playing method and apparatus
CN112511779B (zh) 视频数据的处理方法、装置、计算机存储介质和电子设备
US20230368338A1 (en) Image display method and apparatus, and electronic device
CN111526380B (zh) 视频处理方法、装置、服务器、电子设备及存储介质
CN111274449B (zh) 视频播放方法、装置、电子设备和存储介质
US20200057890A1 (en) Method and device for determining inter-cut time range in media item

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant