CN114173203A - 一种视频播放中截取图像的方法、装置与计算设备 - Google Patents
一种视频播放中截取图像的方法、装置与计算设备 Download PDFInfo
- Publication number
- CN114173203A CN114173203A CN202210014567.9A CN202210014567A CN114173203A CN 114173203 A CN114173203 A CN 114173203A CN 202210014567 A CN202210014567 A CN 202210014567A CN 114173203 A CN114173203 A CN 114173203A
- Authority
- CN
- China
- Prior art keywords
- screenshot
- portrait
- area
- video file
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000003860 storage Methods 0.000 claims description 22
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000003825 pressing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Abstract
本发明公开了一种视频播放中截取图像的方法、装置与计算设备。上述方法包括步骤:响应于用户针对播放中的视频文件的截取图像的操作;根据用户的选择操作将所述视频文件当前帧的一个或者多个部分区域作为截图区域;在所述视频文件当前帧上截取所述截图区域,获得对应的一个或者多个局部截图;跟踪所述视频文件当前帧的截图区域的目标,在所述视频文件播放过程中,以预设的视频截取频率截取每个局部截图对应的多帧图片,直到接收到用户针对所述视频文件的截取终止操作或者到达预设的终止时长;以及,利用每个局部截图及其对应的多帧图片,生成该局部截图的动态图。本发明一并公开了相应的装置和计算设备。
Description
技术领域
本发明涉及视频处理技术领域,尤其是一种视频播放中截取图像的方法、装置与计算设备。
背景技术
当前主流视频播放器都支持对视频图像的截取,用户可以在视频播放或者暂停过程中,点击鼠标右键选择保存截图功能,截取当前视频图像。
部分播放器还支持将一段视频图像保存成GIF(Graphics Interchange Format,图形交换格式)格式的动态图。用户可以在视频播放或者暂停过程中,调整进度到需要截取GIF动态图的位置,点击鼠标右键选择GIF动态图截取功能,设置截取时间和图像尺寸后即可制作GIF动态图。用户截取的动态图可以用于保存、分享等。
目前主流播放器截图视频画面基本上是截取整体的视频图像,无法任意区域截图或者识别图像中的头像,播放器截图功能单一,使用体验有待提高。
发明内容
为此,本发明提供了一种视频播放中截取图像的方法、装置与计算设备,以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面,提供了一种视频播放中截取图像的方法,包括步骤:响应于用户针对播放中的视频文件的截取图像的操作;根据用户的选择操作将所述视频文件当前帧的一个或者多个部分区域作为截图区域;在所述视频文件当前帧上截取所述截图区域,获得对应的一个或者多个局部截图;跟踪所述视频文件当前帧的截图区域的目标,在所述视频文件播放过程中,以预设的视频截取频率截取每个局部截图对应的多帧图片,直到接收到用户针对所述视频文件的截取终止操作或者到达预设的终止时长;以及,利用每个局部截图及其对应的多帧图片,生成该局部截图的动态图。
可选地,在根据本发明的方法中,根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域的步骤包括:识别出所述视频文件当前帧中的一个或者多个人像;根据每个所述人像的坐标范围,确定覆盖所述坐标范围的矩形区域作为每个所述人像对应的待截图区域;根据用户选择的一个或者多个待截图区域,确定截图区域。
可选地,在根据本发明的方法中,根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域的步骤包括:接收用户在所述视频文件当前帧选择的一条或者多条路径;将每条所述路径的起点和终点交汇产生的闭合区域作为截图区域。
可选地,在根据本发明的方法中,在所述视频文件当前帧上截取所述截图区域的步骤之后还包括:跟踪所述视频文件当前帧的截图区域的目标,在所述视频文件播放过程中,以预设的视频截取频率截取图片,直到接收到用户针对所述视频文件的截取终止操作或者到达预设的终止时长;将所述当前帧作为起始时刻,将截取的多帧图片组成动态图。
可选地,在根据本发明的方法中,根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域的步骤之前还包括:对所述视频文件进行人像识别,保存每个人像的人像时间信息,所述人像时间信息包括所述人像出现的开始时间、结束时间和人物标识信息。
可选地,在根据本发明的方法中,确定覆盖所述坐标范围的矩形区域的步骤包括:将所述当前帧检测到的一个或者多个人像与保存的每个人像时间信息进行对比,根据对比结果,确定检测到的一个或者多个人像对应的人像时间信息;将覆盖每个人像的坐标范围的最小矩形作为每个所述人像对应的矩形区域,并在所述矩形区域标注对应的人像时间信息。
可选地,在根据本发明的方法中,根据用户选择的一个或者多个待截图区域,确定截图区域的步骤包括:当用户选择多个待截图区域时,将覆盖所述多个待截图区域的最小矩形作为截图区域,或者根据每个人像的坐标范围,分别确定出每个人像对应的截图区域;当多个待截图区域存在重叠且用户选择一个待截图区域时,根据图像识别的边缘检测算法确定截图区域。
根据本发明的另一方面,还提供了一种视频播放中截取图像的装置,包括:响应模块,适于响应于用户针对播放中的视频文件的截取图像的操作;推荐模块,适于根据用户的选择操作将所述视频文件当前帧的一个或者多个部分区域作为截图区域;截取模块,适于在所述视频文件当前帧上截取所述截图区域,获得对应的一个或者多个局部截图;跟踪模块,适于跟踪所述视频文件当前帧的截图区域的目标,在所述视频文件播放过程中,以预设的视频截取频率截取每个局部截图对应的多帧图片,直到接收到用户针对所述视频文件的截取终止操作或者到达预设的终止时长;以及,拼接模块,适于利用每个局部截图及其对应的多帧图片,生成该局部截图的动态图。
可选地,在根据本发明的装置中,还包括:检索模块,适于在根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域之前,对所述视频文件进行人像识别,保存每个人像的人像时间信息,所述人像时间信息包括所述人像出现的开始时间、结束时间和人物标识信息。
根据本发明的另一方面,还提供了一种计算设备,包括:至少一个处理器和存储有程序指令的存储器;当程序指令被处理器读取并执行时,使得计算设备执行如上的视频播放中截取图像的方法。
根据本发明的再一方面,还提供了一种存储有程序指令的可读存储介质,当程序指令被计算设备读取并执行时,使得计算设备执行如上的视频播放中截取图像的方法。
根据本发明的视频播放中截取图像的方法、装置与计算设备,能够实现以下有益效果:
本申请可以截取视频图像的任意区域;也可以根据用户选择自动获取截图区域。本申请可以提供动态图提醒功能,提高用户体验度。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的示意图;
图2示出了根据本发明一个实施例的视频播放中截取图像的方法200的流程图;
图3示出了根据本发明一个实施例的智能推荐截图区域的流程图;
图4示出了根据本发明一个实施例的用户自主选择获取截图区域的流程图;
图5示出了根据本发明一个实施例的GIF截图提醒功能流程图;
图6示出了根据本发明一个实施例的视频播放中截取图像装置400的结构示意图;
图7是根据本申请实施例的第一种计算机可读存储介质的示意性结构框图;
图8是根据本申请实施例的第二种计算机可读存储介质的示意性结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
针对相关技术中截图功能单一的问题,本发明提供了一种视频播放中截取图像的方法,能够截取视频图像的任意区域;并提供动态图提醒功能,提高用户体验度。
本发明的视频播放中截取图像的方法在计算设备中执行。计算设备可以是任意具有存储和计算能力的设备,其例如可以实现为服务器、工作站等,也可以实现为桌面计算机、笔记本计算机等个人配置的计算机,或者实现为手机、平板电脑、智能可穿戴设备、物联网设备等终端设备,但不限于此。
图1示出了根据本发明一个实施例的计算设备100的示意图。需要说明的是,图1所示的计算设备100仅为一个示例,在实践中,用于实施本发明的视频播放中截取图像的方法的计算设备可以是任意型号的设备,其硬件配置情况可以与图1所示的计算设备100相同,也可以与图1所示的计算设备100不同。实践中用于实施本发明的视频播放中截取图像的方法的计算设备可以对图1所示的计算设备100的硬件组件进行增加或删减,本发明对计算设备的具体硬件配置情况不做限制。
如图1所示,在基本的配置102中,计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置,处理器104可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置,系统存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM,磁盘中的数据需要加载至物理内存中才能够被处理器104读取。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。操作系统120例如可以是Linux、Windows等,其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令,应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等,但不限于此。当应用122被安装到计算设备100中时,可以向操作系统120添加驱动模块。
在计算设备100启动运行时,处理器104会从存储器106中读取操作系统120的程序指令并执行。应用122运行在操作系统120之上,利用操作系统120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时,应用122会加载至存储器106中,处理器104从存储器106中读取并执行应用122的程序指令。
计算设备100还包括储存设备132,储存设备132包括可移除储存器136和不可移除储存器138,可移除储存器136和不可移除储存器138均与储存接口总线134连接。
计算设备100还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
在根据本发明的计算设备100中,应用122包括用于执行本发明的视频播放中截取图像的方法200的指令,该指令可以指示处理器104执行本发明的视频播放中截取图像的方法200,以截取视频图像的部分区域。
图2示出了根据本发明一个实施例的视频播放中截取图像的方法200的流程图。视频播放中截取图像的方法200在计算设备(例如前述计算设备100)中执行,本发明的视频播放中截取图像的方法200,根据用户的选择操作截取视频图像的任意区域;并提供动态图提醒功能,提高用户体验度。如图2所示,视频播放中截取图像的方法200可以包括步骤S210至步骤S250。
在步骤S210中,响应于用户针对播放中的视频文件的截取图像的操作。
本发明实施例中,用户可以通过鼠标或者触屏下使用手指触发区域截图功能(例如长按鼠标右键,点击鼠标左键,点击鼠标右键,单指长按屏幕等触发),也可以使用鼠标或者手指唤起菜单,选择进入到区域截图功能(例如长按鼠标右键,点击鼠标右键,在触屏环境下使用单指长按屏幕触发,再例如鼠标移动至屏幕边框的预设距离,手指上滑或者下滑等)。
在步骤S220中,根据用户的选择操作将该视频文件当前帧的部分区域作为截图区域。
根据一种实现方式,在步骤S220中根据用户的选择操作将该视频文件当前帧的部分区域作为截图区域的步骤包括如图3所示的步骤S310至步骤S330。
步骤S310中,识别出该视频文件当前帧中的一个或者多个人像。
步骤S320中,根据每个人像的坐标范围,确定覆盖该坐标范围的矩形区域作为每个人像对应的待截图区域。
步骤S330中,根据用户选择的一个或者多个待截图区域,确定截图区域。
根据另一种实现方式,在步骤S220中根据用户的选择操作将该视频文件当前帧的部分区域作为截图区域的步骤包括如图4所示的步骤S410至步骤S420。
步骤S410中,接收用户在该视频文件当前帧选择的一条或者多条路径。
步骤S420中,将每条路径的起点和终点交汇产生的闭合区域作为截图区域。
本发明实施例中,支持两种方式获取当前帧的部分区域作为截图区域,第一种方式为智能推荐截图区域,可以方便快速截取图片,第二种方式,根据用户自主选择截图区域,可以任意区域截取图片。
对于第一种方式,在接收到用户的截取图像的操作后,可根据实时画面中的内容,识别出当前帧中的一个或者多个人像(可以仅包括头部,也可以包括人物的头部和身体),智能推荐待截图区域,供用户选择,用户在选择智能推荐的待截图区域时,可以通过从智能推荐的待截图区域中选择,确认截图区域。根据选择好的截图区域截取图像。对于第二种方式,用户可以通过操作(例如长按后移动触发)自定义选择或者调整截图区域,根据移动路径的起点和终点交汇产生的闭合区域作为截图区域,再次操作(例如点击)截图区域完成截图。
对于第二种方式,通过点击其他非智能推荐区域或其他方式清空智能推荐区域。开启自主选择截图区域,用户选择截图区域时的图形不限,可定制图形,但需要是一个闭合的区域。在结束绘制时,通过闭合路径函数,最后一个绘制的点,自动连接到开始绘制的点。
对于第一种方式,步骤S330中根据用户选择的一个或者多个待截图区域,确定截图区域的步骤包括:当用户选择多个待截图区域时,将覆盖多个待截图区域的最小矩形作为截图区域,或者根据每个人像的坐标范围,分别确定出每个人像对应的截图区域;当多个待截图区域存在重叠且用户选择一个待截图区域时,根据图像识别的边缘检测算法确定截图区域。
本发明实施例中,在播放器播放视频文件过程中获取视频文件的当前图像,再通过OpenCV(基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库)提供的人像识别功能,将识别到的人像坐标范围绘制成边框作为待截图区域,本发明实施例中,可以将所有待截图区域的坐标范围按序号记录在缓存中。
实际的视频文件播放过程中,可能出现当前帧中识别出多个人像的情况,若出现多个不存在重叠区域的人像,用户选择任意一个人像时,根据该人像的坐标范围计算截图区域(可以是覆盖该人像的坐标范围的最小矩形围合的区域,也可以是覆盖该人像的坐标范围的其他形状的区域),完成对该人像的截图。用户选择单个人像的同时再次选择其他人像,根据多个人像的坐标范围计算出恰当的截图区域,截图区域会将多个人像区域包含(可以是覆盖多个人像的坐标范围的最小矩形围合的区域),完成对多个人像的截图。用户还可以通过快捷方式(例如点击播放器的功能按钮)触发截取全部人像的功能,根据所有人像的坐标范围计算出包含所有人像区域的截图区域(可以是覆盖所有人像的坐标范围的最小矩形围合的区域,可以是与现有技术相同截取当前帧完整的图像),完成对所有人像的截图。本发明实施例也可以在当前帧中,截取多个人像的截图区域分别保存,通过一次操作在当前帧上截取多个截图区域。用户选择需要分别截取的多个人像,根据多个人像的坐标范围计算出各自对应的截图区域,完成对多个人像的截图区域的分别截图。
若待截图区域存在重叠,即出现存在重叠区域的人像,用户选择任意一个人像时,可以根据图像识别的边缘检测算法确定截图区域。也可以在用户选择非重叠区域时,确定截取该人像的截图,该人像的截图范围为根据该人像的坐标范围计算截图区域(可以是覆盖该人像的坐标范围的最小矩形围合的区域,此区域可能包括其他人像的全部或者部分),在用户选择重叠区域时,确定截取重叠的两个或者多个人像的截图,该两个或者多个人像的截图范围为根据该人像的坐标范围计算截图区域(可以是覆盖多个人像的坐标范围的最小矩形围合的区域)。用户也可以通过快捷方式(例如点击播放器的功能按钮)触发截取全部人像的功能,根据所有人像的坐标范围计算出包含所有人像区域的截图区域(可以是覆盖所有人像的坐标范围的最小矩形围合的区域,可以是与现有技术相同截取当前帧完整的图像),完成对所有人像的截图。
其中,对于待截图区域存在重叠的情况,例如待截图区域A与待截图区域B存在重叠区域C,可以表示为A∩B=C;在用户选择A-C的部分时,确定截取的是待截图区域A,在用户选择B-C的部分时,确定截取的是待截图区域B,用户选择重叠区域C时,确定截取待截图区域A和待截图区域B,确定的截图区域可以为A∪B,或者同时覆盖待截图区域A和待截图区域B的最小矩形围合的区域。与不存在重叠区域的情况一样,本发明实施例也可以在当前帧中,截取多个人像的截图区域分别保存,通过一次操作在当前帧上截取多个截图区域。用户选择需要分别截取的多个人像,根据多个人像的坐标范围计算出各自对应的截图区域,完成对多个人像的截图区域的分别截图。
对于自主选择截图区域,本发明实施例也可以在当前帧中,截取多条路径围合的截图区域分别保存,通过一次操作在当前帧上截取多个截图区域。用户选择需要分别截取的多条路径,根据多条路径的闭合区域,完成对多个人像的截图区域的分别截图。
在步骤S230中,在该视频文件当前帧上截取截图区域,获得对应的一个或者多个局部截图。
本发明实施例可以在当前帧上截取静态图,可以是单张的图片或者多张的图片,也可以在视频文件播放过程中截取动态图,根据一种实现方式,在截取动态图时,在步骤S240中在该视频文件当前帧上截取截图区域的步骤之后还包括:跟踪该视频文件当前帧的截图区域的目标,在该视频文件播放过程中,以预设的视频截取频率截取每个局部截图对应的多帧图片,直到接收到用户针对该视频文件的截取终止操作或者到达预设的终止时长。
根据一种实现方式,在步骤S250中,利用每个局部截图及其对应的多帧图片,生成该局部截图的动态图。
本发明实施例中,针对每个局部截图,将当前帧中的局部截图作为起始时刻,按照时间顺序,将该局部截图对应的多帧图片组成动态图。
本发明实施例中,可以预先设置生成一定时长的GIF图,视频截取帧率可以为20FPS(Frames Per Second,每秒传输帧数),若是选择第一种方式一一智能推荐区域,在用户选择单个人像时,跟踪该人像,在该视频文件播放过程中,截取图片,每次截图的图片可以比第一张的区域范围大,也可能比第一张的区域范围小,根据该人像自动调整截图区域的大小。当用户选择某个单个人像对应的区域的同时再次选择其他人像对应的区域,根据多个人像的坐标范围计算出恰当的截图区域(可以是覆盖多个人像的坐标范围的最小矩形围合的区域),在该视频文件播放过程中,截取图片,每次截图的图片可以比第一张的区域范围大,也可能比第一张的区域范围小,根据多个人像自动调整截图区域的大小。例如两个目标距离越来越远,截图区域的尺寸不是固定不变的,图像的内容在变成动图时需要进行归一化处理,能表示相对距离。
本发明实施例中,根据截图区域记录第一帧推荐区域内的人脸信息(人脸的宽度,高度等),在用户点击播放视频后,视频播放器播放下一帧图片时,通过OpenCV识别人像,将当前帧推荐区域内的人像与第一帧推荐区域人像进行对比,匹配完成后,重新确定截图区域,根据重新确定的截图区域截取图片,最后采用ffmpeg制作GIF图片;若是自主选择截图区域的方式,点击播放视频,通过播放器获取每帧播放图片,根据截图区域的路径,由播放器获取当前帧图片,跟踪用户原始选择的区域或者目标,重新确定截图区域,包括截图区域的路径,根据路径重新截取图片,这样就可以得到选择区域的截图,例如用户在视频左上角选择了一个直径为一厘米的圆,圆内图像是彩虹,根据图像跟踪算法,之后的帧,跟随彩虹截图。最后采用ffmpeg制作GIF图片。此时截取的多张图片可以保持用户选择的路径不变,即由路径的起点和终点交汇产生的闭合区域的形状不变,(图片大小可能会变化),图像的内容在变成动图时需要进行归一化处理,能表示相对距离。
与截取静态图相同的,本发明实施例也可以截取多个动态图分别保存,通过一次操作在视频文件中截取多个动态图。用户选择需要分别截取的多个人像或者多条路径,根据多个人像的坐标范围或者多条路径计算出各自对应的截图区域,分别跟踪多个人像或者多条路径的目标,完成对多个人像或者多条路径的目标的动态图的分别截图。
本发明实施例还提供动态图提醒功能,根据一种实现方式,在步骤S220中根据用户的选择操作将该视频文件当前帧的部分区域作为截图区域的步骤之前还包括:对该视频文件进行人像识别,保存每个人像的人像时间信息,人像时间信息包括人像出现的开始时间、结束时间和人物标识信息。
根据一种实现方式,在步骤S220中确定覆盖坐标范围的矩形区域的步骤包括:将当前帧检测到的一个或者多个人像与保存的每个人像时间信息进行对比,根据对比结果,确定检测到的一个或者多个人像对应的人像时间信息;将覆盖每个人像的坐标范围的最小矩形作为每个人像对应的矩形区域,并在矩形区域标注对应的人像时间信息。
本发明实施例中,启动动态图提醒的过程如图5所示:接收用户通过操作(例如点击应用菜单选项)开启GIF截图提醒功能,功能开启后打开视频,通过本发明实施例的方法将视频逐帧提取为多张图片进行提前分析,通过OpenCV对提取出的图片进行人像识别,将相同人像出现的开始时间和结束时间和人像信息作为人像时间信息保存下来;其中同一人像可以多次出现在一段视频中,此时分别保存,即连续出现的同一人像作为一项人像时间信息保存,多次出现的同一人像分别保存对应的人像时间信息,例如人像X在一段视频中,分别在3分-5分出现、15分-15分30秒出现,将人像X出现的两次分别保存对应的人像时间信息。对于其他人像做相同处理。在播放视频过程中,通过OpenCV识别人像,将当前帧检测到的人像与提前保存好的人像时间信息进行对比,对比结果为相同人像时,在该人像智能推荐区域的边框顶部添加人像时间信息,用于提醒用户该人像将出现多长时间,显示的时间可以为开始时间和结束时间的时间差,时间数值会随着播放时间的增加而逐渐减少,时间消耗空,意味着人像消失,此时对应的边框上的提醒信息也随之消失。在提醒过程中接收到用户的截图操作(尤其是截取动态图的操作),跟踪该视频文件当前帧的截图区域的目标,在该视频文件播放过程中,以预设的视频截取频率截取图片,直到接收到用户针对该视频文件的截取终止操作或者到达预设的终止时长;将当前帧作为起始时刻,将截取的多帧图片组成动态图,完成GIF截图。
本发明实施例中,动态图截取可以从接收到用户的截取动态图操作开始,接收到截取动态图终止操作时截图结束,也可以截取预设时长的动态图。例如用户可以长按智能推荐区域,长按3秒后开始GIF截图操作,松开操作时截图结束。本发明实施例中的显示的时间会随着视频播放进度的增加而减少,人像时间消耗空且人像消失时提醒信息随之消失。
如图6所示,本发明实施例还提供一种视频播放中截取图像的装置,包括:响应模块610、推荐模块620、截取模块630、跟踪模块640和拼接模块650。
其中,响应模块610,适于响应于用户针对播放中的视频文件的截取图像的操作;推荐模块620,适于根据用户的选择操作将该视频文件当前帧的一个或者多个部分区域作为截图区域;截取模块630,适于在该视频文件当前帧上截取截图区域,获得对应的一个或者多个局部截图;跟踪模块640,适于跟踪该视频文件当前帧的截图区域的目标,在该视频文件播放过程中,以预设的视频截取频率截取每个局部截图对应的多帧图片,直到接收到用户针对该视频文件的截取终止操作或者到达预设的终止时长;以及,拼接模块650,适于利用每个局部截图及其对应的多帧图片,生成该局部截图的动态图。
根据一种实现方式,推荐模块620根据用户的选择操作将该视频文件当前帧的部分区域作为截图区域适于:识别出该视频文件当前帧中的一个或者多个人像;根据每个人像的坐标范围,确定覆盖坐标范围的矩形区域作为每个人像对应的待截图区域;根据用户选择的一个或者多个待截图区域,确定截图区域。
根据一种实现方式,推荐模块620根据用户的选择操作将该视频文件当前帧的部分区域作为截图区域适于:接收用户在该视频文件当前帧选择的一条或者多条路径;将每条路径的起点和终点交汇产生的闭合区域作为截图区域。
根据一种实现方式,推荐模块620根据用户的选择操作将该视频文件当前帧的部分区域作为截图区域之前还适于:对该视频文件进行人像识别,保存每个人像的人像时间信息,人像时间信息包括人像出现的开始时间、结束时间和人物标识信息。
根据一种实现方式,推荐模块620确定覆盖坐标范围的矩形区域适于:将当前帧检测到的一个或者多个人像与保存的每个人像时间信息进行对比,根据对比结果,确定检测到的一个或者多个人像对应的人像时间信息;将覆盖每个人像的坐标范围的最小矩形作为每个人像对应的矩形区域,并在矩形区域标注对应的人像时间信息。
根据一种实现方式,推荐模块620根据用户选择的一个或者多个待截图区域,确定截图区域适于:当用户选择多个待截图区域时,将覆盖多个待截图区域的最小矩形作为截图区域,或者根据每个人像的坐标范围,分别确定出每个人像对应的截图区域;当多个待截图区域存在重叠且用户选择一个待截图区域时,根据图像识别的边缘检测算法确定截图区域。
本申请实施例还提供了一种计算设备,参照图7,该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序,该计算机程序存储于存储器1120中的用于程序代码的空间1130,该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。
本申请实施例还提供了一种计算机可读存储介质。参照图8,该计算机可读存储介质包括用于程序代码的存储单元,该存储单元设置有用于执行根据本发明的方法步骤的程序1131′,该程序被处理器执行。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的视频播放中截取图像的方法。
以示例而非限制的方式,可读介质括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的优选实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。
Claims (10)
1.一种视频播放中截取图像的方法,包括步骤:
响应于用户针对播放中的视频文件的截取图像的操作;
根据用户的选择操作将所述视频文件当前帧的一个或者多个部分区域作为截图区域;
在所述视频文件当前帧上截取所述截图区域,获得对应的一个或者多个局部截图;
跟踪所述视频文件当前帧的截图区域的目标,在所述视频文件播放过程中,以预设的视频截取频率截取每个局部截图对应的多帧图片,直到接收到用户针对所述视频文件的截取终止操作或者到达预设的终止时长;以及
利用每个局部截图及其对应的多帧图片,生成该局部截图的动态图。
2.如权利要求1所述的方法,其中,根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域的步骤包括:
识别出所述视频文件当前帧中的一个或者多个人像;
根据每个所述人像的坐标范围,确定覆盖所述坐标范围的矩形区域作为每个所述人像对应的待截图区域;
根据用户选择的一个或者多个待截图区域,确定截图区域。
3.如权利要求1所述的方法,其中,根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域的步骤包括:
接收用户在所述视频文件当前帧选择的一条或者多条路径;
将每条所述路径的起点和终点交汇产生的闭合区域作为截图区域。
4.如权利要求2所述的方法,其中,根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域的步骤之前还包括:
对所述视频文件进行人像识别,保存每个人像的人像时间信息,所述人像时间信息包括所述人像出现的开始时间、结束时间和人物标识信息。
5.如权利要求4所述的方法,其中,确定覆盖所述坐标范围的矩形区域的步骤包括:
将所述当前帧检测到的一个或者多个人像与保存的每个人像时间信息进行对比,根据对比结果,确定检测到的一个或者多个人像对应的人像时间信息;
将覆盖每个人像的坐标范围的最小矩形作为每个所述人像对应的矩形区域,并在所述矩形区域标注对应的人像时间信息。
6.如权利要求2所述的方法,其中,根据用户选择的一个或者多个待截图区域,确定截图区域的步骤包括:
当用户选择多个待截图区域时,将覆盖所述多个待截图区域的最小矩形作为截图区域,或者根据每个人像的坐标范围,分别确定出每个人像对应的截图区域;
当多个待截图区域存在重叠且用户选择一个待截图区域时,根据图像识别的边缘检测算法确定截图区域。
7.一种视频播放中截取图像的装置,包括:
响应模块,适于响应于用户针对播放中的视频文件的截取图像的操作;
推荐模块,适于根据用户的选择操作将所述视频文件当前帧的一个或者多个部分区域作为截图区域;
截取模块,适于在所述视频文件当前帧上截取所述截图区域,获得对应的一个或者多个局部截图;
跟踪模块,适于跟踪所述视频文件当前帧的截图区域的目标,在所述视频文件播放过程中,以预设的视频截取频率截取每个局部截图对应的多帧图片,直到接收到用户针对所述视频文件的截取终止操作或者到达预设的终止时长;以及
拼接模块,适于利用每个局部截图及其对应的多帧图片,生成该局部截图的动态图。
8.如权利要求7所述的装置,其中,还包括:检索模块,
适于在根据用户的选择操作将所述视频文件当前帧的部分区域作为截图区域之前,对所述视频文件进行人像识别,保存每个人像的人像时间信息,所述人像时间信息包括所述人像出现的开始时间、结束时间和人物标识信息。
9.一种计算设备,包括:
至少一个处理器和存储有程序指令的存储器;
当所述程序指令被所述处理器读取并执行时,使得所述计算设备执行如权利要求1-6中任一项所述的视频播放中截取图像的方法。
10.一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如权利要求1-6中任一项所述的视频播放中截取图像的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210014567.9A CN114173203A (zh) | 2022-01-05 | 2022-01-05 | 一种视频播放中截取图像的方法、装置与计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210014567.9A CN114173203A (zh) | 2022-01-05 | 2022-01-05 | 一种视频播放中截取图像的方法、装置与计算设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114173203A true CN114173203A (zh) | 2022-03-11 |
Family
ID=80489176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210014567.9A Pending CN114173203A (zh) | 2022-01-05 | 2022-01-05 | 一种视频播放中截取图像的方法、装置与计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114173203A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104080005A (zh) * | 2014-07-10 | 2014-10-01 | 福州瑞芯微电子有限公司 | 一种截取动态图像的装置及方法 |
CN105307051A (zh) * | 2015-05-04 | 2016-02-03 | 维沃移动通信有限公司 | 视频处理方法及装置 |
CN106412691A (zh) * | 2015-07-27 | 2017-02-15 | 腾讯科技(深圳)有限公司 | 一种视频图像的截取方法和装置 |
WO2019019635A1 (zh) * | 2017-07-25 | 2019-01-31 | 平安科技(深圳)有限公司 | 动态图的生成装置、方法及计算机可读存储介质 |
WO2021238943A1 (zh) * | 2020-05-29 | 2021-12-02 | 维沃移动通信有限公司 | Gif图片生成方法、装置及电子设备 |
-
2022
- 2022-01-05 CN CN202210014567.9A patent/CN114173203A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104080005A (zh) * | 2014-07-10 | 2014-10-01 | 福州瑞芯微电子有限公司 | 一种截取动态图像的装置及方法 |
CN105307051A (zh) * | 2015-05-04 | 2016-02-03 | 维沃移动通信有限公司 | 视频处理方法及装置 |
CN106412691A (zh) * | 2015-07-27 | 2017-02-15 | 腾讯科技(深圳)有限公司 | 一种视频图像的截取方法和装置 |
WO2019019635A1 (zh) * | 2017-07-25 | 2019-01-31 | 平安科技(深圳)有限公司 | 动态图的生成装置、方法及计算机可读存储介质 |
WO2021238943A1 (zh) * | 2020-05-29 | 2021-12-02 | 维沃移动通信有限公司 | Gif图片生成方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11114130B2 (en) | Method and device for processing video | |
US9690388B2 (en) | Identification of a gesture | |
US9330292B2 (en) | Two-dimensional code scanning method and device | |
KR102225802B1 (ko) | 반응형 영상 생성방법 및 생성프로그램 | |
US9772771B2 (en) | Image processing for introducing blurring effects to an image | |
US11146739B2 (en) | Method for image shooting, terminal device, and storage medium | |
US20140325439A1 (en) | Method for outputting image and electronic device thereof | |
CN109242765B (zh) | 一种人脸图像处理方法、装置和存储介质 | |
KR20180018561A (ko) | 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법 | |
KR20100051648A (ko) | 디지털 영상의 영역들을 조작하는 방법 | |
US20140354540A1 (en) | Systems and methods for gesture recognition | |
CN104508680B (zh) | 改善之视讯追踪 | |
WO2018076622A1 (zh) | 图像处理方法、装置及终端 | |
CN111556336B (zh) | 一种多媒体文件处理方法、装置、终端设备及介质 | |
WO2023045207A1 (zh) | 任务处理方法及装置、电子设备、存储介质和计算机程序 | |
JP6698996B1 (ja) | 文字検出方法、読書補助装置及び媒体 | |
CN113709545A (zh) | 视频的处理方法、装置、计算机设备和存储介质 | |
WO2019218622A1 (zh) | 元素控制方法、装置、设备及存储介质 | |
CN114173203A (zh) | 一种视频播放中截取图像的方法、装置与计算设备 | |
CN112367487B (zh) | 视频录制方法和电子设备 | |
US11481940B2 (en) | Structural facial modifications in images | |
CN113347356A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
CN112286430A (zh) | 图像处理方法、装置、设备及介质 | |
CN112749769A (zh) | 图形码检测方法、装置、计算机设备及存储介质 | |
CN113225613B (zh) | 图像识别、视频直播方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |