CN112686908A - 图像处理方法、信息展示方法、电子设备及存储介质 - Google Patents
图像处理方法、信息展示方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112686908A CN112686908A CN202011567419.7A CN202011567419A CN112686908A CN 112686908 A CN112686908 A CN 112686908A CN 202011567419 A CN202011567419 A CN 202011567419A CN 112686908 A CN112686908 A CN 112686908A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target object
- object area
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 164
- 230000011218 segmentation Effects 0.000 claims abstract description 115
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 238000006073 displacement reaction Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000003062 neural network model Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开关于一种图像处理方法、信息展示方法、电子设备及存储介质。图像处理方法可以包括:获取目标图像;将目标图像输入目标对象检测模型,进行目标对象分割检测处理,得到目标图像的目标分割图;基于目标图像和目标分割图,获取目标对象区域图像;将目标对象区域图像输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息;基于目标对象区域图像和目标对象区域图像对应的像素点光流信息,生成目标对象区域图像对应的目标视频。根据本公开的技术方案,可以充分利用已有的目标图像,自动高效地生成目标图像中目标对象区域图像对应的目标视频。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及一种图像处理方法、信息展示方法、电子设备及存储介质。
背景技术
现有的广告和宣传中,一般选择以图像的形式实现广告或宣传,但无法凸显图像中的关键元素,即不能有效地体现广告或宣传的内容,导致用户对广告或宣传的关键元素的感知不充分。如果直接将图像中的关键元素拼成一个视频用于广告或宣传,仍然无法凸显图像中的关键元素。但如果直接制作动态广告,不仅要寻找高质量素材,还需要专业人员花费大量时间才能制作出动态广告,这样导致动态广告的制作成本很高,制作效率也很低。
发明内容
本公开提供一种图像处理方法、信息展示方法、电子设备及存储介质,以至少解决相关技术中如何充分利用已有图像以自动高效地生成图像中目标对象所在区域对应视频的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种图像处理方法,包括:
获取目标图像;
将所述目标图像输入目标对象检测模型,进行目标对象分割检测处理,得到所述目标图像的目标分割图;
基于所述目标图像和所述目标分割图,获取目标对象区域图像;所述目标对象区域图像为所述目标图像中目标对象所在区域的图像;
将所述目标对象区域图像输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息;
基于所述目标对象区域图像和所述目标对象区域图像对应的像素点光流信息,生成所述目标对象区域图像对应的目标视频。
在一种可能的实现方式中,所述基于所述目标图像和所述目标分割图,获取目标对象区域图像步骤包括:
基于所述目标分割图,从所述目标图像中截取初始对象区域图像;
若所述初始区域图像包括多个目标对象的区域图像,确定所述多个目标对象的区域图像对应的视觉指标信息和对应的分割置信度指标信息,所述分割置信度指标信息表征区域图像中目标对象的完整程度;
根据所述视觉指标信息和所述分割置信度指标信息,从所述多个目标对象的区域图像中筛选出所述目标对象区域图像。
在一种可能的实现方式中,所述基于所述目标图像和所述目标分割图,获取目标对象区域图像步骤包括:
基于所述目标分割图,从所述目标图像中截取初始区域图像;
若所述初始区域图像包括多个目标对象的区域图像,获取所述目标图像的主题信息;
从所述多个目标对象的区域图像中,筛选出与所述主题信息匹配的区域图像作为所述目标对象区域图像。
在一种可能的实现方式中,所述基于所述目标图像和所述目标分割图,获取目标对象区域图像步骤之后,所述图像处理方法还包括:
基于所述目标分割图,确定所述目标对象区域图像对应的对象类别信息;
所述将所述目标对象区域图像输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息步骤包括:
将所述目标对象区域图像和所述目标对象区域图像的对象类别信息输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息。
在一种可能的实现方式中,所述图像处理方法还包括:
获取第一样本图像集,所述第一样本图像集包括第一样本图像以及对应的标签,所述标签为所述第一样本图像的分割图;
基于所述第一样本图像以及对应的第一样本图像的分割图,对预设神经网络模型进行目标对象分割检测训练,得到所述目标对象检测模型。
在一种可能的实现方式中,所述图像处理方法还包括:
获取第二样本图像集;
将所述第二样本图像集中的第二样本图像输入所述目标对象检测模型,进行目标对象的分割检测处理,得到所述第二样本图像的样本分割图;
基于所述第二样本图像和所述样本分割图,获取样本区域图像;
对所述样本区域图像进行光流估计,得到所述样本区域图像对应的样本像素点光流信息;
基于所述样本区域图像和所述样本区域图像对应的样本像素点光流信息,对预设生成式对抗网络进行光流预测训练,得到所述光流预测模型。
根据本公开实施例的第二方面,提供一种信息展示方法,包括:
响应于信息展示指令,获取目标图像
确定所述目标图像对应的目标对象区域图像以及所述目标对象区域图像对应的目标视频;所述目标视频为根据上述图像处理方法得到的;
在所述目标图像的展示页面中,将所述目标图像中所述目标对象区域图像对应的区域替换为所述目标视频,并播放所述目标视频。
在一种可能的实现方式中,在所述确定所述目标图像对应的目标对象区域图像以及所述目标对象区域图像对应的目标视频步骤之后,所述信息展示方法还包括:
获取预设形象标识;
在第一预设区域显示所述预设形象标识;所述第一预设区域位于所述目标图像中所述目标对象区域图像对应的区域的边缘。
在一种可能的实现方式中,在所述确定所述目标图像对应的目标对象区域图像以及所述目标对象区域图像对应的目标视频步骤之后,所述信息展示方法还包括:
当所述目标图像中所述目标对象区域图像对应的区域处于所述展示页面的第二预设区域时,在所述第一预设区域显示所述预设形象标识;并将所述目标图像中所述目标对象区域图像对应的区域替换为所述目标视频,以及播放所述目标视频。
根据本公开实施例的第三方面,提供一种图像处理装置,包括:
目标图像获取模块,被配置为执行为获取目标图像;
分割检测模块,被配置为执行将所述目标图像输入目标对象检测模型,进行目标对象分割检测处理,得到所述目标图像的目标分割图;
目标对象区域图像获取模块,被配置为执行基于所述目标图像和所述目标分割图,获取目标对象区域图像;所述目标对象区域图像为所述目标图像中目标对象所在区域的图像;
光流预测模块,被配置为执行将所述目标对象区域图像输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息;
目标视频生成模块,被配置为执行基于所述目标对象区域图像和所述目标对象区域图像对应的像素点光流信息,生成所述目标对象区域图像对应的目标视频。
在一种可能的实现方式中,所述目标对象区域图像获取模块包括:
初始对象区域图像单元,被配置为执行基于所述目标分割图,从所述目标图像中截取初始对象区域图像;
指标信息确定单元,被配置为执行若所述初始区域图像包括多个目标对象的区域图像,确定所述多个目标对象的区域图像对应的视觉指标信息和对应的分割置信度指标信息,所述分割置信度指标信息表征区域图像中目标对象的完整程度;
第一筛选单元,被配置为执行根据所述视觉指标信息和所述分割置信度指标信息,从所述多个目标对象的区域图像中筛选出所述目标对象区域图像。
在一种可能的实现方式中,所述目标对象区域图像获取模块包括:
初始对象区域图像单元,被配置为执行基于所述目标分割图,从所述目标图像中截取初始区域图像;
主题信息获取单元,被配置为执行若所述初始区域图像包括多个目标对象的区域图像,获取所述目标图像的主题信息;
第二筛选单元,被配置为执行从所述多个目标对象的区域图像中,筛选出与所述主题信息匹配的区域图像作为所述目标对象区域图像。
在一种可能的实现方式中,所述图像处理装置还包括:
对象类别信息模块,被配置为执行基于所述目标分割图,确定所述目标对象区域图像对应的对象类别信息;
所述光流预测模块包括:
光流预测单元,被配置为执行将所述目标对象区域图像和所述目标对象区域图像的对象类别信息输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息。
在一种可能的实现方式中,所述图像处理装置还包括:
第一样本图像集获取模块,被配置为执行获取第一样本图像集,所述第一样本图像集包括第一样本图像以及对应的标签,所述标签为所述第一样本图像的分割图;
目标对象检测模型获取模块,被配置为执行基于所述第一样本图像以及对应的第一样本图像的分割图,对预设神经网络模型进行目标对象分割检测训练,得到所述目标对象检测模型。
在一种可能的实现方式中,所述图像处理装置还包括:
第二样本图像集获取模块,被配置为执行获取第二样本图像集;
样本分割图获取模块,被配置为执行将所述第二样本图像集中的第二样本图像输入所述目标对象检测模型,进行目标对象的分割检测处理,得到所述第二样本图像的样本分割图;
样本区域图像获取模块,被配置为执行基于所述第二样本图像和所述样本分割图,获取样本区域图像;
样本像素点光流信息获取模块,被配置为执行对所述样本区域图像进行光流估计,得到所述样本区域图像对应的样本像素点光流信息;
光流预测模型获取模块,被配置为执行基于所述样本区域图像和所述样本区域图像对应的样本像素点光流信息,对预设生成式对抗网络进行光流预测训练,得到所述光流预测模型。
根据本公开实施例的第四方面,提供一种信息展示装置,包括:
目标图像获取模块,被配置为执行响应于信息展示指令,获取目标图像;
目标视频确定模块,被配置为执行确定所述目标图像对应的目标对象区域图像以及所述目标对象区域图像对应的目标视频;所述目标视频为根据上述图像处理装置得到的;
第一展示模块,被配置为执行在所述目标图像的展示页面将所述目标图像中所述目标对象区域图像对应的区域替换为所述目标视频,并播放所述目标视频。
在一种可能的实现方式中,所述信息展示装置还包括:
预设形象标识获取模块,被配置为执行获取预设形象标识;
预设形象标识展示模块,被配置为执行在第一预设区域显示所述预设形象标识;所述第一预设区域位于所述目标图像中所述目标对象区域图像对应的区域的边缘。
在一种可能的实现方式中,在所述目标图像滚动展示时,所述信息展示装置还包括:
第二展示模块,被配置为执行当所述目标图像中所述目标对象区域图像对应的区域处于所述展示页面的第二预设区域时,在所述第一预设区域显示所述预设形象标识;并将所述目标图像中所述目标对象区域图像对应的区域替换为所述目标视频,以及播放所述目标视频。
根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现上述图像处理方法。
根据本公开实施例的第六方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现上述信息展示方法。
根据本公开实施例的第七方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述图像处理方法或信息展示方法。
根据本公开实施例的第八方面,提供一种计算机程序产品,包括该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图像处理方法或信息展示方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过目标对象检测模型对目标图像的分割检测处理,可以获取目标对象区域图像;并可以将目标对象区域图像输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。从而可以基于目标对象区域图像和目标对象区域图像对应的像素点光流信息,生成目标对象区域图像对应的目标视频。即可以基于目标对象检测模型和光流预测模型,自动高效地生成目标图像中目标对象区域图像对应的目标视频;并且,目标视频是基于目标图像生成的,由于目标图像较容易获取,使得目标视频的生成成本较低,同时可以使目标图像得到充分利用。例如,在广告或宣传领域,可以充分利用已有的广告页图像或宣传页图像等,自动且高效的生成动态广告视频。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图。
图2a是根据一示例性实施例示出的目标图像的示意图。
图2b是根据一示例性实施例示出的目标图像的目标分割图的示意图。
图3是根据一示例性实施例示出的一种光流预测模型的训练方法流程图。
图4是根据一示例性实施例示出的一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种基于目标图像和目标分割图,获取目标对象区域图像的方法流程图。
图6是根据一示例性实施例示出的一种基于目标图像和目标分割图,获取目标对象区域图像的方法流程图。
图7是根据一示例性实施例示出的一种图像处理方法的流程图。
图8是根据一示例性实施例示出的一种信息展示方法的流程图。
图9是根据一示例性实施例示出的一种信息展示方法的流程图。
图10是根据一示例性实施例示出的一种目标图像的动态展示示意图。
图11是根据一示例性实施例示出的一种图像处理装置的框图。
图12是根据一示例性实施例示出的一种信息展示装置的框图。
图13是根据一示例性实施例示出的一种用于信息展示的电子设备的框图。
图14是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,图1是根据一示例性实施例示出的一种应用环境的示意图,如图1所示,该应用环境可以包括服务器01和终端02。
在一个可选的实施例中,服务器01可以用于实现所述图像处理方法。具体的,服务器01可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中,终端02可以用于实现所述信息展示方法。具体的,终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备等类型的电子设备。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
该终端02可以用于提供面向用户的信息展示方法。其中,终端02提供面向用户的信息展示方法的方式可以包括但不限于应用程序方式、网页方式等。
需要说明的是,所述图像处理方法也可以在终端02中实现。或者,可以通过服务器01和终端02结合以实现所述图像处理方法,例如,在服务器01中实现目标对象检测模型以及光流预测模型的训练,将训练好的目标对象检测模型以及光流预测模型发送至终端02,以使终端02可以使用目标对象检测模型和光流预测模型生成目标图像的目标对象区域图像对应的目标视频。从而可以减轻终端的数据处理压力,改善面向用户的终端的设备性能。
该终端提供面向用户的图像处理方法的方式可以包括但不限于应用程序方式、网页方式等。在一个示例中,终端02可以提供图像上传界面,用户通过该图像上传界面,可以上传需要进行图像处理的目标图像。基于所述图像处理方法,可以为目标图像的目标对象区域图像生成对应的目标视频;并可以将目标图像、目标对象区域图像以及对应的目标视频关联存储;即可以基于目标图像生成动态视频并存储对应的动态视频。
本说明书实施例中,若目标图像为广告图像,用户(例如广告制作主)可以基于该图像处理方法,实现动态视频广告的制作。基于此,在信息展示时,可以获取目标图像对应的目标对象区域图像、对应的目标视频;利用该目标视频替换目标对象区域图像在目标图像中对应的区域,实现目标图像中目标对象的动态展示。
此外,需要说明的是,图1所示的仅仅是本公开提供的图像处理方法和信息展示方法的一种应用环境,不对本公开进行限定。
本说明书实施例中,上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不作限制。
本说明书实施例中,先介绍目标对象检测模型的训练方法以及光流预测模型的训练方法。在一种可能的实现方式中,目标对象检测模型的训练方法可以包括:获取第一样本图像集,第一样本图像集可以包括第一样本图像以及对应的标签,其中,第一样本图像可以如图2a所示。标签可以为第一样本图像的分割图,如图2b所示。从而可以基于第一样本图像以及对应的第一样本图像的分割图,对预设神经网络模型进行目标对象分割检测训练,得到目标对象检测模型。例如,可以将第一样本图像作为预设神经网络模型的输入,在预设神经网络模型输出的分割图与标签的损失值满足预设条件时,可以确定当前的预设神经网络模型为目标对象检测模型。该预设条件可以为预设阈值,本公开对此不作限定。在一个示例中,预设神经网络模型可以为MaskR-CNN(Mask Region-based Convolutional NeuralNetwork,掩膜基于区域的卷积神经网络)。MaskR-CNN是一个两阶段的框架,第一个阶段扫描图像并生成提议(即有可能包含一个目标的区域),第二阶段分类提议并生成边界框和掩码。掩码所在区域可以表示目标对象的区域,其中,掩码所在区域的像素值可以为1。
本说明书实施例中,目标对象可以为具有动态特征的主体,比如人、车、水流等。本公开对此不作限定。
通过对目标对象检测模型的训练,使得图像处理中可以利用训练好的目标对象检测模型,快速且准确地从目标图像中获取目标对象区域图像。
图3是根据一示例性实施例示出的一种光流预测模型的训练方法流程图。作为一个示例,光流预测模型可以是生成式对抗网络GAN(Generative Adversarial Networks),GAN是一种深度学习模型。模型通过框架中两个模块:生成模型G(Generative Model)和判别模型D(Discriminative Model)的互相博弈学习产生相当好的输出。本说明书实施例中,可以对预设生成式对抗网络进行光流预测训练,得到光流预测模型。具体地,如图3所示,光流预测模型的训练方法可以包括:
在步骤S301中,获取第二样本图像集;
本说明书实施例中,可以从大量的视频中,比如大量的短视频中,提取图像以形成第二样本图像集。
在步骤S303中,将第二样本图像集中的第二样本图像输入目标对象检测模型,进行目标对象的分割检测处理,得到第二样本图像的样本分割图。
本说明书实施例中,这里的目标对象检测模型可以是上述训练好的目标对象检测模型。可以将第二样本图像集中的第二样本图像输入目标对象检测模型,进行目标对象的分割检测处理,得到第二样本图像的样本分割图。
在步骤S305中,基于第二样本图像和样本分割图,获取样本区域图像。
本说明书实施例中,可以基于样本分割图,从第二样本图像中截取样本区域图像。例如,可以基于样本分割图中像素值为1的第一目标像素点,确定该第一目标像素点对应的第二样本图像中的第二目标像素点,从第二样本图像中截取该第二目标像素点对应的区域,可以将该截取的区域作为样本区域图像。
在步骤S307中,对样本区域图像进行光流估计,得到样本区域图像对应的样本像素点光流信息。
本说明书实施例中,可以利用预设光流算法,对样本区域图像进行光流估计,得到对应的样本像素点光流信息。该样本像素点光流信息可以是指样本区域图像的像素点在预设时间内的预设数量帧对应的位移矢量信息,比如,2S内60帧对应的位移矢量信息。也就是说,基于该样本像素点光流信息,可以确定样本区域图像在2S内移动60帧时,每一帧对应的位移矢量信息,可以将样本区域图像按照样本像素点光流信息进行移动,能够得到60帧光流预测图像。
其中,位移矢量信息可以包括水平方向上的位移矢量信息以及垂直方向上的位移矢量信息。预设光流算法可以包括Lucas–Kanade光流算法、Farneback光流算法等,本公开对此不作限定。
在步骤S309中,基于样本区域图像和样本区域图像对应的样本像素点光流信息,对预设生成式对抗网络进行光流预测训练,得到光流预测模型。
本说明书实施例中,可以将样本区域图像作为预设生成式对抗网络的输入,直至预设生成式对抗网络中的生成模型G输出的光流信息与对应的样本像素点光流信息的损失值小于预设阈值、且预设生成式对抗网络中的判别模型D无法分辨生成模型G输出的光流信息对应的光流分布是否为真实的为止。此时,可以将当前的生成式对抗网络作为光流预测模型。通过对光流预测模型的训练,使得图像处理中可以利用训练好的光流预测模型,快速且准确地生成目标对象区域图像对应的目标视频,实现图像的动态展现;并且光流预测模型为生成式对抗网络,使得目标对象区域图像的光流预测可以更加准确。
可选地,在步骤S305之后,还可以包括:基于样本分割图,确定样本区域图像的对象类别信息。可以参见步骤S701,在此不再赘述。相应地,步骤S309可以包括:基于样本区域图像、样本区域图像的对象类别信息、样本区域图像对应的样本像素点光流信息以及样本随机噪声信息,对预设生成式对抗网络进行光流预测训练,得到光流预测模型。
本说明书实施例中,可以将样本随机噪声信息、样本区域图像、样本区域图像的对象类别信息作为预设生成式对抗网络的输入,直至预设生成式对抗网络中的生成模型G输出的光流信息与对应的样本像素点光流信息的损失值小于预设阈值、且预设生成式对抗网络中的判别模型D无法分辨生成模型G输出的光流信息对应的光流分布是否为真实的为止。此时,可以将当前的生成式对抗网络作为光流预测模型。
通过将样本随机噪声信息作为预设生成式对抗网络的输入,可以用于控制生成模型生成光流的多样性,能够加快光流预测模型的训练,并可以使得光流预测模型预测的像素点光流信息更加准确。通过将样本区域图像的对象类别信息作为预设生成式对抗网络的输入,既可以有效利用分割图表征的类别信息,又可以使生成模型G基于对象类别信息快速模仿目标对象的光流分布,进而可以缩短光流预测模型的训练时间。
在一种可能的实现方式中,在步骤S307之后,还可以确定样本像素点光流信息中相邻帧的位移变化量;选择位移变化量均值在预设范围内的样本区域图像作为目标样本区域图像。该预设范围可以为5至20个像素。相应地,步骤S309可以包括:基于目标样本区域图像和目标样本区域图像对应的样本像素点光流信息,对预设生成式对抗网络进行光流预测训练,得到光流预测模型。
通过样本像素点光流信息中相邻帧的位移变化量在预设范围内,对样本区域图像进行筛选,可以过滤掉静态的样本像素点光流信息以及变化量较大的样本像素点光流信息。使得用于训练的目标样本区域图像对应的样本像素点光流信息比较平稳,进而可以使得训练好的光流预测模型可以生成较平稳的像素点光流信息。
图4是根据一示例性实施例示出的一种图像处理方法的流程图,可以应用于服务器或终端。如图1所示,该图像处理方法可以包括以下步骤。
在步骤S401中,获取目标图像。
本说明书实施例中,目标图像可以是用户需要动态展示的图像,目标图像可以包括广告页图像,例如广告落地页,或者宣传图像等。用户可以触发目标图像的图像处理指令,响应于该图像处理指令,可以获取该目标图像。
在一个示例中,该目标图像可以是指长宽比大于预设比例的图像,即该目标图像可以是需要滚动才可以全面展示的图像。本公开对该预设比例不作限定。
在步骤S403中,将目标图像输入目标对象检测模型,进行目标对象分割检测处理,得到目标图像的目标分割图;
在步骤S405中,基于目标图像和目标分割图,获取目标对象区域图像;该目标对象区域图像可以为目标图像中目标对象所在区域的图像。
本说明书实施例中,步骤S403和步骤S405的实现方式可以参见步骤S303和步骤S305,在此不再赘述。需要说明的是,当目标图像为广告页图像时,目标对象可以是指广告页图像中的关键素材,比如广告页图像中具有动态属性的花、人脸、车等。
在步骤S407中,将目标对象区域图像输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。该目标对象区域图像对应的像素点光流信息可以是指目标对象区域图像的像素点对应的预设数量的位移矢量信息。
本说明书实施例中,可以将目标对象区域图像输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。
在步骤S409中,基于目标对象区域图像和目标对象区域图像对应的像素点光流信息,生成目标对象区域图像对应的目标视频。
本说明书实施例中,可以根据像素点光流信息中预设数量的位移矢量信息,移动目标对象区域图像,得到预设数量的预测区域图像。从而可以按照预测区域图像对应的位移矢量信息在像素点光流信息中的顺序,将预设数量的预测区域图像拼接为目标视频。
通过目标对象检测模型对目标图像的分割检测处理,可以获取目标对象区域图像;并可以将目标对象区域图像输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。从而可以基于目标对象区域图像和目标对象区域图像对应的像素点光流信息,生成目标对象区域图像对应的目标视频。即可以基于目标对象检测模型和光流预测模型,自动高效地生成目标图像中目标对象区域图像对应的目标视频;并且,目标视频是基于目标图像生成的,由于目标图像较容易获取,使得目标视频的生成成本较低,同时可以使目标图像得到充分利用。例如,在广告或宣传领域,可以充分利用已有的广告页图像或宣传页图像等,自动且高效的生成动态广告视频。
图5是根据一示例性实施例示出的一种基于目标图像和目标分割图,获取目标对象区域图像的方法流程图。如图5所示,在一种可能的实现方式中,步骤S405可以包括:
在步骤S501中,基于目标分割图,从目标图像中截取初始区域图像。
本说明书实施例中,该步骤S501的实现方式可以参见步骤S305,在此不再赘述。
在步骤S503中,若初始区域图像包括多个目标对象的区域图像,确定多个目标对象的区域图像对应的视觉指标信息和对应的分割置信度指标信息。
本说明书实施例中,视觉指标信息可以是指区域图像中目标对象在视觉上的美观程度,例如可以包括视觉指标分值或视觉指标等级;分割置信度指标信息可以表征区域图像中目标对象的完整程度,例如可以包括分割置信度指标分值。
本说明书实施例中,若初始区域图像包括多个目标对象的区域图像,可以对多个目标对象的区域图像进行筛选。可以确定多个目标对象的区域图像对应的视觉指标信息和对应的分割置信度指标信息。例如,可以预先设置视觉指标的量化规则,从而可以基于该视觉指标的量化规则,为多个目标对象的区域图像打分,得到多个目标对象的区域图像对应的视觉指标分值。可以预先设置分割完整度的量化规则,从而可以基于该分割完整度的量化规则,为区域图像中的目标对象的完整度打分,得到多个目标对象的区域图像对应的分割置信度指标分值。其中,视觉指标分值越高可以表征目标对象在视觉上越美观;分割置信度指标分值越高可以表征区域图像中的目标对象越完整。
在步骤S505中,根据视觉指标信息和分割置信度指标信息,从多个目标对象的区域图像中筛选出目标对象区域图像。
本说明书实施例中,可以根据视觉指标信息和分割置信度指标信息,从多个目标对象的区域图像中筛选出目标对象区域图像。例如,可以筛选出预设个数的目标对象区域图像。可以根据视觉指标信息和分割置信度指标信息的加权信息,比如加权值,可以按照加权值从高到低的顺序,从多个目标对象的区域图像中筛选出预设个数的目标对象区域图像。其中,预设个数可以为至少一个。本公开对视觉指标信息和分割置信度指标信息对应的权重不作限定,可以根据实际需求设置。
通过根据视觉指标信息和分割置信度指标信息,从多个目标对象的区域图像中筛选出目标对象区域图像,可以保证用于动态展示的目标对象区域图像的完整度和视觉效果,进而可以增强用户的注意力。
可选地,本说明书实施例中,可以不对初始区域图像进行筛选,将初始区域图像作为目标对象区域图像。
图6是根据一示例性实施例示出的一种基于目标图像和目标分割图,获取目标对象区域图像的方法流程图。如图6所示,在一种可能的实现方式中,步骤S405可以包括:
在步骤S601中,基于目标分割图,从目标图像中截取初始区域图像。
本说明书实施例中,该步骤S601的实现方式可以参见步骤S305,在此不再赘述。
在步骤S603中,若初始区域图像包括多个目标对象的区域图像,获取目标图像的主题信息。
本说明书实施例中,在初始区域图像包括多个目标对象的区域图像时,可以获取目标图像的主题信息。例如可以基于目标图像的标签信息或者目标图像中的内容,获取目标图像的主题信息。举例来说,目标图像的标签信息为汽车广告时,可以获取目标图像的主题信息为汽车。该主题信息可以用于表征目标图像中的关键内容信息,例如,主题信息可以包括风景、汽车、健身、护肤、医疗器械等。
在步骤S605中,从多个目标对象的区域图像中,筛选出与主题信息匹配的区域图像作为目标对象区域图像。
本说明书实施例中,可以从多个目标对象的区域图像中筛选出与主题信息匹配的区域图像作为目标对象区域图像。比如,主题信息为车,多个目标对象包括汽车、人、水流等,可以筛选出与车匹配的区域图像作为目标对象区域图像。
通过筛选出主题信息匹配的区域图像作为目标对象区域图像,在动态展示目标对象区域图像时,可以增加用户对目标图像主题的感知,提高目标图像的整体表现力。
图7是根据一示例性实施例示出的一种图像处理方法的流程图。在基于目标图像和目标分割图,获取目标对象区域图像步骤之后,即步骤S405之后,图像处理方法还可以包括:
在步骤S701中,基于目标分割图,确定目标对象区域图像对应的对象类别信息。
本说明书实施例中,目标对象区域图像对应的对象类别信息可以是指目标对象区域图像中目标对象的类别信息。比如对象类别信息可以包括人、车、水流等。
本说明书实施例中,由于分割图的掩码(分割图中像素点为1的区域)可以表征目标对象的类别信息。从而可以基于目标分割图的掩码,确定目标对象区域图像对应的对象类别信息,即实现对目标对象区域图像中目标对象类别的识别。
相应地,在一种可能的实现方式中,步骤S407可以包括:
在步骤S703中,将目标对象区域图像和目标对象区域图像的对象类别信息输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。
本说明书实施例中,可以将目标对象区域图像和目标对象区域图像的对象类别信息输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。通过在光流预测模型的输入中包括目标对象区域图像对应的对象类别信息,可以有效指引光流预测模型中的生成器生成光流,使得像素点光流信息更加准确。
可选地,还可以将随机噪声信息与目标对象区域图像和目标对象区域图像的对象类别信息一起作为光流预测模型的输入,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。
上述图像处理方法可以对用户需要动态展示的目标图像进行图像处理,得到目标图像中目标对象区域对于的目标视频。以使在后续目标图像的动态展示时,可以基于对应的目标视频,实现目标图像中目标对象区域的动态展示,从而可以凸显目标图像中的目标对象。具体展示方法在下面介绍。
图8是根据一示例性实施例示出的一种信息展示方法的流程图。可以应用于终端。如图8所示,该信息展示方法可以包括:
在步骤S801中,响应于信息展示指令,获取目标图像;
在步骤S803中,确定目标图像对应的目标对象区域图像以及目标对象区域图像对应的目标视频。
本说明书实施例中,用户可以触发信息展示指令,响应于该信息展示指令,可以获取信息展示指令对应的目标图像;并可以确定目标图像对应的目标对象区域图像以及目标对象区域图像对应的目标视频。该目标视频可以是利用上述图像处理方法得到的。
在步骤S805中,在目标图像的展示页面中,将目标图像中目标对象区域图像对应的区域替换为目标视频,并播放目标视频。
本说明书实施例中,在目标图像的展示页面,可以将目标图像中目标对象区域图像对应的区域替换为目标视频,并可以播放该目标视频。
在目标图像的展示页面,通过将目标图像中目标对象区域图像对应的区域替换为目标视频,并播放该目标视频,可以实现目标图像中目标对象的动态展示,可以有效凸显目标图像中的目标对象,从而可以增强用户对图像中目标对象的关注以及能够对目标对象进行充分感知,提高目标图像的整体表现力。例如,对于广告图像来说,通过将广告图像中关键元素的动态展示,将广告图像转化为高质量的动态广告,可以提高用户对关键元素的关注度和感知程度,从而可以提升广告的点击率。
在一种可能的实现方式中,可以利用预设形象标识的显示来进一步增强用户对目标图像中目标对象的关注。该信息展示方法还可以包括:获取预设形象标识;在第一预设区域显示预设形象标识;该第一预设区域可以位于目标图像中目标对象区域图像对应的区域的边缘。
本说明书实施例中,预设形象标识可以是预先设置的AI(ArtificialIntelligence,人工智能)形象标识,例如可以包括利用AI绘制的卡通图案、指示图标等。该预设形象标识可以是动态形象或静态形象,本公开对此不作限定,只要能有效增强用户关注度即可。通过在目标图像中目标对象区域图像对应的区域的边缘显示预设形象标识,能够增强用户对目标对象的关注,使得用户可以充分感知目标对象。
图9是根据一示例性实施例示出的一种信息展示方法的流程图。在目标图像滚动展示时,在步骤S803之后,该信息展示方法还可以包括:
在步骤S901中,当目标图像中目标对象区域图像对应的区域处于展示页面的第二预设区域时,在第一预设区域显示预设形象标识;并将目标图像中目标对象区域图像对应的区域替换为目标视频,以及播放目标视频。
本说明书实施例中,第二预设区域可以是展示页面中的一个边界区域,可以结合滚动方向,确定该一个边界区域。例如,在目标图像的滚动方向为自下向上时,第二预设区域可以是展示页面的下方边界区域;在目标图像的滚动方向为自上向下时,第二预设区域可以是展示页面的上方边界区域;在目标图像的滚动方向为自左向右时,第二预设区域可以是展示页面的左方边界区域;在目标图像的滚动方向为自右向左时,第二预设区域可以是展示页面的右方边界区域;本公开对此不作限定,只要目标对象的动态展示时间能够较长即可。
本说明书实施例中,当目标图像中目标对象区域图像对应的区域处于展示页面的第二预设区域时,可以在第一预设区域显示预设形象标识,也就是在目标对象区域图像对应的区域的边缘,显示预设形象标识。并可以将目标图像中目标对象区域图像对应的区域替换为目标视频,以及播放目标视频。也就是说,在目标图像滚动时,目标对象区域图像对应的区域处于展示页面的第二预设区域时,预设形象标识将跳落到目标对象区域图像对应的区域的边缘,同时在目标图像中目标对象区域图像对应的区域中播放目标视频。以目标图像的滚动方向为自下向上为例,目标图像的动态展示示意图可以如图10所示。
通过第二预设区域对目标对象的展示时机进行限定,可以使得用户能够更好的关注展示页面中的动态目标对象;并且在目标图像中目标对象区域图像对应的区域替换为目标视频时,还在目标对象区域图像对应的区域的边缘,显示预设形象标识;通过目标视频的播放以及预设形象标识的显示,同时增强用户对目标对象的关注,进一步提高目标图像中目标对象的展示力度,使得用户可以充分感知目标对象。
可选地,可以在目标对象的区域图像对应的区域处于展示页面的第三预设区域时,在目标图像中目标对象区域图像对应的区域中显示目标对象区域图像,停止动态展示。在目标图像的滚动方向为自下向上时,第三预设区域可以是展示页面的上方区域;在目标图像的滚动方向为自上向下时,第二预设区域可以是展示页面的下方区域;本公开对此不作限定。
本说明书实施例中,在多个目标对象的区域图像的情况下,当其中至少一个目标对象的区域图像对应的区域处于展示页面的第二预设区域时,预设形象标识将跳落到该至少一个目标对象区域图像对应的区域的边缘,同时在目标图像中该至少一个目标对象的区域图像对应的区域中播放目标视频。相应地,预设形象标识可以为至少一个。
图11是根据一示例性实施例示出的一种图像处理装置框图。参照图11,该装置可以包括:
目标图像获取模块1101,被配置为执行为获取目标图像;
分割检测模块1103,被配置为执行将目标图像输入目标对象检测模型,进行目标对象分割检测处理,得到目标图像的目标分割图;
目标对象区域图像获取模块1105,被配置为执行基于目标图像和目标分割图,获取目标对象区域图像;目标对象区域图像为目标图像中目标对象所在区域的图像;
光流预测模块1107,被配置为执行将目标对象区域图像输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息;
目标视频生成模块1109,被配置为执行基于目标对象区域图像和目标对象区域图像对应的像素点光流信息,生成目标对象区域图像对应的目标视频。
通过目标对象检测模型对目标图像的分割检测处理,可以获取目标对象区域图像;并可以将目标对象区域图像输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。从而可以基于目标对象区域图像和目标对象区域图像对应的像素点光流信息,生成目标对象区域图像对应的目标视频。即可以基于目标对象检测模型和光流预测模型,自动高效地生成目标图像中目标对象区域图像对应的目标视频;并且,目标视频是基于目标图像生成的,由于目标图像较容易获取,使得目标视频的生成成本较低,同时可以使目标图像得到充分利用。例如,在广告或宣传领域,可以充分利用已有的广告页图像或宣传页图像等,自动且高效的生成动态广告视频。
在一种可能的实现方式中,目标对象区域图像获取模块1105可以包括:
初始对象区域图像单元,被配置为执行基于目标分割图,从目标图像中截取初始对象区域图像;
指标信息确定单元,被配置为执行若初始区域图像包括多个目标对象的区域图像,确定多个目标对象的区域图像对应的视觉指标信息和对应的分割置信度指标信息,分割置信度指标信息表征区域图像中目标对象的完整程度;
第一筛选单元,被配置为执行根据视觉指标信息和分割置信度指标信息,从多个目标对象的区域图像中筛选出目标对象区域图像。
在一种可能的实现方式中,目标对象区域图像获取模块1105可以包括:
初始对象区域图像单元,被配置为执行基于目标分割图,从目标图像中截取初始区域图像;
主题信息获取单元,被配置为执行若初始区域图像包括多个目标对象的区域图像,获取目标图像的主题信息;
第二筛选单元,被配置为执行从多个目标对象的区域图像中,筛选出与主题信息匹配的区域图像作为目标对象区域图像。
在一种可能的实现方式中,图像处理装置还可以包括:
对象类别信息模块,被配置为执行基于目标分割图,确定目标对象区域图像对应的对象类别信息;
光流预测模块包括:
光流预测单元,被配置为执行将目标对象区域图像和目标对象区域图像的对象类别信息输入光流预测模型,对目标对象区域图像进行光流预测处理,得到目标对象区域图像对应的像素点光流信息。
在一种可能的实现方式中,图像处理装置还可以包括:
第一样本图像集获取模块,被配置为执行获取第一样本图像集,第一样本图像集包括第一样本图像以及对应的标签,标签为第一样本图像的分割图;
目标对象检测模型获取模块,被配置为执行基于第一样本图像以及对应的第一样本图像的分割图,对预设神经网络模型进行目标对象分割检测训练,得到目标对象检测模型。
在一种可能的实现方式中,图像处理装置还可以包括:
第二样本图像集获取模块,被配置为执行获取第二样本图像集;
样本分割图获取模块,被配置为执行将第二样本图像集中的第二样本图像输入目标对象检测模型,进行目标对象的分割检测处理,得到第二样本图像的样本分割图;
样本区域图像获取模块,被配置为执行基于第二样本图像和样本分割图,获取样本区域图像;
样本像素点光流信息获取模块,被配置为执行对样本区域图像进行光流估计,得到样本区域图像对应的样本像素点光流信息;
光流预测模型获取模块,被配置为执行基于样本区域图像和样本区域图像对应的样本像素点光流信息,对预设生成式对抗网络进行光流预测训练,得到光流预测模型。
图12是根据一示例性实施例示出的一种信息展示装置的框图。参照图12,该装置可以包括:
目标图像获取模块1201,被配置为执行响应于信息展示指令,获取目标图像;
目标视频确定模块1203,被配置为执行确定所述目标图像对应的目标对象区域图像以及目标对象区域图像对应的目标视频;目标视频为根据上述图像处理装置得到的;
第一展示模块1205,被配置为执行在目标图像的展示页面将目标图像中目标对象区域图像对应的区域替换为目标视频,并播放目标视频。
在目标图像的展示页面,通过将目标图像中目标对象区域图像对应的区域替换为目标视频,并播放该目标视频,可以实现目标图像中目标对象的动态展示,可以有效凸显目标图像中的目标对象,从而可以增强用户对图像中目标对象的关注以及能够对目标对象进行充分感知,提高目标图像的整体表现力。例如,对于广告图像来说,通过将广告图像中关键元素的动态展示,将广告图像转化为高质量的动态广告,可以提高用户对关键元素的关注度和感知程度,从而可以提升广告的点击率。
在一种可能的实现方式中,信息展示装置还可以包括:
预设形象标识获取模块,被配置为执行获取预设形象标识;
预设形象标识展示模块,被配置为执行在第一预设区域显示预设形象标识;第一预设区域位于目标图像中目标对象区域图像对应的区域的边缘。
在一种可能的实现方式中,在目标图像滚动展示时,信息展示装置还可以包括:
第二展示模块,被配置为执行当目标图像中目标对象区域图像对应的区域处于展示页面的第二预设区域时,在第一预设区域显示预设形象标识;并将目标图像中目标对象区域图像对应的区域替换为目标视频,以及播放目标视频。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种用于信息展示的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图14是根据一示例性实施例示出的一种用于图像处理的电子设备的框图,该电子设备可以是服务器,其内部结构图可以如图14所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息展示的方法。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的图像处理方法或信息展示方法。
在示例性实施例中,还提供了一种存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的图像处理方法或信息展示方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的图像处理方法或信息展示方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取目标图像;
将所述目标图像输入目标对象检测模型,进行目标对象分割检测处理,得到所述目标图像的目标分割图;
基于所述目标图像和所述目标分割图,获取目标对象区域图像;所述目标对象区域图像为所述目标图像中目标对象所在区域的图像;
将所述目标对象区域图像输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息;
基于所述目标对象区域图像和所述目标对象区域图像对应的像素点光流信息,生成所述目标对象区域图像对应的目标视频。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述目标图像和所述目标分割图,获取目标对象区域图像步骤包括:
基于所述目标分割图,从所述目标图像中截取初始对象区域图像;
若所述初始区域图像包括多个目标对象的区域图像,确定所述多个目标对象的区域图像对应的视觉指标信息和对应的分割置信度指标信息,所述分割置信度指标信息表征区域图像中目标对象的完整程度;
根据所述视觉指标信息和所述分割置信度指标信息,从所述多个目标对象的区域图像中筛选出所述目标对象区域图像。
3.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述目标图像和所述目标分割图,获取目标对象区域图像步骤包括:
基于所述目标分割图,从所述目标图像中截取初始区域图像;
若所述初始区域图像包括多个目标对象的区域图像,获取所述目标图像的主题信息;
从所述多个目标对象的区域图像中,筛选出与所述主题信息匹配的区域图像作为所述目标对象区域图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述目标图像和所述目标分割图,获取目标对象区域图像步骤之后,所述图像处理方法还包括:
基于所述目标分割图,确定所述目标对象区域图像对应的对象类别信息;
所述将所述目标对象区域图像输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息步骤包括:
将所述目标对象区域图像和所述目标对象区域图像的对象类别信息输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息。
5.一种信息展示方法,其特征在于,包括:
响应于信息展示指令,获取目标图像;
确定所述目标图像对应的目标对象区域图像以及所述目标对象区域图像对应的目标视频;所述目标视频为根据权利要求1-4任一项所述图像处理方法得到的;
在所述目标图像的展示页面中,将所述目标图像中所述目标对象区域图像对应的区域替换为所述目标视频,并播放所述目标视频。
6.根据权利要求5所述的信息展示方法,其特征在于,在所述确定所述目标图像对应的目标对象区域图像以及所述目标对象区域图像对应的目标视频步骤之后,所述信息展示方法还包括:
获取预设形象标识;
在第一预设区域显示所述预设形象标识;所述第一预设区域位于所述目标图像中所述目标对象区域图像对应的区域的边缘。
7.根据权利要求5所述的信息展示方法,其特征在于,在所述目标图像滚动展示时,在所述确定所述目标图像对应的目标对象区域图像以及所述目标对象区域图像对应的目标视频步骤之后,所述信息展示方法还包括:
当所述目标图像中所述目标对象区域图像对应的区域处于所述展示页面的第二预设区域时,在所述第一预设区域显示所述预设形象标识;并将所述目标图像中所述目标对象区域图像对应的区域替换为所述目标视频,以及播放所述目标视频。
8.一种图像处理装置,其特征在于,包括:
目标图像获取模块,被配置为执行为获取目标图像;
分割检测模块,被配置为执行将所述目标图像输入目标对象检测模型,进行目标对象分割检测处理,得到所述目标图像的目标分割图;
目标对象区域图像获取模块,被配置为执行基于所述目标图像和所述目标分割图,获取目标对象区域图像;所述目标对象区域图像为所述目标图像中目标对象所在区域的图像;
光流预测模块,被配置为执行将所述目标对象区域图像输入光流预测模型,对所述目标对象区域图像进行光流预测处理,得到所述目标对象区域图像对应的像素点光流信息;
目标视频生成模块,被配置为执行基于所述目标对象区域图像和所述目标对象区域图像对应的像素点光流信息,生成所述目标对象区域图像对应的目标视频。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至4中任一项所述的图像处理方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至4中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567419.7A CN112686908B (zh) | 2020-12-25 | 2020-12-25 | 图像处理方法、信息展示方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567419.7A CN112686908B (zh) | 2020-12-25 | 2020-12-25 | 图像处理方法、信息展示方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112686908A true CN112686908A (zh) | 2021-04-20 |
CN112686908B CN112686908B (zh) | 2024-02-06 |
Family
ID=75453423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011567419.7A Active CN112686908B (zh) | 2020-12-25 | 2020-12-25 | 图像处理方法、信息展示方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112686908B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117853377A (zh) * | 2024-02-08 | 2024-04-09 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0940979A1 (fr) * | 1998-03-06 | 1999-09-08 | Symah Vision | Procédé et dispositif de remplacement de panneaux cibles dans une séquence vidéo |
CN109978891A (zh) * | 2019-03-13 | 2019-07-05 | 浙江商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110035329A (zh) * | 2018-01-11 | 2019-07-19 | 腾讯科技(北京)有限公司 | 图像处理方法、装置及存储介质 |
CN110225366A (zh) * | 2019-06-26 | 2019-09-10 | 腾讯科技(深圳)有限公司 | 视频数据处理及广告位确定方法、装置、介质及电子设备 |
CN111275518A (zh) * | 2020-01-15 | 2020-06-12 | 中山大学 | 一种基于混合光流的视频虚拟试穿方法及装置 |
CN111311578A (zh) * | 2020-02-17 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
CN111567036A (zh) * | 2017-12-07 | 2020-08-21 | 微软技术许可有限责任公司 | 视频捕捉系统和方法 |
-
2020
- 2020-12-25 CN CN202011567419.7A patent/CN112686908B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0940979A1 (fr) * | 1998-03-06 | 1999-09-08 | Symah Vision | Procédé et dispositif de remplacement de panneaux cibles dans une séquence vidéo |
CN111567036A (zh) * | 2017-12-07 | 2020-08-21 | 微软技术许可有限责任公司 | 视频捕捉系统和方法 |
CN110035329A (zh) * | 2018-01-11 | 2019-07-19 | 腾讯科技(北京)有限公司 | 图像处理方法、装置及存储介质 |
CN109978891A (zh) * | 2019-03-13 | 2019-07-05 | 浙江商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110225366A (zh) * | 2019-06-26 | 2019-09-10 | 腾讯科技(深圳)有限公司 | 视频数据处理及广告位确定方法、装置、介质及电子设备 |
CN111275518A (zh) * | 2020-01-15 | 2020-06-12 | 中山大学 | 一种基于混合光流的视频虚拟试穿方法及装置 |
CN111311578A (zh) * | 2020-02-17 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117853377A (zh) * | 2024-02-08 | 2024-04-09 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112686908B (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112330685B (zh) | 图像分割模型训练、图像分割方法、装置及电子设备 | |
CN111435433B (zh) | 信息处理装置、信息处理方法以及存储介质 | |
CN106295591A (zh) | 基于人脸图像的性别识别方法及装置 | |
CN104572804A (zh) | 一种视频物体检索的方法及其系统 | |
CN110598700B (zh) | 对象的显示方法和装置、存储介质及电子装置 | |
CN112270686A (zh) | 图像分割模型训练、图像分割方法、装置及电子设备 | |
CN111539290A (zh) | 视频动作识别方法、装置、电子设备及存储介质 | |
CN108985228A (zh) | 应用于终端设备的信息生成方法和装置 | |
CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
CN113468374A (zh) | 目标展示方法、装置、电子设备及存储介质 | |
CN111985419A (zh) | 视频处理方法及相关设备 | |
CN112686908B (zh) | 图像处理方法、信息展示方法、电子设备及存储介质 | |
CN112381118B (zh) | 一种大学舞蹈考试测评方法及装置 | |
CN110008922A (zh) | 用于终端设备的图像处理方法、设备、装置、介质 | |
CN113361459A (zh) | 基于注视点识别的广告展示方法、装置、设备及存储介质 | |
CN114332553A (zh) | 图像处理方法、装置、设备以及存储介质 | |
CN109785114A (zh) | 用于贷款审核的信用数据展示方法、装置、设备及介质 | |
CN113763440A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113538639B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
JP7339092B2 (ja) | 情報処理装置及びバーチャル接客システム | |
JP6320844B2 (ja) | パーツの影響度に基づいて感情を推定する装置、プログラム及び方法 | |
CN112752146A (zh) | 视频质量评估方法、装置、计算机设备和存储介质 | |
CN113761281A (zh) | 虚拟资源处理方法、装置、介质及电子设备 | |
CN117689782B (zh) | 一种生成海报图像的方法、装置、设备及存储介质 | |
Arun et al. | Facial attribute analysis for emotion recognition using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |