CN111724407A - 图像处理方法和相关产品 - Google Patents
图像处理方法和相关产品 Download PDFInfo
- Publication number
- CN111724407A CN111724407A CN202010450788.1A CN202010450788A CN111724407A CN 111724407 A CN111724407 A CN 111724407A CN 202010450788 A CN202010450788 A CN 202010450788A CN 111724407 A CN111724407 A CN 111724407A
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- target
- background
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 353
- 238000012937 correction Methods 0.000 claims description 74
- 230000011218 segmentation Effects 0.000 claims description 62
- 230000004048 modification Effects 0.000 claims description 56
- 238000012986 modification Methods 0.000 claims description 56
- 239000000945 filler Substances 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000006748 scratching Methods 0.000 claims description 4
- 230000002393 scratching effect Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008676 import Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法和相关产品,该方法包括:响应于接收到针对第一图像的抠图指令,显示从所述第一图像中抠出的目标前景图像;响应于接收到融合指令,显示由所述目标前景图像和第一背景图像融合得到的目标图像;所述第一背景图像为用户上传的背景图像或者从背景库选择的背景图像。本申请实施例中,用户可直观的浏览抠出的前景图像,从第一图像中抠出满意的目标前景图像之后,输入融合指令以得到由目标前景图像和第一背景图像融合得到的目标图像;能够满足不同用户对抠出的前景图像的要求,操作快捷。
Description
技术领域
本申请涉及图像处理领域,尤其涉及图像处理方法和相关产品。
背景技术
随着图像处理技术的发展,视频换背景以及图像换背景的应用越来越广泛。目前采用的视频换背景方案以及图像换背景方案,用户操作复杂,并且难以满足不同用户的需求。因此,需要研究用户操作便捷并且能够满足不同用户的需求的视频换背景方案以及图像换背景方案。
发明内容
本申请实施例公开了一种图像处理方法和相关产品。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:响应于接收到针对第一图像的抠图指令,显示从所述第一图像中抠出的目标前景图像;响应于接收到融合指令,显示由所述目标前景图像和第一背景图像融合得到的目标图像;所述第一背景图像为用户上传的背景图像或者从背景库选择的背景图像。
本申请实施例的执行主体为图像处理装置,例如笔记本电脑、台式电脑、平板电脑、手机等终端设备;也可以是服务器。图像处理装置显示的从所述第一图像中抠出的目标前景图像可以是图像处理装置直接从所述第一图像中抠出的前景图像;也可以是基于用户针对初始前景图像的至少一项修正操作更新的前景图像,其中,初始前景图像为图像处理装置直接从所述第一图像中抠出的前景图像。在一些实施例中,图像处理装置可先显示从第一图像抠出的前景图像,然后按照用户输入的至少一项修正操作更新显示的前景图像,直到从第一图像中抠出该用户满意的目标前景图像。在一些实施例中,图像处理装置可先显示从第一图像抠出的前景图像,若用户满意当前显示的前景图像,则该用户输入融合指令。应理解,本申请实施例中,用户可快捷的从图像中抠出满足其要求的前景图像。
本申请实施例中,用户可直观的浏览抠出的前景图像,从第一图像中抠出满意的目标前景图像之后,输入融合指令以得到由目标前景图像和第一背景图像融合得到的目标图像;能够满足不同用户对抠出的前景图像的要求,操作快捷。
在一个可能的实现方式中,所述响应于接收到针对第一图像的抠图指令,显示从所述第一图像中抠出的目标前景图像包括:响应于接收到针对所述第一图像的抠图操作,显示从所述第一图像中抠出的初始前景图像;响应于接收到针对所述初始前景图像的至少一项修正操作,将当前显示的所述初始前景图像更新为基于所述至少一项修正操作得到的所述目标前景图像。
在该实现方式中,可先显示从第一图像中抠出的初始前景图像,再显示基于接收到的至少一项修正操作更新该初始前景图像得到的目标前景图像;用户可根据自己的需要通过输入至少一项修正操作得到满足其需要的前景图像,能够满足不同用户对抠出的前景图像的要求,操作快捷。
在一个可能的实现方式中,所述至少一项修正操作用于指示:扣除所述初始前景图像中的第一目标,和/或,将所述第一图像中的第二目标添加到所述初始前景图像。
在该实现方式中,用户通过至少一项修正操作扣除初始前景图像中的第一目标,和/或,将第一图像中的第二目标添加到初始前景图像;可快速地得到满足用户需要的前景图像。
在一个可能的实现方式中,所述初始前景图像显示于应用界面;所述接收到针对所述初始前景图像的至少一项修正操作包括下列中的至少一项:接收到针对所述应用界面中的抠除选项的选择操作以及针对所述应用界面中显示的所述初始前景图像中的第一目标的选择操作;接收到针对所述应用界面中的添加选项的选择操作以及针对所述初始前景图像中的第一区域的至少一部分的选择操作,其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标;接收到针对所述应用界面的抠除选项的选择操作、针对所述初始前景图像中的第一目标的选择操作以及针对所述应用界面中的抠图选项的选择操作:接收到针对所述应用界面中的添加选项的选择操作、针对所述初始前景图像中的第一区域的至少一部分的选择操作以及针对所述应用界面中的抠图选项的选择操作;其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标。
在该实现方式中,用户通过针对应用界面中的选项可快捷的抠出满足其要求的目标前景图像。
在一个可能的实现方式中,所述目标前景图像为基于所述至少一项修正操作重新对所述第一图像进行抠图处理得到的。
在一个可能的实现方式中,所述基于所述至少一项修正操作重新对所述第一图像进行抠图处理包括:基于所述至少一项修正操作确定至少一个热度图,所述至少一个热度图用于扣除所述初始前景图像中的第一目标和/或将所述第一图像中的第二目标添加到所述初始前景图像;将所述至少一个热度图和所述第一图像输入至神经网络模型进行处理,得到所述第一图像的前景蒙版;基于所述第一图像的前景蒙版对所述第一图像进行处理,得到所述目标前景图像。
在该实现方式中,基于至少一项修正操作确定至少一个热度图,将该至少一个热度图和第一图像输入至神经网络模型进行处理,得到该第一图像的前景蒙版;可以得到满足用户要求的前景蒙版。
在一个可能的实现方式中,所述第一图像为待处理视频中的第一帧图像;所述响应于接收到针对第一图像的抠图指令,显示从所述第一图像中抠出的目标前景图像,包括:响应于接收到针对所述待处理视频的抠图指令,获取从所述待处理视频中包括所述第一图像在内的至少两帧图像中提取的前景图像并进行显示。
在该实现方式中,可以快速地从待处理视频中包括的多帧图像中抠出前景图像并显示。
在一个可能的实现方式中,所述显示由所述目标前景图像和第一背景图像融合得到的目标图像之前,所述方法还包括:响应于接收到对所述目标前景图像和所述第一背景图像中的至少一项的尺寸调整指令,基于所述尺寸调整指令,对所述目标前景图像和所述第一背景图像中的至少一项进行尺寸调整;和/或接收用于指示所述目标前景图像和所述第一背景图像之间的相对位置的位置指令,基于所述位置指令调整所述目标前景图像和所述第一背景图像之间的相对位置,其中,所述目标前景图像和所述第一背景图像是基于所述位置指令进行融合的。
在该实现方式中,可基于尺寸调整指令,对目标前景图像和第一背景图像中的至少一项进行尺寸调整和/或位置指令调整目标前景图像和第一背景图像之间的相对位置;以便于由目标前景图像和第一背景图像融合得到不同的图像,可满足不同用户的要求。
在一个可能的实现方式中,所述响应于接收到针对第一图像的第一抠图指令,显示从所述第一图像中抠出的目标前景图像,包括:响应于接收到针对所述第一图像的抠图指令,向服务器发送所述第一图像,以使得所述服务器基于所述抠图指令提取所述目标前景图像;接收所述服务器返回的所述目标前景图像并显示。
在一个可能的实现方式中,所述初始前景图像为基于所述第一图像中多个像素点的透明度信息和对所述第一图像进行处理得到的前背景分割结果得到的,所述多个像素点的透明度信息为基于所述前背景分割结果对所述第一图像进行处理得到的。
在该实现方式中,基于第一图像中多个像素点的透明度信息和前背景分割结果,得到该第一图像中的目标前景图像;充分考虑了透明度,抠图效果更好。
在一个可能的实现方式中,所述前背景分割结果包括:所述第一图像的前景蒙版;所述基于所述前背景分割结果对所述第一处理进行处理包括:将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理,输出透明度结果图,所述透明度结果图包括所述多个像素点的透明度信息。
在该实现方式中,将前背景分割结果和第一图像输入到神经网络模型进行处理,输出透明度结果图;能够得到更准确地透明度信息。
在一个可能的实现方式中,所述初始前景图像为基于填充图像得到的,所述填充图像为基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理得到的,所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的。
所述填充图像可以为利用所述第一图像的背景区域对所述第一图像中的前景区域进行填充得到的。所述填充图像中的前景区域实际是所述第一图像中的前景区域,所述填充图像中的背景区域实际是所述第一图像中的背景区域。
在该实现方式中,基于第一图像的背景区域对该第一图像中的前景区域进行填充,充分考虑了相邻像素点之间的相似性,使得填充图像更加自然、逼真。
在一个可能的实现方式中,所述基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理包括:基于所述前背景分割结果,对所述第一图像进行处理,得到第二图像,其中,所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值;对所述第二图像进行卷积处理,得到所述填充图像。
示例性的,对所述第二图像进行卷积处理,得到所述填充图像的满足如下公式:
其中,x′表示填充图像中的任一像素点的像素值;M表示卷积核的参数,可选的,M中的值都设为1;b表示偏置值,这里可取0;M为前背景分割结果包括的前景蒙版,X表示所述第二图像中与x′相对应的像素点的像素值。可以理解,X表示第二图像中当前任意像素点的像素值,x′表示对所述第二图像进行卷积处理之后的图像中该任意像素点的像素值。
在该实现方式中,对第二图像进行卷积处理以得到填充图像,充分考虑了相邻像素点之间的相似性,使得填充图像更加自然、逼真。
第二方面,本申请实施例提供另一种图像处理方法,该方法包括:服务器接收来自图像处理装置的第一图像;所述服务器对所述第一图像进行抠图处理,得到目标前景图像,并将所述目标前景图像发送给所述图像处理装置;所述服务器基于来自所述图像处理装置的第一背景图像和融合指令,对所述目标前景图像和所述第一背景图像进行融合处理,得到目标图像;所述服务器将所述目标图像发送给所述图像处理装置。
图像处理装置不需要对图像进行抠图处理,也不需要对前景图像和背景图像进行融合处理。图像处理装置仅需要与服务器进行数据交互以及显示来自服务器的图像。可以理解,图像处理装置的计算量较少,对图像处理装置的处理能力要求很低。
本申请实施例中,服务器对图像进行抠图处理,以及对抠出的前景图像和背景图像进行融合处理;可以减少图像处理装置的计算量。
在一个可能的实现方式中,所述服务器对所述第一图像进行抠图处理,得到目标前景图像之前,所述方法还包括:所述服务器对所述第一图像进行抠图处理,得到初始前景图像,并将所述初始前景图像发送给所述图像处理装置;所述服务器接收所述图像处理装置基于至少一项修正操作反馈的修正指令;所述服务器对所述第一图像进行抠图处理,得到目标前景图像包括:所述服务器基于所述修正指令对所述第一图像进行抠图处理,得到所述目标前景图像。
在该实现方式中,服务器可基于来自图像处理装置的修正指令重新对第一图像进行抠图处理得到目标前景图像;可以解决服务器从图像中抠出的前景图像不满足用户要求的问题,实现简单。
在一个可能的实现方式中,所述至少一项修正操作用于指示:扣除所述初始前景图像中的第一目标,和/或,将所述第一图像中的第二目标添加到所述初始前景图像。
在该实现方式中,用户通过至少一项修正操作扣除初始前景图像中的第一目标,和/或,将第一图像中的第二目标添加到初始前景图像;可快速地得到满足用户需要的前景图像。
在一个可能的实现方式中,所述服务器基于所述修正指令对所述第一图像进行抠图处理,得到所述目标前景图像包括:基于所述修正指令确定至少一个热度图,所述至少一个热度图用于扣除所述初始前景图像中的第一目标和/或将所述第一图像中的第二目标添加到所述初始前景图像;将所述至少一个热度图和所述第一图像输入至神经网络模型进行处理,得到所述第一图像的前景蒙版;基于所述第一图像的前景蒙版对所述第一图像进行处理,得到所述目标前景图像。
在该实现方式中,基于修正指令确定至少一个热度图,将该至少一个热度图和第一图像输入至神经网络模型进行处理,得到该第一图像的前景蒙版;可以得到满足用户要求的前景蒙版。
第三方面,本申请实施例提供了一种图像处理装置,其特征在于,包括:输入单元,用于接收针对第一图像的抠图指令;显示单元,用于显示从所述第一图像中抠出的目标前景图像;所述输入单元,还用于接收融合指令;所述显示单元,还用于显示由所述目标前景图像和第一背景图像融合得到的目标图像;所述第一背景图像为用户上传的背景图像或者从背景库选择的背景图像。
在一个可能的实现方式中,所述输入单元,具体用于接收针对所述第一图像的抠图操作;所述显示单元,具体用于显示从所述第一图像中抠出的初始前景图像;所述输入单元,具体用于接收到针对所述初始前景图像的至少一项修正操作;所述显示单元,具体用于将当前显示的所述初始前景图像更新为基于所述至少一项修正操作得到的所述目标前景图像。
在一个可能的实现方式中,所述至少一项修正操作用于指示:扣除所述初始前景图像中的第一目标,和/或,将所述第一图像中的第二目标添加到所述初始前景图像。
在一个可能的实现方式中,所述初始前景图像显示于应用界面;所述接收到针对所述初始前景图像的至少一项修正操作包括下列中的至少一项:接收到针对所述应用界面中的抠除选项的选择操作以及针对所述应用界面中显示的所述初始前景图像中的第一目标的选择操作;接收到针对所述应用界面中的添加选项的选择操作以及针对所述初始前景图像中的第一区域的至少一部分的选择操作,其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标;接收到针对所述应用界面的抠除选项的选择操作、针对所述初始前景图像中的第一目标的选择操作以及针对所述应用界面中的抠图选项的选择操作:接收到针对所述应用界面中的添加选项的选择操作、针对所述初始前景图像中的第一区域的至少一部分的选择操作以及针对所述应用界面中的抠图选项的选择操作;其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标。
在一个可能的实现方式中,所述目标前景图像为基于所述至少一项修正操作重新对所述第一图像进行抠图处理得到的。
在一个可能的实现方式中,所述基于所述至少一项修正操作重新对所述第一图像进行抠图处理包括:基于所述至少一项修正操作确定至少一个热度图,所述至少一个热度图用于扣除所述初始前景图像中的第一目标和/或将所述第一图像中的第二目标添加到所述初始前景图像;将所述至少一个热度图和所述第一图像输入至神经网络模型进行处理,得到所述第一图像的前景蒙版;基于所述第一图像的前景蒙版对所述第一图像进行处理,得到所述目标前景图像。
在一个可能的实现方式中,所述第一图像为待处理视频中的第一帧图像;所述输入单元,具体用于接收到针对所述待处理视频的抠图指令;所述显示单元,具体用于获取从所述待处理视频中包括所述第一图像在内的至少两帧图像中提取的前景图像并进行显示。
在一个可能的实现方式中,所述输入单元,还用于对所述目标前景图像和所述第一背景图像中的至少一项的尺寸调整指令,基于所述尺寸调整指令;所述图像处理装置还包括:第一图像调整单元,用于对所述目标前景图像和所述第一背景图像中的至少一项进行尺寸调整;和/或所述输入单元,具体用于接收用于指示所述目标前景图像和所述第一背景图像之间的相对位置的位置指令;所述图像处理装置还包括:第二图像调整单元,用于基于所述位置指令调整所述目标前景图像和所述第一背景图像之间的相对位置,其中,所述目标前景图像和所述第一背景图像是基于所述位置指令进行融合的。
在一个可能的实现方式中,所述输入单元,具体用于接收到针对所述第一图像的抠图指令;所述图像处理装置还包括:发送单元,用于向服务器发送所述第一图像,以使得所述服务器基于所述抠图指令提取所述目标前景图像;接收单元,还用于接收所述服务器返回的所述目标前景图像;所述显示单元,具体用于显示所述目标前景图像。
在一个可能的实现方式中,所述初始前景图像为基于所述第一图像中多个像素点的透明度信息和对所述第一图像进行处理得到的前背景分割结果得到的,所述多个像素点的透明度信息为基于所述前背景分割结果对所述第一图像进行处理得到的。
在一个可能的实现方式中,所述前背景分割结果包括:所述第一图像的前景蒙版;所述基于所述前背景分割结果对所述第一处理进行处理包括:将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理,输出透明度结果图,所述透明度结果图包括所述多个像素点的透明度信息。
在一个可能的实现方式中,所述初始前景图像为基于填充图像得到的,所述填充图像为基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理得到的,所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的。
在一个可能的实现方式中,所述基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理包括:基于所述前背景分割结果,对所述第一图像进行处理,得到第二图像,其中,所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值;对所述第二图像进行卷积处理,得到所述填充图像。
关于第三方面或各种可选的实施方式所带来的技术效果,可参考对于第一方面或相应的实现方式的技术效果的介绍。
第四方面,本申请实施例提供了一种服务器,包括:收发单元,用于接收来自图像处理装置的第一图像;处理单元,用于对所述第一图像进行抠图处理,得到目标前景图像;所述收发单元,还用于将所述目标前景图像发送给所述图像处理装置;所述处理单元,还用于基于来自所述图像处理装置的第一背景图像和融合指令,对所述目标前景图像和所述第一背景图像进行融合处理,得到目标图像;所述收发单元,还用于将所述目标图像发送给所述图像处理装置。
在一个可能的实现方式中,所述处理单元,还用于对所述第一图像进行抠图处理,得到初始前景图像;所述收发单元,还用于将所述初始前景图像发送给所述图像处理装置;所述收发单元,还用于接收所述图像处理装置基于至少一项修正操作反馈的修正指令;所述处理单元,具体用于基于所述修正指令对所述第一图像进行抠图处理,得到所述目标前景图像。在一个可能的实现方式中,所述至少一项修正操作用于指示:扣除所述初始前景图像中的第一目标,和/或,将所述第一图像中的第二目标添加到所述初始前景图像。
在该实现方式中,用户通过至少一项修正操作扣除初始前景图像中的第一目标,和/或,将第一图像中的第二目标添加到初始前景图像;可快速地得到满足用户需要的前景图像。
在一个可能的实现方式中,所述服务器基于所述修正指令对所述第一图像进行抠图处理,得到所述目标前景图像包括:基于所述修正指令确定至少一个热度图,所述至少一个热度图用于扣除所述初始前景图像中的第一目标和/或将所述第一图像中的第二目标添加到所述初始前景图像;将所述至少一个热度图和所述第一图像输入至神经网络模型进行处理,得到所述第一图像的前景蒙版;基于所述第一图像的前景蒙版对所述第一图像进行处理,得到所述目标前景图像。
关于第四方面或各种可选的实施方式所带来的技术效果,可参考对于第二方面或相应的实现方式的技术效果的介绍。
第五方面,本申请实施例提供了一种电子设备,该电子设备包括:处理器和存储器,其中,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,使得所述处理器执行如上述第一方面以及任一种可能的实现方式的方法。
第六方面,本申请实施例提供了一种服务器,该服务器包括:处理器和存储器,其中,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,使得所述处理器执行如上述第二方面以及任一种可能的实现方式的方法。
第七方面,本申请实施例提供了一种芯片,该芯片包括数据接口和处理器,其中,所述处理器用于执行第一方面或第一方面的任意可能的实现方式中的方法。
第八方面,本申请实施例提供了一种芯片,该芯片包括数据接口和处理器,其中,所述处理器用于执行第二方面或第二方面的任意可能的实现方式中的方法。
第九方面,本申请实施例提供了一种计算机可读存储介质,该计算机存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时使该处理器执行上述第一方面以及上述第一方面任一种可选的实现方式的方法。
第十方面,本申请实施例提供了一种计算机可读存储介质,该计算机存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时使该处理器执行上述第二方面以及上述第二方面任一种可选的实现方式的方法。
第十一方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面以及任一种可选的实现方式的方法。
第十二方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第二方面以及任一种可选的实现方式的方法。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种图像处理方法流程图;
图2为本申请实施例提供的应用界面的一个示例的示意图;
图3为本申请实施例提供的另一种图像处理方法流程图;
图4为本申请实施例提供的另一种图像处理方法流程图;
图5为本申请实施例提供的另一种图像处理方法流程图;
图6为本申请实施例提供的另一种图像处理方法流程图;
图7为本申请实施例提供的一种图像处理装置的结构示意图;
图8为本申请实施例提供的一种服务器的结构示意图;
图9是本申请实施例提供的另一种服务器的结构示意图;
图10为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如背景技术所述,目前需要研究用户操作便捷并且能够满足不同用户的需求的视频换背景方案以及图像换背景方案。本申请提供了用户能够快捷地从图像中抠出其所需的前景图像,进而融合前景图像和背景图像的图像处理方法。下面分别对申请实施例提供的图像处理方法适用的场景进行简单的介绍。
场景1:用户通过终端设备(例如个人电脑)上运行的图像处理软件提取图像中的前景图像,进而融合背景图像和抠出的前景图像。用户可通过向终端设备输入至少一项修正操作重新进行抠图,直到抠出满足其要求的前景图像。
场景2:用户通过终端设备(例如个人电脑)上运行的图像处理软件提取视频中每帧图像的前景图像,进而融合背景图像和抠出的每帧图像的前景图像。用户可通过向终端设备输入至少一项修正操作重新对视频进行抠图,直到从视频中抠出满足其要求的前景图像。
场景3:用户通过终端设备(例如个人电脑)将图像通过网络上传至服务器;服务器提取图像中的前景图像,并将提取的前景图像发送给终端设备;终端设备显示来自服务器的前景图像,以及显示服务器融合背景图像和抠出的前景图像得到的图像。用户可向终端设备输入针对当前显示的前景图像的至少一项修正操作,该终端设备可基于该至少一项修正操作向服务器反馈修正指令;服务器可基于该修正指令重新进行抠图,并将重新得到的前景图像发送给终端设备。
场景4:用户通过终端设备(例如个人电脑)将视频通过网络上传至服务器;服务器提取视频中每帧图像中的前景图像,并将提取的多帧前景图像发送给终端设备;终端设备显示来自服务器的前景图像,以及显示服务器融合抠出的前景图像和背景图像得到的图像。用户可向终端设备输入针对当前显示的前景图像的至少一项修正操作,该终端设备可基于该至少一项修正操作向服务器反馈修正指令;服务器可基于该修正指令重新对视频中的各帧图像进行抠图,并将重新得到的多帧前景图像发送给终端设备。
在上述场景中,通过实施本申请实施例提供的图像处理方法,用户可快捷地从图像中抠出满足其要求的前景图像。
下面结合附图来介绍本申请实施例提供的图像处理方法。
请参见图1,图1为本申请实施例提供的一种图像处理方法流程图。如图1所示,该方法可包括:
101、图像处理装置响应于接收到针对第一图像的抠图指令,显示从上述第一图像中抠出的目标前景图像。
上述图像处理装置可以是手机、平板电脑、可穿戴设备、笔记本电脑、台式电脑等终端设备。在一些实施例中,图像处理装置为笔记本电脑等终端设备,该图像处理装置运行的图像处理软件执行图1的方法流程。举例来说,用户将第一图像上传至图像处理装置运行的图像处理软件,或者上述图像处理软件基于用户的指示从网络或特定存储区域获取第一图像,通过该图像处理软件提取出该第一图像中的前景图像。在一些实施例中,上述图像处理装置可以为笔记本电脑等终端设备,图像处理装置在显示从上述第一图像中抠出的目标前景图像之前,可通过网络将上述第一图像发送给服务器,并接收来自上述服务器的目标前景图像;其中,上述目标前景图像是服务器对上述第一图像进行处理得到的,即上述目标前景图像为服务器从上述第一图像中抠出的前景图像。上述第一图像可以是静态图像,或者是从视频流中抽取出来的图像帧,本公开实施例对第一图像的类型不作限定。
在一些实施例中,图像处理装置显示的目标前景图像可以为图像处理装置对第一图像进行处理首次得到的前景图像或者为接收的来自服务器处理第一图像首次得到的前景图像。
在一些实施例中,步骤101一种可能的实现方式如下:响应于接收到针对上述第一图像的抠图操作,显示从上述第一图像中抠出的初始前景图像;响应于接收到针对上述初始前景图像的至少一项修正操作,将当前显示的上述初始前景图像更新为基于上述至少一项修正操作得到的上述目标前景图像。上述至少一项修正操作用于指示:扣除上述初始前景图像中的第一目标,和/或,将上述第一图像中的第二目标添加到上述初始前景图像。应理解,上述目标前景图像为基于上述至少一项修正操作重新对上述第一图像进行抠图处理得到的。上述第一目标可以是上述初始前景图像中的一个或多个像素点,也可以是上述初始前景图像中的至少一块区域。举例来说,初始前景图像显示于应用界面,初始前景图像中某个区域(对应于背景)未被扣除,用户点击该应用界面中的扣除选项之后再点击该区域中的任一点,图像处理装置可基于该区域重新抠图,并显示新得到的前景图像;其中,新得到的前景图像中该区域被扣除。也就是说,用户可通过输入修正操作向图像处理装置指示当前显示的前景图像中需要扣除的任意目标,图像处理装置可基于用户输入的修正操作重新抠图。上述第二目标可以是上述第一图像中的一个或多个像素点,也可以是上述第一图像中的至少一块区域。举例来说,初始前景图像显示于应用界面,如果用户发现该初始前景图像中的领带被扣除了(其实领带是需要的),用户点击该应用界面中的添加选项之后再点击领带区域中的任一点,图像处理装置可基于该任一点重新抠图,并显示新得到的前景图像;其中,新得到的前景图像中该领带区域包含领带,领带区域是指第一图像中的领带所处的区域在初始前景图像中对应的区域,该第一图像和该初始前景图形大小相同且像素点一一对应。也就是说,用户可通过输入修正操作向图像处理装置指示当前显示的前景图像中需要添加的任意目标,图像处理装置可基于用户输入的修正操作重新抠图。
102、响应于接收到融合指令,显示由上述目标前景图像和第一背景图像融合得到的目标图像。
在一些实施例中,上述第一背景图像为用户上传的背景图像或者从背景库选择的背景图像。上述背景库可以是图像处理装置运行的图像处理软件自带的,也可以是图像处理装置可通过网络访问一个的背景库。在一些实施例中,上述初始前景图像显示于应用界面;接收到融合指令的实现方式可以是:在接收针对上述目标前景图像的选择操作和接收针对上述第一背景图像的选择操作之后,接收到针对上述应用界面的抠图选项的选择操作。
在一些实施例中,步骤102可能的实现方式如下:响应于接收到融合指令,图像处理装置对上述目标前景图像和上述第一背景图像进行融合处理,显示由上述目标前景图像和上述第一背景图像融合得到的目标图像。
在一些实施例中,步骤102可能的实现方式如下:响应于接收到融合指令,图像处理装置向服务器发送目标指令;服务器响应于上述目标指令,对上述目标前景图像和上述第一背景图像进行融合处理以得到目标图像,并向图像处理装置发送上述目标图像;上述图像处理装置显示上述目标图像。
本申请实施例中,用户可直观的浏览抠出的前景图像,从第一图像中抠出满意的目标前景图像之后,输入融合指令以得到由目标前景图像和第一背景图像融合得到的目标图像;能够满足不同用户对抠出的前景图像的要求,操作快捷。
前述实施例未介绍接收针对初始前景图像的至少一项修正操作的实现方式。下面结合附图来介绍接收针对初始前景图像的至少一项修正操作的举例。
在一些实施例中,上述初始前景图像显示于应用界面;
上述接收到针对上述初始前景图像的至少一项修正操作包括下列中的至少一项:
接收到针对上述应用界面中的抠除选项的选择操作以及针对上述应用界面中显示的上述初始前景图像中的第一目标的选择操作;
接收到针对上述应用界面中的添加选项的选择操作以及针对上述初始前景图像中的第一区域的至少一部分的选择操作,其中,上述第一区域包括上述初始前景图像的边界区域,上述边界区域在上述第一图像中对应的区域邻近第二目标;
接收到针对上述应用界面的抠除选项的选择操作、针对上述初始前景图像中的第一目标的选择操作以及针对上述应用界面中的抠图选项的选择操作:
接收到针对上述应用界面中的添加选项的选择操作、针对上述初始前景图像中的第一区域的至少一部分的选择操作以及针对上述应用界面中的抠图选项的选择操作;其中,上述第一区域包括上述初始前景图像的边界区域,上述边界区域在上述第一图像中对应的区域邻近第二目标。上述边界区域在上述第一图像中对应的区域邻近第二目标是指上述边界区域在上述第一图像中对应的区域中的任一像素点与上述第二目标之间的距离小于某个阈值。
图2为本申请实施例提供的应用界面的一个示例的示意图。如图2所示,201表示的虚线框内为初始前景图像、202表示扣除选项、203表示添加选项、204表示抠图选项。在一个示例中,上述接收到针对上述应用界面中的抠除选项的选择操作可以是:接收到选中应用界面中的扣除选项的操作,例如接收到鼠标点击扣除选项的操作或者用户的手指点击扣除选项的操作。在一个示例中,上述接收到针对上述应用界面中的添加选项的选择操作可以是:接收到选中应用界面中的添加选项的操作,例如接收到鼠标点击添加选项的操作或者用户的手指点击添加选项的操作。在一个示例中,接收到针对上述初始前景图像中的第一目标的选择操作可以是:接收到上述第一目标在上述初始前景图像中对应的区域中任一点的点击操作。在一个示例中,接收到针对上述初始前景图像中的第一区域的至少一部分的选择操作可以是接收到针对上述初始前景图像中的第一区域的至少一部分的点击操作,例如鼠标点击操作或者手指点击操作。
在一些实施例中,图像处理装置在接收到针对上述应用界面中的抠除选项的选择操作以及针对上述应用界面中显示的上述初始前景图像中的第一目标的选择操作之后,可重新对上述第一图像进行抠图处理,得到目标前景图像。举例来说,用户通过鼠标等输入设备选中(例如点击)应用界面的扣除选项和选中(例如点击)待删除的区域(即背景)中的任一点;图像处理装置基于用户选中的待删除的区域(即背景)中的任一点生成一个热度图;图像处理装置利用该热度图和第一图像抠出上述第一图像中的前景图像。示例性的,用户可点击待删除的区域(对应于背景)中的任一点,图像处理装置以该用户点击的点为圆心,生成一个半径为R的圆(R是个可变参数,比如可以取100)。圆形覆盖区域的热度(即一个0到1之间的值),从圆心往外递减,递减的速度符合高斯分布。应理解,在一些实施例中,用户选中应用界面中的抠除选项(例如点击抠除选项)之后,点击初始前景图像中的至少一点,可基于点击的至少一点生成待删除区域(对应于背景)的热度图,图像处理装置可利用待删除区域的热度图对第一图像进行抠图处理,得到新的前景图像;其中,新的前景图像中与初始前景图像相比待删除区域被扣除。
在一些实施例中,图像处理装置在接收到针对上述应用界面的抠除选项的选择操作、针对上述初始前景图像中的第一目标的选择操作以及针对上述应用界面中的抠图选项的选择操作之后,可重新对上述第一图像进行抠图处理,得到目标前景图像。在该实施例中,图像处理装置在接收到针对上述应用界面中的抠图选项的选择操作之后,才重新对上述第一图像进行抠图处理;能够按照用户的要求进行抠图。在一些实施例中,用户可能需要扣除初始前景图像中的多个目标,用户在输入指示扣除多个目标的修正操作之后,再选中抠图选项,可以快捷的实现抠图。
在一些实施例中,图像处理装置在接收到针对上述应用界面中的添加选项的选择操作以及针对上述初始前景图像中的第一区域的至少一部分的选择操作之后,可重新对上述第一图像进行抠图处理,得到目标前景图像。举例来说,用户通过鼠标等输入设备选中(例如点击)应用界面的添加选项和选中(例如点击)待保留区域(对应于前景)中的任一点;图像处理装置基于用户选中的待保留区域(对应于前景)中的该任一点生成一个热度图;图像处理装置利用该热度图和第一图像抠出上述第一图像中的前景图像。示例性的,用户可点击待保留区域(对应于前景)中的任一点,图像处理装置以该用户点击的点为圆心,生成一个半径为R的圆(R是个可变参数,比如可以取100)。圆形覆盖区域的热度(即一个0到1之间的值),从圆心往外递减,递减的速度符合高斯分布。应理解,在一些实施例中,用户选中应用界面中的添加选项(例如点击添加选项)之后,点击初始前景图像中的至少一点,图像处理装置可基于用户点击的至少一点生成待保留区域(对应于前景)的热度图,图像处理装置可利用待保留区域的热度图对第一图像进行抠图处理,得到新的前景图像(对应于目标前景图像);其中,新的前景图像中与初始前景图像相比多了待保留区域对应的部分前景。也就是说,目标前景图像相比于初始前景图像增加了一部分前景(对应于待保留区域)。
在一些实施例中,图像处理装置在接收到针对上述应用界面中的添加选项的选择操作、针对上述初始前景图像中的第一区域的至少一部分的选择操作以及针对上述应用界面中的抠图选项的选择操作之后,可重新对上述第一图像进行抠图处理,得到目标前景图像。
应理解,在一些实施例中,上述目标前景图像为基于上述至少一项修正操作重新对上述第一图像进行抠图处理得到的。在一些实施例中,图像处理装置可接收上述至少一项修正操作,并基于上述至少一项修正操作重新对上述第一图像进行抠图处理得到的上述目标前景图像。在一些实施例中,图像处理装置可接收上述至少一项修正操作,并将上述至少一项修正操作反馈给服务器,例如向服务器反馈基于上述至少一项修正操作生成的修正指令;服务器基于上述至少一项修正操作或者图像处理装置基于上述至少一项修正操作反馈的修正指令,重新对上述第一图像进行抠图处理得到的上述目标前景图像,并反馈给图像处理装置;图像处理装置显示上述目标前景图形。在一些实施例中,上述服务器基于上述至少一项修正操作或者图像处理装置基于上述至少一项修正操作反馈的修正指令,重新对上述第一图像进行抠图处理得到的上述目标前景图像的实现方式如下:基于上述至少一项修正操作或者上述修正指令确定至少一个热度图,上述至少一个热度图用于扣除上述初始前景图像中的第一目标和/或将上述第一图像中的第二目标添加到上述初始前景图像;将上述至少一个热度图和上述第一图像输入至神经网络模型进行处理,得到上述第一图像的前景蒙版;基于上述第一图像的前景蒙版对上述第一图像进行处理,得到上述目标前景图像。
本申请实施例中,用户可通过输入修正操作来重新对图像进行抠图处理,能够满足不同用户的需求,操作快捷。
前述实施例未详述对第一图像进行抠出处理得到初始前景图像的实现方式。下面介绍一些可能的对第一图像进行抠出处理得到初始前景图像的实现方式。
方式一
图像处理装置对第一图像进行处理,得到上述第一图像的前背景分割结果;基于上述前背景分割结果,确定上述第一图像中多个像素点的透明度信息;基于上述多个像素点的透明度信息和上述前背景分割结果,得到上述第一图像中的初始前景图像。上述前背景分割结果包括:上述第一图像的前景蒙版。在一些实施例中,基于上述前背景分割结果,确定上述第一图像中多个像素点的透明度信息可以是:将上述前背景分割结果和上述第一图像输入到神经网络模型进行处理,输出透明度结果图;上述透明度结果图包括上述多个像素点的透明度信息,上述神经网络模型为预先训练得到的。在一些实施例中,基于上述多个像素点的透明度信息和上述前背景分割结果,得到上述第一图像中的初始前景图像可以是:基于上述前背景分割结果对上述第一图像进行处理,得到填充图像,其中,上述填充图像中的前景区域中的多个像素点的像素值是基于上述第一图像的背景区域进行填充得到的;基于上述填充图像和上述透明度信息,得到上述初始前景图像。上述基于上述前背景分割结果对上述第一图像进行处理,得到填充图像可以是:基于上述前背景分割结果,对上述第一图像进行处理,得到第二图像,其中,上述第二图像中与上述前景区域对应的部分的多个像素点的像素值为目标值;对上述第二图像进行卷积处理,得到上述填充图像。示例性的,将上述前背景分割结果中包含的前景蒙版与上述第一图像进行逐像素对应相乘,得到上述第二图像。基于上述前背景分割结果,对上述第一图像进行处理,得到第二图像的一种可能实现方式如下:基于上述前背景分割结果,对上述第一图像中的前景区域部分进行抠图处理,得到上述第二图像。在一些实施例中,可采用如下公式对上述第二图像进行卷积处理以得到上述填充图像:
其中,x′表示填充图像中的任一像素点的像素值;W表示卷积核的参数,可选的,W中的值都设为1;b表示偏置值,这里可取0;M为前背景分割结果包括的前景蒙版,X表示上述第二图像中与x′相对应的像素点的像素值,⊙表示卷积运算。可以理解,X表示第二图像中当前任意像素点的像素值,x′表示对上述第二图像进行卷积处理之后的图像中该任意像素点的像素值。
在一些实施例中,基于上述填充图像和上述透明度信息,得到上述初始前景图像的实现方式如下:
其中,F表示上述初始前景图像,I表示上述第一图像,α表示上述透明度信息(即透明度结果图),B表示上述填充背景。由于上述填充图像和上述第一图像为大小相同且位置相同的像素点一一对应的图像,图像处理装置可利用公式(2)分别计算初始前景图像中每个像素点的像素值。
方式二
图像处理装置对第一图像进行处理,得到上述第一图像的前背景分割结果;基于上述前背景分割结果,对上述第一图像进行处理,得到填充图像;基于上述填充图像,得到上述第一图像中的初始前景图像。在一些实施例中,上述填充图像中的前景区域中的多个像素点的像素值是基于上述第一图像的背景区域进行填充得到的。基于上述前背景分割结果,对上述第一图像进行处理,得到填充图像可能的实现方式如下:基于上述前背景分割结果,对上述第一图像进行处理,得到第二图像,其中,上述第二图像中与上述前景区域对应的部分的多个像素点的像素值为目标值;对上述第二图像进行卷积处理,得到上述填充图像。在一些实施例中,基于上述填充图像,得到上述第一图像中的初始前景图像可以是:基于上述多个像素点的透明度信息和上述填充图像,得到上述第一图像中的上述初始前景图像。
方式三
图像处理装置将第一图像发送给服务器;服务器采用与方式一中图像处理装置相同的方式处理第一图像以得到初始前景图像,并发送给图像处理装置。
方式四
图像处理装置将第一图像发送给服务器;服务器采用与方式二中图像处理装置相同的方式处理第一图像以得到初始前景图像,并发送给图像处理装置。
方式一和方式三中,基于第一图像中多个像素点的透明度信息和前背景分割结果,得到该第一图像中的初始前景图像;充分考虑了透明度,抠图效果更好。
方式二和方式四中,基于第一图像的背景区域对该第一图像中的前景区域进行填充,充分考虑了相邻像素点之间的相似性,使得初始前景图像更加自然、逼真。
下面介绍相比于图1的方法流程更加细化和完善的方法流程。图3为本申请实施例提供的另一种图像处理方法流程图,如图3所示,该方法包括:
301、图像处理装置接收到针对第一图像的抠图操作。
在一些实施例中,步骤301一种可能的实现方式如下:图像处理装置接收到用户选中应用界面中的抠图选项的操作,例如点击抠图选项的操作。在一些实施例中,图像处理装置在执行步骤301之前,可启动图像处理软件,并显示该图像处理软件的应用界面;用户将第一图像上传至图像处理装置运行的图像处理软件或者上述图像处理软件基于用户的指示从网络或特定存储区域获取第一图像,用户选中该第一图像之后选中应用界面中的抠图选项(对应于接收到针对第一图像的抠图操作)。举例来说,图像处理装置启动图像处理软件之后,显示该图像处理软件的应用界面(参阅图2);用户点击导入选项205之后,通过导入界面将图像处理装置中已存储的第一图像上传至图像处理软件的素材库。如图2所示,我的素材中的两个视频即为用户上传的视频。同理,用户也可以将图像上传至图像处理软件素材库。在一些实施例中,图像处理装置接收到针对第一图像的抠图操作可以是:先接收到选中(例如点击)第一图像的操作,再接收到选中(例如点击)抠图选项的操作。在一些实施例中,启动图像处理软件可以包括:登录或者注册图像处理软件的账号。在一个示例中,图像处理装置接收到针对第一图像的抠图操作对应的用户的操作如下:将第一图像从我的素材中拖动至图片轨道(图2中的206);然后,点击抠图选项。
302、图像处理装置对第一图像进行抠图处理,得到初始前景图像。
图像处理装置可采用方式二或者方式二对第一图像进行抠图处理,得到初始前景图像;也可以采用其他方式对第一图像进行抠图处理,得到初始前景图像;本申请实施例不作限定。
303、图像处理装置显示初始前景图像。
304、图像处理装置接收针对上述初始前景图像的至少一项修正操作。
305、图像处理装置基于上述至少一项修正操作重新对上述第一图像进行抠图处理,得到目标前景图像。
在一些实施例中,步骤305的实现方式如下:基于上述至少一项修正操作确定至少一个热度图,上述至少一个热度图用于扣除上述初始前景图像中的第一目标和/或将上述第一图像中的第二目标添加到上述初始前景图像;将上述至少一个热度图和上述第一图像输入至神经网络模型进行处理,得到上述第一图像的前景蒙版;基于上述第一图像的前景蒙版对上述第一图像进行处理,得到上述目标前景图像。
306、图像处理装置显示目标前景图像。
在一些实施例中,图像处理装置将显示的初始前景图像更新为目标前景图像。
307、图像处理装置响应于接收到融合指令,对目标前景图像和第一背景图像进行融合处理,得到目标图像。
在一些实施例中,步骤307可能的实现方式如下:接收到选中上述目标前景图像和上述第一背景图像的操作,以及选中(例如点击)应用界面中的前背景融合选项的操作。图像处理装置在执行步骤307之前,图像处理装置已获得用户上传的第一背景图像或者从背景库已获得第一背景图像。
在一些实施例中,图像处理装置在执行步骤307之前,可执行如下操作:响应于接收到对上述目标前景图像和上述第一背景图像中的至少一项的尺寸调整指令,基于上述尺寸调整指令,对上述目标前景图像和上述第一背景图像中的至少一项进行尺寸调整;和/或
接收用于指示上述目标前景图像和上述第一背景图像之间的相对位置的位置指令,基于上述位置指令调整上述目标前景图像和上述第一背景图像之间的相对位置,其中,上述目标前景图像和上述第一背景图像是基于上述位置指令进行融合的。
308、图像处理装置显示目标图像。
在一些实施例中,图像处理装置将显示的目标前景图像更新为目标图像。在一些实施例中,图像处理装置还可以导出目标图像。在一个示例中,图像处理装置导出目标图像对应的用户的操作如下:点击导出选项;通过导出界面将目标图像导出至图像处理装置的某个位置,例如某个文件夹。
本申请实施例中,图像处理装置可先显示从第一图像中抠出的初始前景图像,再显示基于接收到的至少一项修正操作对第一图像进行抠图处理得到的目标前景图像;用户可根据自己的需要通过输入至少一项修正操作得到满足其需要的前景图像,能够满足不同用户对抠出的前景图像的要求,操作快捷。
图3以图像为例,描述了本申请实施例提供的图像处理方法流程(即图像换背景方案)。下面以视频为例,介绍如何快速地实现视频换背景。图4为本申请实施例提供的另一种图像处理方法流程图。如图4所示,该方法可包括:
401、图像处理装置获取用户上传的待处理视频。
在一些实施例中,步骤401可替换为:图像处理装置基于用户的指示从网络或特定存储区域获取待处理视频。举例来说,图像处理装置启动图像处理软件之后,显示该图像处理软件的应用界面(参阅图2);用户点击导入选项205之后,通过导入界面将图像处理装置中已存储的待处理视频上传至图像处理软件的素材库。如图2所示,我的素材中的两个视频即为用户上传的视频。同理,用户也可以将图像上传至图像处理软件素材库。
402、图像处理装置接收到针对待处理视频的抠图指令。
403、图像处理装置响应于接收到针对待处理视频的抠图指令,对上述待处理视频中的各帧图像进行抠图处理,得到第一视频。
上述第一视频中包括多个第一前景图像。图像处理装置对待处理视频中的每帧图像进行抠图处理,可以得到一个第一前景图像。
404、图像处理装置显示初始前景图像。
在一些实施例中,上述初始前景图像可以是图像处理装置从待处理视频中的第一帧图像抠出的前景图像。在一些实施例中,上述初始前景图像显示于应用界面,上述应用界面包括播放选项,用户选中该播放选项之后,该应用界面先后播放从待处理视频中抠出的多个前景图像。应理解,图像处理装置可以从初始前景图像开始依次显示每个前景图像。
405、图像处理装置接收针对上述初始前景图像的至少一项修正操作。
406、图像处理装置基于上述至少一项修正操作重新对上述待处理视频进行抠图处理,得到第二视频。
上述第二视频中包括多个第二前景图像。应理解,图像处理装置基于上述至少一项修正操作重新对上述待处理视频中的每帧图像进行抠图处理,可以得到一个第二前景图像。
407、图像处理装置显示目标前景图像。
在一些实施例中,上述目标前景图像可以是图像处理装置基于上述至少一项修正操作对待处理视频中的第一帧图像进行抠图处理,得到的前景图像。上述目标前景图像包含于上述多个第二前景图像。
408、图像处理装置响应于接收到融合指令,将多个第二前景图像中的每个第二前景图像和第一背景图像进行融合处理,得到目标视频。
上述目标视频中包括多个第三图像。上述多个第三图像中的任一个可以为上述待处理视频中的一个前景图像与上述第一背景图像融合得到的。
在一些实施例中,步骤408可能的实现方式如下:接收到选中上述第一背景图像的操作,以及选中(例如点击)应用界面中的前背景融合选项的操作。图像处理装置在执行步骤408之前,图像处理装置已获得用户上传的第一背景图像或者从背景库已获得第一背景图像。
在一些实施例中,图像处理装置在执行步骤708之前,可执行如下操作:响应于接收到对上述第一背景图像的尺寸调整指令,基于上述尺寸调整指令,对上述第一背景图像进行尺寸调整。
409、图像处理装置显示目标图像。
在一些实施例中,上述目标图像为目标前景图像与第一背景图像融合得到的图像。上述目标图像包含于上述多个第三图像。
在一些实施例中,图像处理装置在执行步骤409之后,还可以导出目标视频(对应于上述多个第三图像)。在一个示例中,图像处理装置导出目标图像对应的用户的操作如下:点击导出选项;通过导出界面将目标视频导出至图像处理装置的某个位置,例如某个文件夹。
图3和图4分别介绍了由图像处理装置单独实现图像换背景和视频换背景的方法流程。下面介绍图像处理装置和服务器共同实现图像换背景的方法流程。
图5为本申请实施例提供的另一种图像处理方法流程图。如图5所示,该方法包括:
501、图像处理装置接收到针对第一图像的抠图操作。
在一些实施例中,步骤501的实现方式可与步骤301的实现方式相同。
502、图像处理装置向服务器发送第一图像和抠图指令。
503、服务器对上述第一图像进行抠图处理,得到初始前景图像。
在一些实施例中,步骤503的实现方式可与步骤302的实现方式相同。
504、服务器将上述初始前景图像发送给图像处理装置。
505、图像处理装置显示初始前景图像。
506、图像处理装置接收针对上述初始前景图像的至少一项修正操作。
507、图像处理装置向服务器发送基于至少一项修正操作得到的修正指令。
上述修正指令用于指示图像处理装置接收到的至少一项修正操作。
508、服务器置基于上述修正指令重新对上述第一图像进行抠图处理,得到目标前景图像。
服务器置基于上述修正指令重新对上述第一图像进行抠图处理可以理解为服务器置基于上述至少一项修正操作重新对上述第一图像进行抠图处理。在一些实施例中,步骤508与步骤305的区别在于执行主体不同,步骤305是图像处理装置执行的,步骤508是服务器执行的。
509、服务器向图像处理装置发送目标前景图像。
510、图像处理装置显示目标前景图像。
511、图像处理装置向服务器发送融合指令和第一背景图像。
上述融合指令指示服务器融合上述目标前景图像和第一背景图像。在一些实施例中,步骤511可能的实现方式如下:接收到选中上述目标前景图像和上述第一背景图像的操作,以及选中(例如点击)应用界面中的前背景融合选项的操作。图像处理装置在执行步骤511之前,图像处理装置已获得用户上传的第一背景图像或者从背景库已获得第一背景图像。
512、服务器对上述目标前景图像和第一背景图像进行融合处理,得到目标图像。
513、服务器将目标图像发送给图像处理装置。
在一个实施例中,步骤511至步骤513可替换为:图像处理装置响应于接收到融合指令,对目标前景图像和第一背景图像进行融合处理,得到目标图像。
514、图像处理装置显示目标图像。
本申请实施例中,服务器对图像进行抠图处理,以及对抠出的前景图像和背景图像进行融合处理;可以减少图像处理装置的计算量。
下面介绍图像处理装置和服务器共同实现视频换背景的方法流程。
图6为本申请实施例提供的另一种图像处理方法流程图。如图6所示,该方法包括:
601、图像处理装置接收到针对待处理视频的抠图操作。
602、图像处理装置向服务器发送待处理视频和抠图指令。
603、服务器对上述待处理视频中的各帧图像进行抠图处理,得到第一视频。
上述第一视频中包括多个第一前景图像。应理解,服务器对待处理视频中的每帧图像进行抠图处理,可以得到一个第一前景图像。上述多个第一前景图像可以视为服务器对上述待处理视频中的各帧图像进行抠图处理得到的前景图像。
604、服务器将第一视频发送给图像处理装置。
605、图像处理装置显示初始前景图像。
在一些实施例中,上述初始前景图像可以为服务器对待处理视频中的第一帧图像进行抠图处理,得到的前景图像。也就是说,初始前景图像可以为第一视频中的第一帧图像。
606、图像处理装置接收针对上述初始前景图像的至少一项修正操作。
在一些实施例中,步骤606可替换为:图像处理装置接收针对第一视频中至少一个前景图像的至少一项修正操作。
607、图像处理装置向服务器发送基于至少一项修正操作得到的修正指令。
上述修正指令用于指示图像处理装置接收到的至少一项修正操作。
608、服务器置基于上述修正指令重新对上述待处理视频进行抠图处理,得到第二视频。
服务器置基于上述修正指令重新对上述待处理视频进行抠图处理可以理解为服务器基于上述至少一项修正操作重新对上述待处理视频进行抠图处理。在一些实施例中,步骤608中对待处理视频中每帧图像进行抠图处理的实现方式可与步骤508的实现方式相同。
609、服务器向图像处理装置发送第二视频。
610、图像处理装置显示目标前景图像。
在一些实施例中,上述目标前景图像可以为服务器置基于上述修正指令重新对上述待处理视频中的第一帧图像进行抠图处理,得到的前景图像。也就是说,目标前景图像可以为第二视频中的第一帧图像。
611、图像处理装置向服务器发送融合指令和第一背景图像。
上述融合指令指示服务器将上述第二视频中的前景图像分别与第一背景图像进行融合。在一些实施例中,步骤611可能的实现方式如下:接收到选中上述第一背景图像的操作,以及选中(例如点击)应用界面中的前背景融合选项的操作。图像处理装置在执行步骤611之前,图像处理装置已获得用户上传的第一背景图像或者从背景库已获得第一背景图像。
612、服务器将上述第二视频中的前景图像分别与第一背景图像进行融合,得到目标视频。
上述目标视频中的每帧图像为第二视频中的前景图像与第一背景图像融合得到的。举例来说,第二视频包括多帧前景图像,目标视频中的第N帧图像为该第二视频中的第N帧图像与第一背景图像融合得到的;其中,N为大于0的整数。
613、服务器将目标视频发送给图像处理装置。
在一个实施例中,步骤511至步骤513可替换为:图像处理装置响应于接收到融合指令,对第二视频和第一背景图像进行融合处理,得到目标视频。
614、图像处理装置显示目标图像。
上述目标图像可以为上述目标视频中的第一帧图像。
本申请实施例中,服务器对图像进行抠图处理,以及对抠出的前景图像和背景图像进行融合处理;可以减少图像处理装置的计算量。
前面描述了本申请实施例提供的图像处理装置,下面介绍可本申请实施例提供的图像处理方法的图像处理装置的各部件的功能。图7为本申请实施例提供的一种图像处理装置的结构示意图。如图7所示,图像处理装置可包括:
输入单元701,用于接收针对第一图像的抠图指令;
显示单元702,用于显示从上述第一图像中抠出的目标前景图像;
输入单元701,还用于接收融合指令;
显示单元702,还用于显示由上述目标前景图像和第一背景图像融合得到的目标图像;上述第一背景图像为用户上传的背景图像或者从背景库选择的背景图像。
输入单元701对应的硬件实体可以是鼠标、键盘、触摸屏等。显示单元702对应的硬件实体可以是显示器、显示屏等。
在一个可能的实现方式中,输入单元701,具体用于接收针对上述第一图像的抠图操作;
显示单元702,具体用于显示从上述第一图像中抠出的初始前景图像;
输入单元701,具体用于接收到针对上述初始前景图像的至少一项修正操作;
显示单元702,具体用于将当前显示的上述初始前景图像更新为基于上述至少一项修正操作得到的上述目标前景图像。
在一个可能的实现方式中,上述至少一项修正操作用于指示:扣除上述初始前景图像中的第一目标,和/或,将上述第一图像中的第二目标添加到上述初始前景图像。
在一个可能的实现方式中,上述初始前景图像显示于应用界面;
上述接收到针对上述初始前景图像的至少一项修正操作包括下列中的至少一项:
接收到针对上述应用界面中的抠除选项的选择操作以及针对上述应用界面中显示的上述初始前景图像中的第一目标的选择操作;
接收到针对上述应用界面中的添加选项的选择操作以及针对上述初始前景图像中的第一区域的至少一部分的选择操作,其中,上述第一区域包括上述初始前景图像的边界区域,上述边界区域邻近第二目标;
接收到针对上述应用界面的抠除选项的选择操作、针对上述初始前景图像中的第一目标的选择操作以及针对上述应用界面中的抠图选项的选择操作:
接收到针对上述应用界面中的添加选项的选择操作、针对上述初始前景图像中的第一区域的至少一部分的选择操作以及针对上述应用界面中的抠图选项的选择操作;其中,上述第一区域包括上述初始前景图像的边界区域,上述边界区域邻近第二目标。
在一个可能的实现方式中,上述目标前景图像为基于上述至少一项修正操作重新对上述第一图像进行抠图处理得到的。
在一个可能的实现方式中,上述基于上述至少一项修正操作重新对上述第一图像进行抠图处理包括:基于上述至少一项修正操作确定至少一个热度图,上述至少一个热度图用于扣除上述初始前景图像中的第一目标和/或将上述第一图像中的第二目标添加到上述初始前景图像;将上述至少一个热度图和上述第一图像输入至神经网络模型进行处理,得到上述第一图像的前景蒙版;基于上述第一图像的前景蒙版对上述第一图像进行处理,得到上述目标前景图像。
在一个可能的实现方式中,上述第一图像为待处理视频中的第一帧图像;
输入单元701,具体用于接收到针对上述待处理视频的抠图指令;
显示单元702,具体用于获取从上述待处理视频中包括上述第一图像在内的至少两帧图像中提取的前景图像并进行显示。
在一个可能的实现方式中,输入单元701,还用于对上述目标前景图像和上述第一背景图像中的至少一项的尺寸调整指令,基于上述尺寸调整指令;上述图像处理装置还包括:
第一图像调整单元703,用于对上述目标前景图像和上述第一背景图像中的至少一项进行尺寸调整;和/或
输入单元701,具体用于接收用于指示上述目标前景图像和上述第一背景图像之间的相对位置的位置指令;上述图像处理装置还包括:
第二图像调整单元704,用于基于上述位置指令调整上述目标前景图像和上述第一背景图像之间的相对位置,其中,上述目标前景图像和上述第一背景图像是基于上述位置指令进行融合的。
在一个可能的实现方式中,输入单元701,具体用于接收到针对上述第一图像的抠图指令;上述图像处理装置还包括:
发送单元705,用于向服务器发送上述第一图像,以使得上述服务器基于上述抠图指令提取上述目标前景图像;
接收单元706,还用于接收上述服务器返回的上述目标前景图像;
显示单元702,具体用于显示上述目标前景图像。发送单元705和接收单元706可以是同一个单元,也可以是两个独立的单元。
在一个可能的实现方式中,上述初始前景图像为基于上述第一图像中多个像素点的透明度信息和对上述第一图像进行处理得到的前背景分割结果得到的,上述多个像素点的透明度信息为基于上述前背景分割结果对上述第一图像进行处理得到的。
在一个可能的实现方式中,上述前背景分割结果包括:上述第一图像的前景蒙版;上述基于上述前背景分割结果对上述第一处理进行处理包括:将上述前背景分割结果和上述第一图像输入到神经网络模型进行处理,输出透明度结果图,上述透明度结果图包括上述多个像素点的透明度信息。
在一个可能的实现方式中,上述初始前景图像为基于填充图像得到的,上述填充图像为基于对上述第一图像进行处理得到的前背景分割结果对上述第一图像进行处理得到的,上述填充图像中的前景区域中的多个像素点的像素值是基于上述第一图像的背景区域进行填充得到的。
在一个可能的实现方式中,上述基于对上述第一图像进行处理得到的前背景分割结果对上述第一图像进行处理包括:基于上述前背景分割结果,对上述第一图像进行处理,得到第二图像,其中,上述第二图像中与上述前景区域对应的部分的多个像素点的像素值为目标值;对上述第二图像进行卷积处理,得到上述填充图像。
图8为本申请实施例提供的一种服务器的结构示意图。如图8所示,服务器包括:
收发单元801,用于接收来自图像处理装置的第一图像;
处理单元802,用于对上述第一图像进行抠图处理,得到目标前景图像;
收发单元801,还用于将上述目标前景图像发送给上述图像处理装置;
处理单元802,还用于基于来自上述图像处理装置的第一背景图像和融合指令,对上述目标前景图像和上述第一背景图像进行融合处理,得到目标图像;
收发单元801,还用于将上述目标图像发送给上述图像处理装置。
在一个可能的实现方式中,处理单元802,还用于对上述第一图像进行抠图处理,得到初始前景图像;收发单元801,还用于将上述初始前景图像发送给上述图像处理装置;收发单元801,还用于接收上述图像处理装置基于至少一项修正操作反馈的修正指令;处理单元802,具体用于基于上述修正指令对上述第一图像进行抠图处理,得到上述目标前景图像。
在一个可能的实现方式中,上述至少一项修正操作用于指示:扣除上述初始前景图像中的第一目标,和/或,将上述第一图像中的第二目标添加到上述初始前景图像。
在该实现方式中,用户通过至少一项修正操作扣除初始前景图像中的第一目标,和/或,将第一图像中的第二目标添加到初始前景图像;可快速地得到满足用户需要的前景图像。
在一个可能的实现方式中,上述服务器基于上述修正指令对上述第一图像进行抠图处理,得到上述目标前景图像包括:基于上述修正指令确定至少一个热度图,上述至少一个热度图用于扣除上述初始前景图像中的第一目标和/或将上述第一图像中的第二目标添加到上述初始前景图像;将上述至少一个热度图和上述第一图像输入至神经网络模型进行处理,得到上述第一图像的前景蒙版;基于上述第一图像的前景蒙版对上述第一图像进行处理,得到上述目标前景图像。
应理解以上图像处理装置和服务器的各个单元的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。例如,以上各个单元可以为单独设立的处理元件,也可以集成同一个芯片中实现,此外,也可以以程序代码的形式存储于控制器的存储元件中,由处理器的某一个处理元件调用并执行以上各个单元的功能。此外各个单元可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器,例如中央处理器(英文:central processing unit,简称:CPU),还可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(英文:application-specific integrated circuit,简称:ASIC),或,一个或多个微处理器(英文:digital signal processor,简称:DSP),或,一个或者多个现场可编程门阵列(英文:field-programmable gate array,简称:FPGA)等。
图9是本申请实施例提供的另一种服务器的结构示意图,该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)922(例如,一个或一个以上处理器)和存储器932,一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中,存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器922可以设置为与存储介质930通信,在服务器900上执行存储介质930中的一系列指令操作。服务器900可以为本申请提供的图像处理方法。
服务器900还可以包括一个或一个以上电源926,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口958,和/或,一个或一个以上操作系统941,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由图像处理装置所执行的步骤可以基于该图9所示的服务器结构。具体的,中央处理器922可实现图8中的处理单元的功能,输入输出接口958可实现图8中的收发单元的功能。
图10为本申请实施例提供的一种终端设备的结构示意图。如图10所示,该终端设备100包括处理器1001、存储器1002、通信接口1003以及输入输出设备1004;该处理器1001、存储器1002和通信接口1003通过总线相互连接。图10中的终端设备可以为前述实施例中的图像处理装置。
存储器1002包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmablereadonly memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CDROM),该存储器1002用于相关指令及数据。通信接口1003用于接收和发送数据。输入输出设备1004可包括键盘、鼠标、触摸屏等输入设备,以及显示器、屏幕等输出设备。用户可通过输入设备向终端设备输入指令,例如输入针对初始前景图像的至少一项修正操作、抠图操作等。输出设备可显示图像处理软件的应用界面,以及其他内容。
处理器1001可以是一个或多个中央处理器(central processing unit,CPU),在处理器1001是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。上述实施例中由图像处理装置所执行的步骤可以基于该图10所示的终端设备的结构。具体的,输入输出设备1004可实现输入单元701和显示单元702的功能;处理器1001可实现第一图像调整单元703和第二图像调整单元704的功能;通信接口1003可实现发送单元705和接收单元706的功能。
在本申请的实施例中提供一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序被处理器执行时实现前述实施例所提供的图像处理方法。
本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行前述实施例所提供的图像处理方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (28)
1.一种图像处理方法,其特征在于,包括:
响应于接收到针对第一图像的抠图指令,显示从所述第一图像中抠出的目标前景图像;
响应于接收到融合指令,显示由所述目标前景图像和第一背景图像融合得到的目标图像;所述第一背景图像为用户上传的背景图像或者从背景库选择的背景图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述响应于接收到针对第一图像的抠图指令,显示从所述第一图像中抠出的目标前景图像包括:
响应于接收到针对所述第一图像的抠图操作,显示从所述第一图像中抠出的初始前景图像;
响应于接收到针对所述初始前景图像的至少一项修正操作,将当前显示的所述初始前景图像更新为基于所述至少一项修正操作得到的所述目标前景图像。
3.根据权利要求2所述的图像处理方法,其特征在于,所述至少一项修正操作用于指示:扣除所述初始前景图像中的第一目标,和/或,将所述第一图像中的第二目标添加到所述初始前景图像。
4.根据权利要求2或3所述的图像处理方法,其特征在于,所述初始前景图像显示于应用界面;
所述接收到针对所述初始前景图像的至少一项修正操作包括下列中的至少一项:
接收到针对所述应用界面中的抠除选项的选择操作以及针对所述应用界面中显示的所述初始前景图像中的第一目标的选择操作;
接收到针对所述应用界面中的添加选项的选择操作以及针对所述初始前景图像中的第一区域的至少一部分的选择操作,其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标;
接收到针对所述应用界面的抠除选项的选择操作、针对所述初始前景图像中的第一目标的选择操作以及针对所述应用界面中的抠图选项的选择操作:
接收到针对所述应用界面中的添加选项的选择操作、针对所述初始前景图像中的第一区域的至少一部分的选择操作以及针对所述应用界面中的抠图选项的选择操作;其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标。
5.根据权利要求2至4任一项所述的图像处理方法,其特征在于,所述目标前景图像为基于所述至少一项修正操作重新对所述第一图像进行抠图处理得到的。
6.根据权利要求5所述的图像处理方法,其特征在于,所述基于所述至少一项修正操作重新对所述第一图像进行抠图处理包括:基于所述至少一项修正操作确定至少一个热度图,所述至少一个热度图用于扣除所述初始前景图像中的第一目标和/或将所述第一图像中的第二目标添加到所述初始前景图像;将所述至少一个热度图和所述第一图像输入至神经网络模型进行处理,得到所述第一图像的前景蒙版;基于所述第一图像的前景蒙版对所述第一图像进行处理,得到所述目标前景图像。
7.根据权利要求1至6任一项所述的图像处理方法,其特征在于,所述第一图像为待处理视频中的第一帧图像;
所述响应于接收到针对第一图像的抠图指令,显示从所述第一图像中抠出的目标前景图像,包括:
响应于接收到针对所述待处理视频的抠图指令,获取从所述待处理视频中包括所述第一图像在内的至少两帧图像中提取的前景图像并进行显示。
8.根据权利要求1至7任一项所述的图像处理方法,其特征在于,所述显示由所述目标前景图像和第一背景图像融合得到的目标图像之前,所述方法还包括:
响应于接收到对所述目标前景图像和所述第一背景图像中的至少一项的尺寸调整指令,基于所述尺寸调整指令,对所述目标前景图像和所述第一背景图像中的至少一项进行尺寸调整;和/或
接收用于指示所述目标前景图像和所述第一背景图像之间的相对位置的位置指令,基于所述位置指令调整所述目标前景图像和所述第一背景图像之间的相对位置,其中,所述目标前景图像和所述第一背景图像是基于所述位置指令进行融合的。
9.根据权利要求1至8任一项所述的图像处理方法,其特征在于,所述响应于接收到针对第一图像的第一抠图指令,显示从所述第一图像中抠出的目标前景图像,包括:
响应于接收到针对所述第一图像的抠图指令,向服务器发送所述第一图像,以使得所述服务器基于所述抠图指令提取所述目标前景图像;
接收所述服务器返回的所述目标前景图像并显示。
10.根据权利要求2至9任一项所述的图像处理方法,其特征在于,所述初始前景图像为基于所述第一图像中多个像素点的透明度信息和对所述第一图像进行处理得到的前背景分割结果得到的,所述多个像素点的透明度信息为基于所述前背景分割结果对所述第一图像进行处理得到的。
11.根据权利要求10所述的图像处理方法,其特征在于,所述前背景分割结果包括:所述第一图像的前景蒙版;所述基于所述前背景分割结果对所述第一处理进行处理包括:将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理,输出透明度结果图,所述透明度结果图包括所述多个像素点的透明度信息。
12.根据权利要求2至9任一项所述的图像处理方法,其特征在于,所述初始前景图像为基于填充图像得到的,所述填充图像为基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理得到的,所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的。
13.根据权利要求12所述的图像处理方法,其特征在于,所述基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理包括:
基于所述前背景分割结果,对所述第一图像进行处理,得到第二图像,其中,所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值;
对所述第二图像进行卷积处理,得到所述填充图像。
14.一种图像处理装置,其特征在于,包括:
输入单元,用于接收针对第一图像的抠图指令;
显示单元,用于显示从所述第一图像中抠出的目标前景图像;
所述输入单元,还用于接收融合指令;
所述显示单元,还用于显示由所述目标前景图像和第一背景图像融合得到的目标图像;所述第一背景图像为用户上传的背景图像或者从背景库选择的背景图像。
15.根据权利要求14所述的图像处理装置,其特征在于,
所述输入单元,具体用于接收针对所述第一图像的抠图操作;
所述显示单元,具体用于显示从所述第一图像中抠出的初始前景图像;
所述输入单元,具体用于接收到针对所述初始前景图像的至少一项修正操作;
所述显示单元,具体用于将当前显示的所述初始前景图像更新为基于所述至少一项修正操作得到的所述目标前景图像。
16.根据权利要求15所述的图像处理装置,其特征在于,所述至少一项修正操作用于指示:扣除所述初始前景图像中的第一目标,和/或,将所述第一图像中的第二目标添加到所述初始前景图像。
17.根据权利要求15或16所述的图像处理装置,其特征在于,所述初始前景图像显示于应用界面;
所述接收到针对所述初始前景图像的至少一项修正操作包括下列中的至少一项:
接收到针对所述应用界面中的抠除选项的选择操作以及针对所述应用界面中显示的所述初始前景图像中的第一目标的选择操作;
接收到针对所述应用界面中的添加选项的选择操作以及针对所述初始前景图像中的第一区域的至少一部分的选择操作,其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标;
接收到针对所述应用界面的抠除选项的选择操作、针对所述初始前景图像中的第一目标的选择操作以及针对所述应用界面中的抠图选项的选择操作:
接收到针对所述应用界面中的添加选项的选择操作、针对所述初始前景图像中的第一区域的至少一部分的选择操作以及针对所述应用界面中的抠图选项的选择操作;其中,所述第一区域包括所述初始前景图像的边界区域,所述边界区域邻近第二目标。
18.根据权利要求15至17任一项所述的图像处理装置,其特征在于,所述目标前景图像为基于所述至少一项修正操作重新对所述第一图像进行抠图处理得到的。
19.根据权利要求18所述的图像处理装置,其特征在于,所述基于所述至少一项修正操作重新对所述第一图像进行抠图处理包括:基于所述至少一项修正操作确定至少一个热度图,所述至少一个热度图用于扣除所述初始前景图像中的第一目标和/或将所述第一图像中的第二目标添加到所述初始前景图像;将所述至少一个热度图和所述第一图像输入至神经网络模型进行处理,得到所述第一图像的前景蒙版;基于所述第一图像的前景蒙版对所述第一图像进行处理,得到所述目标前景图像。
20.根据权利要求14至19任一项所述的图像处理装置,其特征在于,所述第一图像为待处理视频中的第一帧图像;
所述输入单元,具体用于接收到针对所述待处理视频的抠图指令;
所述显示单元,具体用于获取从所述待处理视频中包括所述第一图像在内的至少两帧图像中提取的前景图像并进行显示。
21.根据权利要求14至20任一项所述的图像处理装置,其特征在于,
所述输入单元,还用于对所述目标前景图像和所述第一背景图像中的至少一项的尺寸调整指令,基于所述尺寸调整指令;所述图像处理装置还包括:
第一图像调整单元,用于对所述目标前景图像和所述第一背景图像中的至少一项进行尺寸调整;和/或
所述输入单元,具体用于接收用于指示所述目标前景图像和所述第一背景图像之间的相对位置的位置指令;所述图像处理装置还包括:
第二图像调整单元,用于基于所述位置指令调整所述目标前景图像和所述第一背景图像之间的相对位置,其中,所述目标前景图像和所述第一背景图像是基于所述位置指令进行融合的。
22.根据权利要求14至21任一项所述的图像处理装置,其特征在于,
所述输入单元,具体用于接收到针对所述第一图像的抠图指令;所述图像处理装置还包括:
发送单元,用于向服务器发送所述第一图像,以使得所述服务器基于所述抠图指令提取所述目标前景图像;
接收单元,还用于接收所述服务器返回的所述目标前景图像;
所述显示单元,具体用于显示所述目标前景图像。
23.根据权利要求15至22任一项所述的图像处理装置,其特征在于,所述初始前景图像为基于所述第一图像中多个像素点的透明度信息和对所述第一图像进行处理得到的前背景分割结果得到的,所述多个像素点的透明度信息为基于所述前背景分割结果对所述第一图像进行处理得到的。
24.根据权利要求23所述的图像处理装置,其特征在于,所述前背景分割结果包括:所述第一图像的前景蒙版;所述基于所述前背景分割结果对所述第一处理进行处理包括:将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理,输出透明度结果图,所述透明度结果图包括所述多个像素点的透明度信息。
25.根据权利要求15至22任一项所述的图像处理装置,其特征在于,所述初始前景图像为基于填充图像得到的,所述填充图像为基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理得到的,所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的。
26.根据权利要求25所述的图像处理装置,其特征在于,所述基于对所述第一图像进行处理得到的前背景分割结果对所述第一图像进行处理包括:
基于所述前背景分割结果,对所述第一图像进行处理,得到第二图像,其中,所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值;
对所述第二图像进行卷积处理,得到所述填充图像。
27.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被移动设备的处理器执行时,使所述处理器执行权利要求1至13任意一项所述的方法。
28.一种电子设备,其特征在于,包括存储器和处理器,其中,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,使得所述处理器执行如权利要求1至13任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010450788.1A CN111724407A (zh) | 2020-05-25 | 2020-05-25 | 图像处理方法和相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010450788.1A CN111724407A (zh) | 2020-05-25 | 2020-05-25 | 图像处理方法和相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111724407A true CN111724407A (zh) | 2020-09-29 |
Family
ID=72565004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010450788.1A Pending CN111724407A (zh) | 2020-05-25 | 2020-05-25 | 图像处理方法和相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724407A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112258435A (zh) * | 2020-10-19 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
CN112261320A (zh) * | 2020-09-30 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
CN112581567A (zh) * | 2020-12-25 | 2021-03-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112991377A (zh) * | 2021-04-22 | 2021-06-18 | 辽宁向日葵教育科技有限公司 | 一种基于opencv和shader融合技术的抠像算法 |
CN114615443A (zh) * | 2022-03-15 | 2022-06-10 | 维沃移动通信有限公司 | 图像处理方法及其装置 |
WO2023005743A1 (zh) * | 2021-07-30 | 2023-02-02 | 上海商汤智能科技有限公司 | 图像处理方法及装置、计算机设备、存储介质和计算机程序产品 |
WO2023241427A1 (zh) * | 2022-06-17 | 2023-12-21 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100158379A1 (en) * | 2008-12-18 | 2010-06-24 | Microsoft Corporation | Image background removal |
CN106844722A (zh) * | 2017-02-09 | 2017-06-13 | 北京理工大学 | 基于Kinect设备的合影系统及方法 |
CN109919836A (zh) * | 2019-03-20 | 2019-06-21 | 广州华多网络科技有限公司 | 视频抠像处理方法、视频抠像处理客户端及可读存储介质 |
CN110148102A (zh) * | 2018-02-12 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像合成方法、广告素材合成方法及装置 |
CN110913267A (zh) * | 2019-11-29 | 2020-03-24 | 上海赛连信息科技有限公司 | 图像处理方法、装置、系统、界面、介质和计算设备 |
-
2020
- 2020-05-25 CN CN202010450788.1A patent/CN111724407A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100158379A1 (en) * | 2008-12-18 | 2010-06-24 | Microsoft Corporation | Image background removal |
CN106844722A (zh) * | 2017-02-09 | 2017-06-13 | 北京理工大学 | 基于Kinect设备的合影系统及方法 |
CN110148102A (zh) * | 2018-02-12 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像合成方法、广告素材合成方法及装置 |
CN109919836A (zh) * | 2019-03-20 | 2019-06-21 | 广州华多网络科技有限公司 | 视频抠像处理方法、视频抠像处理客户端及可读存储介质 |
CN110913267A (zh) * | 2019-11-29 | 2020-03-24 | 上海赛连信息科技有限公司 | 图像处理方法、装置、系统、界面、介质和计算设备 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112261320A (zh) * | 2020-09-30 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
CN112258435A (zh) * | 2020-10-19 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
CN112581567A (zh) * | 2020-12-25 | 2021-03-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112581567B (zh) * | 2020-12-25 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112991377A (zh) * | 2021-04-22 | 2021-06-18 | 辽宁向日葵教育科技有限公司 | 一种基于opencv和shader融合技术的抠像算法 |
WO2023005743A1 (zh) * | 2021-07-30 | 2023-02-02 | 上海商汤智能科技有限公司 | 图像处理方法及装置、计算机设备、存储介质和计算机程序产品 |
CN114615443A (zh) * | 2022-03-15 | 2022-06-10 | 维沃移动通信有限公司 | 图像处理方法及其装置 |
WO2023241427A1 (zh) * | 2022-06-17 | 2023-12-21 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111724407A (zh) | 图像处理方法和相关产品 | |
CN107766349B (zh) | 一种生成文本的方法、装置、设备及客户端 | |
CN108924440B (zh) | 贴纸显示方法、装置、终端及计算机可读存储介质 | |
KR20170026274A (ko) | 콘텐츠 편집 장치 및 편집 방법 | |
CN111669507A (zh) | 拍照方法、装置及电子设备 | |
CN111669506A (zh) | 拍照方法、装置及电子设备 | |
CN112954210A (zh) | 拍照方法、装置、电子设备及介质 | |
CN106843794B (zh) | 一种基于安卓的分屏显示方法和系统 | |
CN112269522A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
CN112532882A (zh) | 图像显示方法和装置 | |
CN112449110B (zh) | 图像处理方法、装置及电子设备 | |
CN112099714B (zh) | 截图方法、装置、电子设备及可读存储介质 | |
CN112270728A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN111638839A (zh) | 截屏方法、装置和电子设备 | |
CN115729544A (zh) | 桌面组件生成方法、装置、电子设备和可读存储介质 | |
CN115421631A (zh) | 界面显示方法和装置 | |
CN115562539A (zh) | 控件显示方法及装置、电子设备和可读存储介质 | |
CN112202958B (zh) | 截图方法、装置及电子设备 | |
CN114879872A (zh) | 显示方法、装置、电子设备及存储介质 | |
CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113961113A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN114518821A (zh) | 应用图标管理方法、装置和电子设备 | |
CN114253449A (zh) | 截屏方法、装置、设备及介质 | |
CN113873168A (zh) | 拍摄方法、装置、电子设备及介质 | |
CN112286613A (zh) | 界面显示方法及界面显示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |