CN115760879A - 图像处理方法、图像处理系统、装置、设备及介质 - Google Patents
图像处理方法、图像处理系统、装置、设备及介质 Download PDFInfo
- Publication number
- CN115760879A CN115760879A CN202211447700.6A CN202211447700A CN115760879A CN 115760879 A CN115760879 A CN 115760879A CN 202211447700 A CN202211447700 A CN 202211447700A CN 115760879 A CN115760879 A CN 115760879A
- Authority
- CN
- China
- Prior art keywords
- image
- cartoon
- portrait
- terminal
- cloud server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 200
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 230000004044 response Effects 0.000 claims abstract description 17
- 230000001960 triggered effect Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 14
- 230000001629 suppression Effects 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 27
- 238000013508 migration Methods 0.000 description 10
- 230000005012 migration Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开实施例提供了一种图像处理方法、图像处理系统、装置、设备及介质,所述方法包括:响应于触发的针对目标图像的卡通化请求,指示云端服务器对目标图像进行人像分割,得到人像图像和背景图像;根据终端的当前性能参数,指示当前性能参数对应的主体对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;主体包括终端和/或云端服务器;向显示设备输出融合得到的卡通图像,显示设备用于显示卡通图像。
Description
技术领域
本公开涉及图像处理技术领域,特别是涉及一种图像处理方法、图像处理系统、装置、设备及介质。
背景技术
随着图像处理技术的发展,出现了一些趣味性应用,这些趣味性应用用于将人像图像进行各种趣味性处理,如卡通处理。
相关技术中,图像的卡通化处理一般需要在终端中内置对应的应用程序,这些应用程序一般需要内置各种与趣味性处理相关的算法和模型,需要耗费终端较多的存储资源,且对终端的处理器的性能提出了较高的要求,在终端上完成一个图像的趣味化处理时,往往需要花费的较长的时间,有时还会出现终端运行卡顿的问题,不利于图像趣味性的应用场景的拓展。例如,在一些需要在大量低性能的显示设备上进行卡通人像显示时,便显得尤为困难。
发明内容
鉴于上述问题,提出了本公开实施例的一种图像处理方法、装置、设备及介质,以便克服上述问题或者至少部分地解决上述问题。
为了解决上述问题,本公开的第一方面,公开了一种图像处理方法,所述方法包括:
响应于触发的针对目标图像的卡通化请求,指示云端服务器对所述目标图像进行人像分割,得到人像图像和背景图像;
根据所述终端的当前性能参数,指示所述当前性能参数对应的主体对所述人像图像进行卡通化处理,并对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;所述主体包括所述终端和/或所述云端服务器;
向所述显示设备输出所述融合得到的卡通图像,所述显示设备用于显示所述卡通图像。
可选地,所述向所述显示设备输出所述融合得到的卡通图像,包括:
基于与所述显示设备之间的当前通信状态,确定所述显示设备是否在预设距离范围内;
若在所述预设距离范围内,则基于与所述显示设备之间的通信连接,将所述卡通图像发送给所述显示设备;
若不在所述预设距离范围内,则指示所述云端服务器通过所述显示设备所在位置处的目标网关,将所述卡通图像发送给所述显示设备。
可选地,所述通信连接包括蓝牙、无线和近场通信中的至少一种连接,所述网关包括蓝牙网关和/或无线通信网关。
可选地,根据所述终端的性能参数,指示所述当前性能参数对应的主体对所述人像图像进行卡通化处理,并对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合,包括:
在所述当前性能参数表征终端属于第一等级性能的终端的情况下,指示所述主体为所述终端;
在所述当前性能参数表征终端属于第三等级性能的终端的情况下,指示所述主体为所述云端服务器;
在所述当前性能参数表征终端属于第二等级性能的终端的情况下,指示所述主体包括所述终端和所述云端服务器;其中,由所述云端服务器对所述人像图像进行卡通化处理,由所述终端对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合。
可选地,所述对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合,包括:
基于所述卡通人像图像中目标样式的样式信息,对所述背景图像中的目标样式进行迁移,得到卡通化背景图像;所述目标样式至少包括颜色样式;
将所述卡通化背景图像和所述卡通人像图像进行融合,得到所述卡通图像。
可选地,所述基于所述卡通人像图像中目标样式的样式信息,对所述背景图像中的目标样式进行迁移,包括:
将所述卡通人像图像转换到lab颜色空间,得到第一图像;以及将所述背景图像转换到lab颜色空间,得到第二图像;
基于所述第一图像中每个通道中各个像素点的均值和标准差,对所述第二图像中对应通道的各个像素点的值进行校正;
将校正后的第二图像转换到RGB颜色空间,得到所述卡通化背景图像。
可选地,所述对所述卡通人像图像和所述背景图像进行融合,得到卡通图像之前,所述方法还包括:
对所述背景图像中的物体边缘进行锐化,得到边缘图像;以及,对所述背景图像中的颜色亮度进行调色,得到颜色调色图像;
基于所述边缘图像对所述颜色调色图像的边缘进行边缘增强,得到初始卡通化的背景图像;
对所述卡通人像图像和所述背景图像进行融合,得到卡通图像,包括:
对所述卡通人像图像和所述初始卡通化的背景图像进行融合,得到所述卡通图像。
可选地,所述对人像图像进行卡通化,得到卡通人像图像,包括:
将所述人像图像输入到生成对抗网络模型,以对所述人像图像进行卡通化处理;
获取所述生成对抗网络模型输出的卡通人像图像。
可选地,所述响应于触发的针对目标图像的卡通化请求,指示云端服务器对所述目标图像进行人像分割,得到人像图像和背景图像,包括:
响应于所述卡通化请求,将所述目标图像发送给所述云端服务器,以指示所述云端服务器对所述目标图像进行人像分割;
或者,响应于所述卡通化请求,将所述目标图像的属性标识发送给所述云端服务器,以指示所述云端服务器对图像库中具有所述属性标识的目标图像进行人像分割。
可选地,所述对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合,包括:
获取由所述云端服务器输出的针对所述目标图像的掩码图,所述掩码图用于标识出所述目标图像中的前景区域和背景区域;
对所述掩码图进行噪声抑制;
基于所述噪声抑制后的掩码图,对所述背景图像和所述卡通人像图像进行融合。
本实施例的第二方面,提供一种图像处理方法,应用于服务器,所述方法包括:
响应于所述终端基于目标图像的卡通化请求所发送的指示,对所述目标图像进行人像分割,得到人像图像和背景图像;
在确定所述云端服务器为所述终端上当前被激活的卡通化策略所对应的主体时,对所述人像图像进行卡通化处理,和/或对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;
将所述融合得到的卡通图像发送给所述终端,和/或发送给显示设备。
可选地,所述云端服务器连接多个网关,将所述融合得到的卡通图像发送给所述显示设备,包括:
接收多个所述网关上传的连接信息,所述连接信息中包括已连接到所述网关的显示设备的设备标识;
基于所述连接信息,确定连接有所述显示设备的目标网关;
将所述卡通图像发送给所述目标网关,以指示所述目标网关将所述卡通图像发送给所述显示设备。
可选地,基于所述连接信息,确定连接有所述显示设备的目标网关,包括:
在连接有所述显示设备的网关为一个的情况下,将该一个网关作为所述目标网关;
在连接有所述显示设备的网关有多个的情况下,获取所述显示设备与每个网关之间的信号强度,并基于所述信号强度,确定所述目标网关。
本公开的第三方面,提供一种图像处理系统,,所述系统包括云端服务器、多个终端以及多个显示设备;其中,所述终端用于执行上述第一方面或第二方面所述的图像处理方法,所述显示设备用于显示卡通图像。
可选地,所述显示设备包括电泳显示类型的胸牌、会议门牌和会议桌牌中的至少一种。
本公开的第四方面,提供一种图像处理装置,所述装置应用于终端,包括:
响应模块,用于响应于触发的针对目标图像的卡通化请求,指示云端服务器对所述目标图像进行人像分割,得到人像图像和背景图像;
第一卡通化模块,用于根据所述终端的性能参数,指示所述当前性能参数对应的主体对所述人像图像进行卡通化处理,并对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;所述主体包括所述终端和/或所述云端服务器;
第一发送模块,用于向所述显示设备输出所述融合得到的卡通图像,所述显示设备用于显示所述卡通图像。
本公开的第五方面,提供一种图像处理装置,应用于服务器,所述装置包括:
分割模块,用于响应于所述终端基于目标图像的卡通化请求所发送的指示,对所述目标图像进行人像分割,得到人像图像和背景图像;
第二卡通化模块,用于在确定所述云端服务器为依据所述终端的当前性能参数所确定的主体时,对所述人像图像进行卡通化处理,和/或对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;
第二发送模块,用于将所述融合得到的卡通图像发送给所述终端,和/或发送给显示设备。
本公开实施例的第三方面,还公开了一种电子设备,包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如第一方面或第二方面实施例所述的图像处理方法。
本公开实施例的第四方面,还公开了一种计算机可读存储介质,其存储的计算机程序使得处理器执行如本公开第一方面或第二方面实施例所述的图像处理方法。
在本公开实施例中,响应于触发的针对目标图像的卡通化请求,指示云端服务器对目标图像进行人像分割,得到人像图像和背景图像;并根据所述终端的性能参数,指示卡通化策略对应的主体人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;最后,可以向显示设备输出融合得到的卡通图像以在电子设备上显示卡通图像。
由于在对目标图像的卡通化处理中,由云端服务器对目标图像执行图像分割,在进行人像卡通化处理时,可以依据终端的当前性能参数,由终端和/或云端服务器执行,如此,人像卡通化过程中的各个阶段的任务(图像分割、人像卡通化、图像融合)可以按终端性能,分配至终端和云端服务器共同完成,由此,终端上的应用程序与避免搭载与图像分割有关的算法、模型等,从而无需占用终端较多的存储资源和处理器的计算资源,进而降低了对终端的性能要求。这样:
一方面,可以允许应用程序对图像处理过程中的人像卡通化或图像融合的过程进行更精细化的处理,即可以在应用应用程序中植入更精细化处理的模型,从而使得终端可以专注于人像卡通化的处理,提高卡通化处理的趣味性。
另一方面,应用程序可以安装到更低性能的终端上,从而大部分性能普通的终端,如手机均能实现图像卡通化的这一趣味性应用,拓宽了应用场景。
再一方面,由于将卡通图像输出给显示设备,这样,卡通图像可以发送给其他显示设备进行显示,从而可以在大量低性能的显示设备上进行卡通人像显示,这样可以使得人像卡通的趣味化应用拓宽到有大量低性能显示设备的显示系统中。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是示出了本公开的图像处理方法所应用的图像处理系统的框架示意图;
图2是本公开实施例中的图像处理方法的步骤流程图;
图3是本公开实施例中的图像处理方法的一种应用示例的场景示意图;
图4是本公开实施例中的图像处理方法的一种应用示例的场景示意图;
图5是本公开实施例中的图像处理方法的一种应用示例的场景示意图;
图6是本公开实施例中的图像处理方法的又一种应用示例的场景示意图;
图7是本公开实施例中的一种目标图像的卡通化处理的整体流程示意图;
图8是本公开实施例中的生成对抗网络的训练示意图;
图9是本公开实施例中的对背景图像进行初始的卡通化的处理的流程示意图;
图10是本公开实施例中背景图像的图像处理效果示意图;
图11是本公开实施例中一种图像处理方法的步骤流程图;
图12是本公开的终端侧的图像处理装置的结构示意图;
图13是本公开的服务器侧的图像处理装置的结构示意图;
图14是本公开的一种电子设备的结构示意图。
具体实施方式
为使本公开的上述目的、特征和优点能够更加明显易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
相关技术中,一些需要在大量低性能的显示设备上进行卡通人像显示的场景可以涉及到以下场景:
场景1:在企业中会为员工配置数字胸牌,数字胸牌用于显示员工的头像,如证件照,一些情况下,允许员工在数字胸牌上显示自己的头像被卡通化后的图像,以增强趣味性,营造轻松的办公氛围。一些大型企业,会配置上百甚至上千个数字胸牌,这些数字胸牌的性能很低,一般只具有基本的通信和图像显示功能。这样一来,在数字胸牌上无法进行图像的卡通化处理,若要实现数字胸牌的卡通化处理,无疑要增加硬件投入,会支出高昂的费用。若不在数字胸牌上进行图像卡通化处理,则会在员工手机上处理好后发送给数字胸牌,如此,员工需要下载专用的卡通化处理的应用程序,便会导致背景技术中所存在的问题,会占用员工手机的存储资源和处理器的计算资源,影响其工作类的应用程序的安装运行(工作类的应用程序往往占用比较大,例如邮箱、办公软件等)。因此,在该场景中进行卡通化的头像显示往往推进困难,不能达到预期的效果。
场景2:大型会议中,会准备参会人员的电子桌牌,电子桌牌上一般会显示参会人员的名字,在一些会议主题中,如游戏会议主题或娱乐为主的会议主题中,为了增加会议的趣味性,可以在电子桌牌上显示参会人员的卡通化后的头像。然而,相关技术中,还没有这样的实现方案。
可见,上述场景都存在背景技术所描述的问题,有鉴于此,本公开为降低图像的卡通化处理时,对终端的性能要求高、占用较多的存储资源和处理器的计算资源的问题,提出了一种图像处理方法,该方法的核心构思在于:对目标图像的卡通化处理中,可以由云端服务器对目标图像执行图像分割,在进行人像卡通化处理时,可以由终端和/或云端服务器执行,如此,人像卡通化过程中的各个阶段的任务(图像分割、人像卡通化、图像融合)被分摊到终端和云端服务器上,从而使得应用程序在终端执行的部分可以显著减少,无需占用终端较多的存储资源和处理器的计算资源,进而在降低对终端的性能要求的同时,可以实现在大量低性能的显示设备上显示卡通化的图像。
本实施例中,卡通指代的是壁画、油画、地毯等的草图、底图,也可以指漫画、讽刺画、幽默画。实际中,是借用风格简练、充满幽默讽刺的绘画语言来讲述故事,本申请中的卡通化是指:将真实的人物形象按照一个卡通人物进行转换,以使得用卡通形象描绘一个人的真人形象。
参照图1所示,示出了本公开的图像处理方法所应用的图像处理系统的框架示意图,该图像处理系统可以应用于上述场景1中,也可以应用于上述场景2中,如图1所示,可以包括云端服务器、多个终端、以及多个显示设备。
其中,多个终端可以与云端服务器通信连接,具体地,多个终端通过HTTP协议与云端服务器连接;且多个终端也可以与显示设备进行通信连接,其中,终端与显示设备之间可以通过蓝牙连接,也可以通过进场通信NFC连接,在场景1中,一个终端对应地配套一个显示设备,例如一个手机有配条的一个电子胸牌。在场景2中,终端和显示设备之间无需配套,只需要在需要在显示设备上显示卡通图像时,终端与显示设备之间建立通信连接后,将卡通图像发送给显示设备即可。例如,用户持着手机进入会场,与座位上的电子桌牌建立蓝牙通信连接后,将卡通图像发送给电子桌牌便可以显示自己的卡通头像。
其中,云端服务器可以通过多个网关与多个显示设备连接,多个网关可以包括蓝牙网关和无线通信网关,以使多个显示设备通过蓝牙等近网协议与云端服务器通信,其中,显示设备可以借由蓝牙网关与云端服务器通信,终端可以借由路由器与云端服务器通信,当终端被路由器扫描到后,路由器向云端服务器上报终端的基本信息,当显示设备被蓝牙网关或无线网关扫描到后,网关向云端服务器上报显示设备的连接信息。
其中,连接信息可以包括剩余电量、显示设备的标识、信号强度等。在所述所示的场景1中,终端用于发起目标图像的卡通化请求,云端服务器用于对目标图像进行人像分割,得到人像图像和背景图像。进而再由云端服务器和/或终端对人像图像进行卡通化处理,以及对卡通化处理后的卡通人像图像和背景图像进行融合,得到卡通图像。最终,可以由云端服务器或终端将卡通图像发送给显示设备。
本实施例中,卡通图像可以由云端服务器发送给显示设备,例如,在终端与显示设备之间不存在通信连接的情况下,可以转而借由云端服务器与显示设备之间的网关,将卡通图像发送给显示设备。
其中,显示设备可以包括电泳显示类型(Electrophoretic,E-Paper,电泳显示技术)的胸牌、会议门牌和会议桌牌中的至少一种。例如可以包括电子胸牌、电子桌牌,当然,在一些情况下,可以包括会议门牌,或者其他类型的显示设备。
其中,终端可以是配置有用于执行图像的卡通化的应用程序,该应用程序可以是专用做图像卡通化处理的应用,当然,实际中,图像卡通化可以是该应用程序的众多功能中的部分功能。例如,在场景2中,该应用程序便可以是会议业务类的应用程序,其图像卡通化处理仅是其部分功能。
结合图1所示的系统,对本公开的图像处理方法进行介绍,参照图2所示,示出了一种实施例中的图像处理方法的步骤流程图,在该实施例中,从终端侧阐述如何执行图像处理方法,当然,本实施例仅示例性地以场景1或场景2为例说明,对于其他类似的场景,如图像展示场景中,仍然可以适用。如图2所示,具体可以包括以下步骤:
步骤S201:响应于触发的针对目标图像的卡通化请求,指示云端服务器对目标图像进行人像分割,得到人像图像和背景图像。
本实施例中,针对目标图像的卡通化请求可以是用户在终端上所触发的,或者,可以是终端在检测到预定事件后触发的,或者,可以是在检测到预定事件后向用户展示对话框后由用户确认的。例如,针对场景2,用户需要在应用中确认参会,当确认参会后,终端检测到确认参会的事件,可以自动发出卡通化请求,或者可以弹出对话框,询问用户是否需要进行参会图像的卡通化处理,若用户确认则触发卡通化请求。
实际中,卡通化请求主要是针对目标图像中的人像区域进行卡通化,也就是说需要对人像进行卡通化,当然,在一些实施例中,也可以对其他对象进行卡通化,例如,动物,植物等也可以被执行卡通化处理。鉴于本申请的应用场景,主要是针对人像进行卡通化处理。
其中,终端可以响应于该卡通化请求,向云端服务器发送图像分割请求,该图像分割请求中可以携带目标图像或携带目标图像的标识,这样,可以指示云端服务器对目标图像进行图像分割,或者,可以指示云端服务器基于目标图像的标识提取出目标图像后进行图像分割。
具体地,在卡通化请求中携带目标图像的标识的情况下,在云端服务器可以存储多个用户的人物图像,也就是说每个用户的终端可以预先向云端服务器发送自身的人物图像。这样,云端服务器接收到图像分割请求时,可以基于目标图像的标识,提取到目标图像。其中,目标图像的标识可以是用户的用户标识或者可以是目标图像的标识。
示例地,在场景2或场景1中,用户都可以将自己的人物图像通过手机上传到云端服务器,接着,在进行目标图像的卡通化时,可以向云端服务器发送携带标识的图像分割请求,云端服务器根据标识,例如,根据用户1的用户标识可以调出用户1的头像,接着对用户1的头像进行图像分割。
在具体实施时,可以在终端中配置与云端服务器中执行图像分割功能有关的接口API,这样,中的可以响应于卡通化请求,通过API调用云端服务器的人像分割模型,以通过人像分割模型对目标图像进行人像分割。此种情况下,云端服务器中可以配置有人像分割模型,该人像分割模型用于将目标图像中的人像抠出为人像图像,从而得到背景图像和人像图像。
步骤S202:根据终端的当前性能参数,指示对应的主体对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合。
其中,主体包括终端和/或云端服务器。
本实施例中,在云端服务器对目标图像进行分割后,接着需要对人像图像进行卡通化处理,具体地,由于对人像图像进行卡通化处理会耗费一定的计算资源,因此,可以先检测终端的当前性能参数,以确定终端的当前性能是否足以满足对人像图像进行卡通化处理,若足以满足对人像图像进行卡通化处理,则由终端对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;若不足以满足对人像图像进行卡通化处理,则可以由云端服务器对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;或者,若不足以满足对人像图像进行卡通化处理,可以由终端和云端服务器共同对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合。
其中,终端的当前性能参数可以包括:终端的可用存储空间参数、可用内存参数中的至少一种;其中,可用存储空间参数可以表征终端剩余存储空间的大小,可用内存参数可以用于表征终端的剩余内存计算资源。
当终端剩余存储空间较小或剩余内存计算资源较小的情况下,若继续在终端执行人像图像的卡通化处理,可能导致终端卡顿、卡通化处理较慢的问题,因此,可以由云端服务器参与到对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合的过程中。
在一些具体实施方式中,若终端的性能足以支持人像图像的卡通化处理,则应用程序中可以配置生成对抗模型,并在终端中配置SDK,在由终端执行人像图像的卡通化时,可以接收云端服务器发送的人像图像和背景图像;接着,通过SDK调用部署在终端的生成对抗模型,以对人像图像进行卡通化处理;并对背景图像和所述生成对抗模型输出的卡通人像图像进行融合。
需要说明的是,本申请依据的是终端的当前性能参数,确定执行卡通化处理的主体,实际中,终端在不同次的卡通化请求中,当前性能参数可以是不同的,因此,执行卡通化处理的主体可能有变化,例如,第一次是由终端执行,第二次则可以由云端服务器执行,第三次又可以由云端服务器和终端共同执行。这样,可以在终端的运行过程中,达到每次的目标图像的卡通化处理均与终端的当前性能相适配,从而达到动态的终端性能维护,并保证图像卡通化的效率的目的。
步骤S203:向显示设备输出融合得到的卡通图像,显示设备用于显示卡通图像。
在得到卡通图像后,可以将卡通图像发送给显示设备,一些实施例中,如图1所示,由于终端和云端服务器都可以与显示设备连接,实际中,可以由终端将卡通图像发送给显示设备,或者可以由云端服务器将卡通图像发送给显示设备。
采用此种实施方式,由于可以通过云端服务器对目标图像执行图像分割,在进行人像卡通化处理时,可以依据终端的当前性能参数,由终端和/或云端服务器执行,以达到图像的卡通化处理与终端性能相适配,这样,终端上的应用程序与避免搭载与图像分割有关的算法、模型等,以及,可以避免占用终端的计算资源用于图像卡通化,这样,降低了对终端的性能要求,也可以动态维护终端的性能,使得在对图像卡通化过程中,不会过多占用终端资源,以使终端的计算资源可以满足其他应用程序的使用。
其次,由于人像卡通化过程中的各个阶段的任务(图像分割、人像卡通化、图像融合)可以按终端性能,分配至终端和云端服务器共同完成,且图像分割不用终端执行,这样,可以允许人像卡通化或图像融合的过程进行更精细,从而使得终端可以专注于人像卡通化的处理,提高卡通化处理的趣味性。
采用本申请实施例的图像处理方法,可以在大量低性能的显示设备上进行卡通人像显示,这样可以使得人像卡通的趣味化应用拓宽到有大量低性能显示设备的显示系统中。
在一些实施例中,对步骤S202的过程进行介绍,也就是说,阐述如何进行本公开的卡通化。由于在本公开中,对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合的执行主体可以是终端和/或云端服务器,则实际中,分别对如下三种情况进行说明:
情况1:在当前性能参数表征终端处于第一等级性能的情况下,指示终端对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;
情况2:在当前性能参数表征终端处于第三等级性能的情况下,指示云端服务器对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;
情况3:在当前性能参数表征终端处于第二等级性能的情况下,指示云端服务器对人像图像进行卡通化处理,并指示终端对背景图像和卡通化处理后得到的卡通人像图像进行融合。
其中,第一等级性能高于第二等级性能,第二等级性能高于第三等级性能。
在一些实施例中,当前性能参数可以包括终端的当前剩余内存资源参数,用于反映终端的当前剩余内存,具体实施时,若终端的当前剩余内存资源参数小于或等于最低剩余内存资源阈值,则表征终端的当前剩余内存资源不足以完成人像图像的卡通化处理,由此,可以确定终端处于第三等级性能,则可以由云端服务器对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合。
若终端的当前剩余内存资源参数大于最低剩余内存资源阈值而小于目标剩余内存资源阈值,则表征终端的当前剩余内存资源可以完成人像图像的部分处理,由此,可以确定终端处于第二等级性能,则可以由云端服务器对人像图像进行卡通化处理,并由终端对背景图像和卡通化处理后得到的卡通人像图像进行融合;
若终端的当前剩余内存资源参数大于或等于目标剩余内存资源阈值,则表征终端的当前剩余内存资源可以完成全过程的卡通化处理,由此,可以确定终端处于第一等级性能,则可以由终端对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合。
其中,最低剩余内存资源阈值小于目标剩余内存资源阈值。
当然,以上仅给出了依据当前性能参数,确定终端处于何种性能等级的可选示例,实际中,当前性能参数也可以包括其他性能参数,如剩余电量参数,该参数可以反映终端的剩余电量,一般而言,计算量大的处理耗费的电量会较多,实际中,若剩余电量参数表征终端无法支持卡通化处理,则可以指示云端服务器执行,此种情况下,也可以由云端服务器将卡通图像发送给显示设备。若剩余电量参数表征终端可以支持卡通化处理,则可以指示针对执行。这样,可以在终端的电量不足时,尽量让终端减少资源的消耗,以延长终端的续航时长。
其中,在图像分割中,可以由云端服务器执行图像分割,实际中,如上述实施例所述,所要待处理的目标图像可以是位于云端服务器的图像库中,也可以由终端上传。
具体实施时,可以响应于卡通化请求,将目标图像发送给云端服务器,以指示云端服务器对目标图像进行人像分割;或者,可以响应于卡通化请求,将目标图像的属性标识发送给云端服务器,以指示云端服务器对图像库中具有属性标识的目标图像进行人像分割。
该属性标识即可以是上述实施例中目标图像的图像标识,或者可以是目标图像所属的用户的用户标识,用于唯一标识目标图像。
例如,在场景2中,参会人员是李某,需要对李某的证件照进行卡通化,而事先李某已经将自己的证件照上传到云端服务器,则终端可以向云端服务器发送李某的用户标识,云端服务器根据李某的用户标识查找到李某的证件照,从而对证件照进行卡通化。采用此种实施方式,可以在终端上未存储目标图像的情况下,指示云端服务器对存储在云端服务器的目标图像进行卡通化,从而优化了本申请的应用场景。
其中,在步骤S203的过程中,可以由终端将卡通图像发送给显示设备,也可以由云端服务器将卡通图像发送给显示设备。在一些实施例中,可以检测终端与显示设备之间的当前通信状态,以确定终端是否可以成功将卡通图像发送给显示设备,若是,则利用终端发送卡通图像,若否,则利用云端服服务器发送卡通图像。
具体实施时,可以检测与显示设备之间的当前通信状态;并基于当前通信状态,指示终端或云端服务器将卡通图像发送给显示设备。
其中,终端与显示设备之间的当前通信状态,可以是指终端与显示设备之间的蓝牙通信状态或无线通信状态,具体而言,可以检测终端与显示设备之间是否具有蓝牙连接和无线连接,以确定其与显示设备之间可以正常通信。或者,可以根据终端与显示设备之间的蓝牙信号强度和无线信号强度,确定终端与显示设备之间的通信连接是否正常;例如,蓝牙信号强度很弱,且无线信号强度也很弱,则终端与显示设备之间无法正常通信;若蓝牙信号强度和无线信号强度中的任一者的信号很强,例如,超过预设信号强度,则终端与显示设备之间可以正常通信。
其中,在终端与显示设备之间无法正常通信的情况下,终端可以指示云端服务器将卡通图像发送给显示设备。
具体地,若云端服务器执行了对景图像和卡通人像图像的融合,此种情况下,终端上的应用程序可以弹出对话框询问是否确认由云端服务器发送卡通图像,并响应于用户对对话框中内容的确认操作,如用户点击是,则终端向云端服务器发送卡通图像发送请求,云端服务器基于该卡通图像发送请求将自身融合后的卡通图像发送给显示设备。
具体地,若终端执行了对景图像和卡通人像图像的融合,此种情况下,卡通图像位于终端,而终端上的应用程序仍然可以弹出对话框询问是否确认由云端服务器发送卡通图像,并响应于用户对对话框中内容的确认操作,如用户点击是,则终端向云端服务器发送卡通图像和发送请求,云端服务器基于接收卡通图像,并转而将卡通图像发送给显示设备。
其中,在终端与显示设备之间正常通信的情况下,终端可以将卡通图像发送给显示设备。
具体地,若云端服务器执行了对景图像和卡通人像图像的融合,此种情况下,终端可以预先接收云端服务器返回的卡通图像,并直接将卡通图像发送给显示设备即可;若终端执行了对景图像和卡通人像图像的融合,此种场景下,只要确定终端与显示设备之间正常通信,则直接将卡通图像发送给显示设备即可。
在一些实施例中,也可以基于终端与显示设备之间的通信状态,确定显示设备是否在预设距离范围内,这样,可以在终端与显示设备之间的距离不是很远的情况下,仍由终端将卡通图像发送给显示设备,以避免由云端服务器转发卡通图像所带来的通信成本增加的问题。
具体实施时,可以基于终端与显示设备之间的通信状态,确定显示设备是否在预设距离范围内;若是,即在预设距离范围内,则基于与显示设备之间的通信连接,将卡通图像发送给显示设备;若不在预设距离范围内,则指示云端服务器通过显示设备所在位置处的目标网关,将卡通图像发送给显示设备。
本实施例中,可以基于终端与显示设备之间的通信信号强弱,确定显示设备是否在预设距离范围内,示例性地,可以设置预设距离范围内的最低通信信号强度。
其中,若通信信号强度高于最低通信信号强度,则表征显示设备在终端的预设距离范围内,此种情况下,即使显示设备与终端之间具有一定距离,也可以由用户持着终端靠近显示设备,以发送卡通图像。在一些具体实施方式中,在监测到显示设备位于预设距离范围内,而通信信号强度不足以成功发送卡通图像时,可以弹出提示框,提示框的内容可以是“请靠近显示设备”以提示用户持着终端靠近显示设备。例如,以场景1为例,终端是手机,手机与电子胸牌之间的信号强度较弱,但是仍处于预设距离范围内,此时可以在终端上弹出提示框“请靠近显示设备”,则可以通过缩小手机与电子胸牌之间的距离,增强信号强度,从而发送卡通图像到电子胸牌。
其中,若通信信号强度低于最低通信信号强度,则表征显示设备不在终端的预设距离范围内,此种情况下,二者之间可能不存在通信连接,或者存在通信连接,但是强度很微弱,不足以允许用户在短时间内靠近显示设备,因此,可以指示云端服务器发送卡通图像到显示设备。
其中,云端服务器发送卡通图像到显示设备时,由于云端服务器与显示设备之间通过网关通信连接,而一般网关部署在固定的位置,此种情况下,可以确定连接有显示设备的目标网关,接着,云端服务器将卡通图像发送给目标网关,以通过目标网关发送给显示设备。
例如,以场景1为例,终端是手机,用户持有手机还未进入到公司,电子胸牌存放在自己工位上,则手机与电子胸牌之间的信号强度非常弱,未处于预设距离范围内,此时可以在手机上弹出提示框“是否由云端服务器发送”,则可以响应用户的确认,手机将卡通图像发送给云端服务器,之后,云端服务器找寻到工位处的目标网关,从而将卡通图像发送给目标网关,目标网关将卡通图像发送给电子胸牌,这样,用户进入到工位便可以看到已经显示有卡通图像的电子胸牌。
当然,在一些实施例中,如上述图1所示的通信环境,通信连接包括蓝牙、无线和近场通信中的至少一种连接,网关可以包括蓝牙网关和/或无线通信网关。
下面,参照图3、图4和图5所示,分别以终端为手机、显示设备为电子胸牌为例,对本公开的图像处理方法的几种应用示例的场景示意图,具体地,电子胸牌与手机之间采用近场通信,电子胸牌同时可以通过网关与云端服务器通信,分别介绍如下:
示例1:如图3所示,用户在手机上上传自己的照片,然后点击卡通化,手机将照片发送给云端服务器,云端服务器执行抠图,将抠到的人像图像和背景图像传回给手机进行卡通化处理,得到卡通图像;若电子胸牌就在用户身边,则流程如图3中虚线箭头所示,即手机通过近场通信靠近电子胸牌,从而将卡通图像传输给电子胸牌显示。
若电子胸牌未在用户身边,且短时间无法靠近电子胸牌,则可以确定由云端服务器发送,流程如图3中虚线箭头所示,即将卡通图像发送给云端服务器,云端服务器找到电子胸牌所在处的目标网关,将卡通图像发送给目标网关后,由目标网关通过蓝牙或无线方式,将卡通图像传输给电子胸牌显示。
示例2:如图4所示,用户在手机上上传自己的照片,然后点击卡通化,手机直接将图像上传给云端服务器,云端服务器对图像抠图,并进行卡通化处理后,将得到的卡通图像发送给手机;手机按照上述示例1的方式进行卡通图像的发送。
或者,云端服务器将得到的卡通图像直接发送给目标网关后,由目标网关通过蓝牙或无线方式,将卡通图像传输给电子胸牌显示,如图4中虚线箭头所示。
示例3:如图5所示,用户在手机上上传自己的照片,然后点击卡通化,手机直接将图像上传给云端服务器,云端服务器对图像抠图,并对抠图得到的人像图像进行卡通化处理,然后将背景图像和卡通化处理后的卡通人像图像发送给手机,手机执行融合,得到卡通图像。
之后,手机按照示例1的方式进行卡通图像的发送。
下面,参照图6所示,分别以终端为手机、显示设备为电子桌牌为例的图像处理方法的应用示例的场景示意图,具体地,电子桌牌与手机之间采用近场、蓝牙或无线通信,电子桌牌同时可以通过网关与云端服务器通信:
示例4:如图6所示,用户需要参加会议1,事先用户在手机上上传自己的照片给云端服务器,然后点击卡通化的选项(表示用户有将自己照片进行卡通化显示的需求),手机直接将图像的标识上传给云端服务器,云端服务器找到目标图像,进行图像抠图,并对抠图得到的人像图像进行卡通化处理,然后将背景图像和卡通化处理后的卡通人像图像融合后发送给手机,手机可以保存该卡通图像。
同时,云端服务器将融合后的卡通图像通过目标网关发送给对应的电子桌牌,需要说明的是,此时,电子桌牌是用户参会时需要入座的电子桌牌。
当用户进入会场,发现电子桌牌上未显示自己的卡通图像时,可以打开手机建立与电子桌牌之间的蓝牙通信连接,将卡通图像发送给电子桌牌显示,或者,可以打开手机通过近场通信与电子桌牌之间通信,将卡通图像发送给电子桌牌显示。
在该场景中,用户虽还未到会场,但是可以在上传自己的参会信息时,将自己的图像上传给云端服务器卡通化处理,这样,用户已到达会场便可以看到显示有自己卡通图像的电子桌牌,增强了用户参会的趣味性。
采用此种实施方式时,可以使得图像的卡通化不受制于终端的性能,也可以不受制于用户所处的环境,均可以完成图像的卡通化,并在显示设备上显示卡通图像,从而拓宽了应用场景的覆盖面,优化了用户体验。
下面,对本公开如何进行人像图像的卡通处理,以及对卡通人像图像和背景图像的融合进行介绍。
参照图7所示,示出了本公开的一种目标图像的卡通化处理的整体流程示意图,如图7所示,目标图像的卡通化处理包括图像分割,即图7中的人像抠图阶段、人像卡通化阶段和背景卡通化以及融合阶段。
其中,针对人像抠图阶段,如上述实施例所述,可以由云端服务器执行,具体实施时,进行图像分割可以适用相关技术中的分割模型,如可以基于开源显著性的检测模型U2Net,训练专用的人像分割模型,在此不再赘述。
其中,针对人像卡通化阶段,可以利用对抗网络训练得到一个生成对抗网络模型,利用该生成对抗网络模型生成人像图像的卡通人像图像。
接着,可以利用卡通人像图像对背景图像进行颜色迁移,如图7所示的人像卡通化结果图即为本申请的卡通人像图像,之后,得到迁移后的背景卡通结果图,即本申请的背景卡通图像,接着再对卡通人像图像和背景卡通图像进行融合,得到卡通图像。
具体实施时,可以将人像图像输入到生成对抗网络模型,以对人像图像进行卡通化处理;接着,获取生成对抗网络模型输出的卡通人像图像。
其中,生成对抗网络模型的训练过程可以如下:
基于U-GAT-IT网络构建生成对抗网络,以不成对的卡通图像样本和人物图像样本为样本对,对该基于U-GAT-IT网络的生成对抗网络进行训练,得到用于执行人像卡通化的生成对抗网络。
参照图8所示,示出了生成对抗网络的训练示意图,如图8所示,包括生成器801和鉴别器802,其中,生成器用于生成基于卡通图像样本生成人物图像样本的卡通图像,鉴别器用于鉴别卡通图像样本和人物图像样本的卡通图像之间的距离,训练时,可以根据该距离调整生成对抗网络的参数,进而经过多次的参数调整后,训练完成得到用于推理的生成对抗网络。
在一些实施例中,为了使模型在终端集成,可以在训练模型的时候对网络层数进行精简,同时加入Uint8训练,使模型能够在终端进行推理。
其中,训练生成对抗网络模型的样本数据可以包括:包括真人头像的图像样本,以及不同风格的卡通人物头像;其中,一个样本对可以包括真人头像的图像样本和任一风格的卡通人物头像样本,需要说明的是,同一人的真人头像的图像样本可以和多种风格的卡通人物头像组合,从而得到多种不同卡通风格的样本对,这样,可以用少量的真人头像,训练得到可以生成不同卡通风格人像图像的生成对抗网络,因以上的真人头像的图像样本是经过对应用户授权获取的图像样本,因此,可以减少对真人头像的图像样本的采集量,避免大量采集真人头像的图像样本涉及到的权限获取难、数据安全性得不到保证的问题。
其中,针对融合阶段,一种情况下,可以直接根据卡通人像图像和背景图像进行融合,也就是说将原始的背景图像和卡通人像图像进行融合,融合时,可以首先基于卡通人像图像对背景图像进行颜色迁移,以统一背景图像和卡通人像图像的风格,增加融合后的卡通图像的图像和谐程度。
在一些实施中,可以基于卡通人像图像中目标样式的样式信息,对背景图像中的目标样式进行迁移,得到卡通化背景图像;将卡通化背景图像和卡通人像图像进行融合,得到卡通图像。
其中,目标样式至少包括颜色样式。
本实施例中,目标样式包括颜色样式的情况下,样式信息可以是指颜色信息,一些实施例中,该颜色信息可以是RGB的颜色信息,其中,R表示红色,G表示绿色,B表示蓝色。
在进行样式迁移时,可以根据卡通人像图像中RGB等三个颜色通道各自的颜色值的均值和标准差,对对背景图像中RGB等三个颜色通道各自的颜色值进行调整,使得背景图像中RGB等三个颜色通道各自的均值和标准差,与卡通人像图像中RGB等三个颜色通道各自的颜色值的均值和标准差一致。也就是说,背景图像中R通道的均值和标准差与卡通人像图像中R通道的颜色值的均值和标准差一致,同理适用于B通道和G通道。
调整时,可以是对背景图像中的各个像素点在RGB等三个颜色通道各自的颜色值进行调整,以达到上述目的。其中,颜色调整可以详见相关技术中的颜色调整即可,在此不再赘述。
在一些实施例中,在进行颜色迁移时,可以先将卡通人像图像和背景图像都转换到lab颜色空间,并在该lab颜色空间中将卡通人像图像的各个颜色通道的颜色迁移到背景图像的相应颜色通道,从而将颜色迁移后的背景图像转换到RGB颜色空间,得到卡通化背景图像。
具体实施时,可以将卡通人像图像转换到lab颜色空间,得到第一图像;以及将背景图像转换到lab颜色空间,得到第二图像;并基于第一图像中每个通道中各个像素点的均值和标准差,对第二图像中对应通道的各个像素点的值进行校正;接着,将校正后的第二图像转换到RGB颜色空间,得到卡通化背景图像。
本实施例中,lab颜色空间是基于人对颜色的感觉。Lab中的数值描述正常视力的人能够看到的所有颜色。因为Lab描述的是颜色的显示方式,而不是设备(如显示器、桌面打印机或数码相机)生成颜色所需的特定色料的数量,所以Lab被视为与设备无关的颜色模型。
Lab色彩模型是由亮度(L)和有关色彩的a、b三个要素组成,本实施例中,一个要素称为一个颜色通道。L表示明度(Luminosity),a表示从洋红色至绿色的范围,b表示从黄色至蓝色的范围。L的值域由0到100,L=50时,就相当于50%的黑;a和b的值域都是由+127至-128,其中+127a就是红色,渐渐过渡到-128a的时候就变成绿色;同样原理,+127b是黄色,-128b是蓝色。所有的颜色就以这三个值交互变化所组成。
例如,一块色彩的Lab值是L=100,a=30,b=0,这块色彩就是粉红色。需要说明的是,此模式中的a轴,b轴颜色与RGB不同,洋红色更偏红,绿色更偏青,黄色略带红,蓝色有点偏青色。
其中,可以分别计算第一图像和第二图像中各个像素点在lab颜色空间的各个颜色通道的均值和标准差,标准差可以是方差,例如,可以确定第一图像中各个像素点的L要素的值的均值和标准差,以及确定第二图像中各个像素点的L要素的值的均值和标准差。同理,可以得到第一图像中各个像素点的a要素的值的均值和标准差、b要素的值的均值和标准差,以及第二图像中各个像素点的a要素的值的均值和标准差、b要素的值的均值和标准差。
然后,按照第一图像中各个像素点的L要素、a要素和b要素各自赌赢的均值和标准差,对第二图像中各个像素点的L要素、a要素和b要素各自赌赢的均值和标准差进行调整。
调整过程可以是按照如下的迁移公式(一)进行:
其中,Ik表示调整后的背景图像在第k个通道的像素值,k表示第k个通道,k=l或a或b;表示卡通人像图像第k个通道的均值,表示背景图像第k个通道的均值,表示卡通人像图像第k个通道的标准差,表示背景图像第k个通道的标准差。
其中,在lab颜色空间进行颜色迁移后,可以将校正后的第二图像转换到RGB颜色空间,其中,R表示红色,G表示绿色,B表示蓝色,RGB颜色空间是对图像处理而言,最为重要和常见的颜色模型,可以方便后续图像的融合时,与卡通人像图像在同一颜色空间进行融合。
由此,可以实现lab颜色空间的颜色迁移,由于lab颜色空间更接近用户感知到的颜色,因此,可以将卡通人像图像的颜色风格迁移到背景图像中,使得背景图像和卡通人像图像之间的颜色风格统一,提高二者之间的颜色适配性,避免融合后卡通人像图像和背景图像的风格相差太大,影响观赏性的问题。
如图7所示,在针对背景图像和卡通人像图像融合时,可以先对背景图像进行初步的卡通化处理,之后,再将卡通人像图像的颜色迁移至初步的卡通化处理后的背景图像,接着再进行融合。
也就是说,先对背景图像卡通化后,得到初始卡通化的背景图像,然后,再基于卡通人像图像中目标样式的样式信息,对初始卡通化的背景图像中的目标样式进行迁移,得到卡通化背景图像;最终将卡通化背景图像和卡通人像图像进行融合,得到卡通图像。
在一些实施例中,对背景图像卡通化的处理可以包括:
对背景图像中的物体边缘进行锐化,得到边缘图像;以及,对背景图像中的颜色亮度进行调色,得到颜色调色图像;接着,基于边缘图像对颜色调色图像的边缘进行边缘增强,得到初始卡通化的背景图像。
本实施例中,对背景图像卡通化的处理可以是指对背景图像中的边缘轮廓和颜色亮度进行调整,以符合卡通图像的风格。具体地,对背景图像中的物体边缘进行锐化可以是:对边缘进行二值化,得到二值化边缘图;对背景图像中的颜色亮度进行调色可以是:采用LUT(Look Up Table,颜色查找表)调试滤镜进行调色,增强颜色饱和度、对比度、亮度,得到明亮的色彩,接着,采用双边滤波多次对明亮的图像进行滤波,从而得到颜色调色图像。
参照图9所示,示出了对背景图像进行初始的卡通化的处理的流程示意图,如图9所示,在一些实施例中,可以先使用中值滤波降噪对背景图像进行中值滤波降噪处理,接着,对中值滤波降噪处理后的图像进行边缘提取,边缘提取可以是采用Canny边缘提取或Laplacian算子边缘,得到边缘图像,接着对边缘图像进行二值化,以进行锐化,从而得到边缘图像。
其中,可以对背景图像采用LUT调试滤镜进行调色,增强颜色饱和度、对比度、亮度,然后双边滤波多次对明亮图像进行滤波,得到颜色调色图像。
其中,可以根据边缘图像,对颜色调色图像中的边缘进行边缘增强,在增强时,可以按照逐像素点进行增强,例如,如图9中所示的按位与的手段增强边缘,从而得到初始卡通化的背景图像。
采用上述实施例中对背景图像进行初始卡通化时,由于仅涉及利用算法对背景图像进行处理,这些算法并占用终端较多的计算资源,且后续的颜色迁移也是对像素点的颜色值的处理,也不占用终端较多的计算资源,由此,即使在终端进行背景图像的卡通化也不会对终端提出较高的性能要求,这样,可以允许终端腾出更多的计算资源为人像图像的卡通化处理,从而为提高人像图像的卡通化的精细度和趣味性提供充足的性能空间。
参照图10,示出了上述过程的图像处理效果示意图,如图10所示,通过LUT调色滤镜可以调制背景图像的颜色亮度、饱和度,基于边缘图像进行边缘增强时,可以对颜色调色图像中的边缘,按照卡通化的边缘线条的样式效果进行增强,从而使得背景图像符合卡通化的风格。
其中,针对图像融合阶段,在将卡通化背景图像和卡通人像图像进行融合时,可以利用掩码图进行融合。
在一些实施例中,可以获取由云端服务器输出的针对目标图像的掩码图,并对掩码图进行噪声抑制;基于噪声抑制后的掩码图,对背景图像和卡通人像图像进行融合;其中,掩码图用于标识出目标图像中的前景区域和背景区域。
本实施例中,前景区域即可以为是人像图像所在的区域,背景区域即为背景图像所在的区域。具体实施时,对掩码图进行噪声抑制可以是指:对掩码图进行高斯平滑滤波,从而使合成边缘更平滑。
其中,在基于噪声抑制后的掩码图,对背景图像和卡通人像图像进行融合时,可以按照权重进行融合,具体地,可以按照以下公式(二)进行融合:
dst=人像卡通图像*Mask+背景图像*(1-Mask) 公式(二);
其中,dst为融合后的卡通图像,Mask为掩码图;其中,在融合时,可以逐像素点融合,也就是说,对掩码图中属于前景区域的像素点,将该像素点与卡通人像图像中对应同一位置的像素点的值进行相乘,从而得到的像素点的值作为融合后的卡通图像中对应位置的像素点的值。
同理,对于背景图像而言,对掩码图中属于背景区域的像素点,将该像素点与背景图像中对应同一位置的像素点的值进行相乘,从而得到的像素点的值作为融合后的卡通图像中对应位置的像素点的值。
当然,在一些融合中,为了凸显人像和背景的差异,可以对背景虚化处理或者对人像虚化处理,这样,在融合时,可以为背景图像和卡通人像图像设置对应的权重,然后基于权重进行融合。例如,上述公式(二)中,可以设置人像卡通图像对应的权重为ɑ,设置背景图像对应的权重为β,从而基于权重,可以弱化背景图像,或弱化卡通人像图像,使得融合后达到对应的背景虚化或人像虚化效果。
基于相同的发明构思,本公开从云端服务器侧提供一种图像处理方法,参照图11所示,示出了一种图像处理方法的步骤流程图,如图11所示,该方法应用于云端服务器,具体可以包括以下步骤:
步骤S301:响应于终端基于目标图像的卡通化请求所发送的指示,对目标图像进行人像分割,得到人像图像和背景图像;
步骤S302:在确定云端服务器为依据所述终端的当前性能参数所确定的主体时,对人像图像进行卡通化处理,和/或对背景图像和卡通化处理后得到的卡通人像图像进行融合;
步骤S303:将融合得到的卡通图像发送给终端,和/或发送给显示设备。
本实施例中,终端基于目标图像的卡通化请求所发送的指示可以是上述实施例所述的图像分割请求,该图像分割请求可以携带目标图像或携带目标图像的标识。云端服务器可以响应于图像分割请求,对目标图像进行人像分割,得到人像图像和背景图像。
其中,云端服务器中可以预先配置人像分割模型,通过该人像分割模型进行目标图像的人像分割。
其中,在终端根据当前的性能参数,确定由云端服务器执行图像的卡通化的部分或全部时,云端服务器可以对人像图像进行卡通化处理,和/或对背景图像和卡通化处理后得到的卡通人像图像进行融合。具体地,在全部由云端服务器执行时,云端服务器可以对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;在部分由云端服务器执行时,云端服务器可以对人像图像进行卡通化处理,并将卡通化处理后得到的卡通人像图像发送给终端,再由终端对背景图像和卡通人像图像进行融合。
其中,云端服务器可以获取到卡通图像,具体地,在全部由云端服务器执行时,云端服务器可以产生卡通图像,在部分由云端服务器执行时,云端服务器可以接收终端上传的卡通图像。
其中,在需要由云端服务器将卡通图像发送给显示设备时,例如,终端与显示设备之间无法进行通信,则云端服务器可以将卡通图像发送给显示设备,在不需要由云端服务器将卡通图像发送给显示设备时,例如,终端与显示设备之间可以进行通信,则云端服务器可以将自身产生的卡通图像发送给终端。
本实施例中,在对目标图像的卡通化处理中,云端服务器可以受终端的指示,对目标图像执行图像分割,在进行人像卡通化处理时,也可以依据终端的当前性能参数,由云端服务器完成人像卡通化过程中的至少一个阶段的任务(图像分割、人像卡通化、图像融合),由此,云端服务器可以分担卡通化处理任务,这样,终端上的应用程序与避免搭载与图像分割有关的算法、模型等,从而无需占用终端较多的存储资源和处理器的计算资源,进而降低了对终端的性能要求。
其中,在由云端服务器将卡通图像发送给显示设备的情况下,可以接收多个网关上传的连接信息,连接信息中包括连接到网关的设备的设备标识;并基于连接信息,确定连接有显示设备的目标网关;之后,将卡通图像发送给目标网关,以指示目标网关将卡通图像发送给显示设备。
本实施例中,一个网关可以对应连接一个或多个显示设备,网关可以定时上传自己的连接信息给云端服务器,连接信息中包括已连接到网关的显示设备的设备标识,这样,可以根据显示设备的设备标识,确定出待显示卡通图像的显示设备连接到哪一网关,该网关即为目标网关,从而云端服务器可以将卡通图像发送给目标网关,以使目标网关将卡通图像发送给显示设备。
其中,如上述终端侧所述的实施例所述,网关包括蓝牙网关和/或无线通信网关。待发送的卡通图像可以是终端发送给云端服务器的,或者可以是云端服务器在进行人像图像的卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合后得到的。
在一些实施例中,在确定出目标网关的过程中,为了提高卡通图像被发送给显示设备的成功率,可以将卡通图像发送给与显示设备之间的通信信号最强的目标网关。
具体实施时,可以在连接有显示设备的网关为一个的情况下,将该一个网关作为目标网关;在连接有显示设备的网关有多个的情况下,获取显示设备与每个网关之间的信号强度,并基于信号强度,确定目标网关。
其中,显示设备若只连接到一个网关,也就是说只有一个网关检测到了显示设备并连接到显示设备,则可以将该网关作为目标网关。
其中,显示设备若连接到多个网关,也就是说有多个网关均检测到了显示设备并连接到显示设备,例如,在蓝牙通信中,有多个网关均检测并连接到显示设备,则可以确定每个网关对应的信号强度,将信号强度最强的网关作为目标网关,从而可以成功使得目标网关将卡通图像发送给显示设备。
下面,对本公开的一种图像处理方法的完整流程进行示意性说明,从终端和服务器进行说明,具体可以包括以下过程:
S1:终端响应于触发的针对目标图像的卡通化请求,通过所述API调用所述云端服务器的人像分割模型,将目标图像发送给云端服务器,以通过人像分割模型对所述目标图像进行人像分割,得到人像图像和背景图像;
S2:终端检测自身在当前的性能参数,若性能参数表征处于第一等级性能,则进入到步骤S3;若性能参数表征处于第二等级性能,则进入到步骤S5;若性能参数表征处于第三等级性能,则进入到步骤S7;
S3:终端向云端服务器请求人像图像和背景图像,即接收云端服务器返回的人像图像和背景图像,并对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合,得到卡通图像;
S4:终端在检测到产生卡通图像后,检测与显示设备之间的通信状态,若通信状态表征正常通信,则进入到步骤S401,若否,则进入到步骤S402;
S401:终端将卡通图像发送给显示设备;
S402:终端将卡通图像封装后发送给云端服务器;
S403:云端服务器接收卡通图像后,确定与显示设备连接的目标网关,将卡通图像发送给目标网关,以使目标网关将卡通图像发送给显示设备。
S5:终端向云端服务器请求进行人像图像的卡通化处理,云端服务器响应于该请求对人像图像进行卡通化处理后,并返回给终端得到的卡通人像图像,终端对背景图像和卡通人像图像进行融合,得到卡通图像;
S6:终端在检测到产生卡通图像后,检测与显示设备之间的通信状态,若通信状态表征正常通信,则进入到上述步骤S401,若否,则进入到上述步骤S402;
S7:终端向云端服务器请求进行人像图像的卡通化处理和融合处理,云端服务器响应于该请求对人像图像进行卡通化处理后,对背景图像和卡通人像图像进行融合,得到卡通图像;
S8:云端服务器检测到产生卡通图像后,首先将卡通图像发送给终端获取;
S9:终端在接收到卡通图像后,检测与显示设备之间的通信状态,若通信状态表征正常通信,则进入到步骤S901,若否,则进入到步骤S902。
S901:终端将卡通图像发送给显示设备;
S902:终端向云端服务器发送图像发送请求;
S903:云端服务器响应该图像发送请求,确定与显示设备连接的目标网关,将卡通图像发送给目标网关,以使目标网关将卡通图像发送给显示设备。
采用以上实施例的图像处理方法,具有以下优点:
第一,由云端服务器对目标图像执行图像分割,在进行人像卡通化处理时,可以由终端和/或云端服务器执行,使得人像卡通化过程中的各个阶段任务可以分摊至终端和云端服务器。从而,允许终端上的应用程序无需搭载与图像分割有关的算法、模型等,也可以裁剪掉与人像卡通化有关的算法、模型,进而降低了对终端的性能要求。
第二,由于图像分割任务由云端服务器执行,如此,缩减了应用程序对图像处理的开销,从而允许应用程序将程序开销重点放在人像卡通化中,即将开销重点放在生成对抗网络中,从而使得终端可以专注于人像卡通化的处理,提高卡通化处理的趣味效果。
第三,由于在依据终端的当前性能参数,对人像图像进行卡通化处理时,可以在终端的当前性能不足以支持人像图像的卡通化处理时,交由云端服务器进行人像图像的卡通化处理,在终端的当前性能足以支持人像图像的卡通化处理时,由终端进行人像图像的卡通化处理,这样,可以使得图像的卡通化与终端的性能相适配,在达到图像卡通化的同时,可以充分适配终端的性能,不对终端的计算资源进行过多的占用,从而不影响终端的其他应用程序的使用和运行。
第四,由于在发送卡通图像到显示设备时,可以由终端通过近场通信或蓝牙通信发送,也可以由云端服务器通过网关发送,这样,可以提高将卡通图像成功发送到显示设备的概率,从而保证卡通图像在指定的设备上显示。
第五,可以依据卡通人像图像,对背景图像进行颜色迁移,统一两者的风格,从而提高二者之间的颜色适配性,避免融合后卡通人像图像和背景图像的风格相差太大。
第六,人像图像的卡通化,由生成对抗网络执行,这样,可以基于生成对抗网络的特性,丰富人像图像卡通化的卡通类型,进而得到卡通化质量较高的卡通人像图像。
基于相同的发明构思,本公开还提供了一种图像处理装置,参照图12所示,示出了本公开的图像处理装置的结构示意图,如图12所示,所述装置应用于终端,具体可以包括以下模块:
响应模块1201,用于响应于触发的针对目标图像的卡通化请求,指示云端服务器对目标图像进行人像分割,得到人像图像和背景图像;
第一卡通化模块1202,用于根据终端的性能参数,指示当前性能参数对应的主体对人像图像进行卡通化处理,并对背景图像和卡通化处理后得到的卡通人像图像进行融合;主体包括终端和/或云端服务器;
第一发送模块1203,用于向显示设备输出融合得到的卡通图像,显示设备用于显示卡通图像。
可选地,所述第一发送模块1203,包括:
状态检测单元,用于检测与所述显示设备之间的当前通信状态;
发送单元,用于基于所述当前通信状态,指示所述终端或所述云端服务器将所述卡通图像发送给所述显示设备。
可选地,所述发送单元,具体用于执行以下步骤:
基于所述当前通信状态,确定所述显示设备是否在预设距离范围内;
若在所述预设距离范围内,则基于与所述显示设备之间的通信连接,将所述卡通图像发送给所述显示设备;
若不在所述预设距离范围内,则指示所述云端服务器通过所述显示设备所在位置处的目标网关,将所述卡通图像发送给所述显示设备。
可选地,所述通信连接包括蓝牙、无线和近场通信中的至少一种连接,所述网关包括蓝牙网关和/或无线通信网关。
可选地,所述第一卡通化模块1202,具体用于:
在所述当前性能参数表征终端属于第一等级性能的终端的情况下,指示所述主体为所述终端;
在所述当前性能参数表征终端属于第三等级性能的终端的情况下,指示所述主体为所述云端服务器;
在所述当前性能参数表征终端属于第二等级性能的终端的情况下,指示所述主体包括所述终端和所述云端服务器;其中,由所述云端服务器对所述人像图像进行卡通化处理,由所述终端对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合。
可选地,所述对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合的步骤,包括:
基于所述卡通人像图像中目标样式的样式信息,对所述背景图像中的目标样式进行迁移,得到卡通化背景图像;所述目标样式至少包括颜色样式;
将所述卡通化背景图像和所述卡通人像图像进行融合,得到所述卡通图像。
可选地,所述基于所述卡通人像图像中目标样式的样式信息,对所述背景图像中的目标样式进行迁移的步骤,包括:
将所述卡通人像图像转换到lab颜色空间,得到第一图像;以及将所述背景图像转换到lab颜色空间,得到第二图像;
基于所述第一图像中每个通道中各个像素点的均值和标准差,对所述第二图像中对应通道的各个像素点的值进行校正;
将校正后的第二图像转换到RGB颜色空间,得到所述卡通化背景图像。
可选地,所述装置还包括:
边缘及亮度调整模块,用于对所述背景图像中的物体边缘进行锐化,得到边缘图像;以及,对所述背景图像中的颜色亮度进行调色,得到颜色调色图像;
背景卡通化处理模块,用于基于所述边缘图像对所述颜色调色图像的边缘进行边缘增强,得到初始卡通化的背景图像;
相应地,对所述卡通人像图像和所述背景图像进行融合,得到卡通图像时,对所述卡通人像图像和所述初始卡通化的背景图像进行融合,得到所述卡通图像。
可选地,所述对人像图像进行卡通化,得到卡通人像图像的步骤,包括:
将所述人像图像输入到生成对抗网络模型,以对所述人像图像进行卡通化处理;
获取所述生成对抗网络模型输出的卡通人像图像。
可选地,所述响应模块1201,具体用于响应于所述卡通化请求,将所述目标图像发送给所述云端服务器,以指示所述云端服务器对所述目标图像进行人像分割;
或者,响应于所述卡通化请求,将所述目标图像的属性标识发送给所述云端服务器,以指示所述云端服务器对图像库中具有所述属性标识的目标图像进行人像分割。
可选地,所述对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合的步骤,包括:
获取由所述云端服务器输出的针对所述目标图像的掩码图,所述掩码图用于标识出所述目标图像中的前景区域和背景区域;
对所述掩码图进行噪声抑制;
基于所述噪声抑制后的掩码图,对所述背景图像和所述卡通人像图像进行融合。
基于相同的发明构思,本公开还提供了一种图像处理装置,参照图13所示,示出了本公开的图像处理装置的结构示意图,如图13所示,所述装置应用于云端服务器,具体可以包括以下模块:
分割模块1301,用于响应于所述终端基于目标图像的卡通化请求所发送的指示,对所述目标图像进行人像分割,得到人像图像和背景图像;
第二卡通化模块1302,用于在确定所述云端服务器为依据所述终端的当前性能参数所确定的主体时,对所述人像图像进行卡通化处理,和/或对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;
第二发送模块1303,用于将所述融合得到的卡通图像发送给所述终端,和/或发送给显示设备。
可选地,所述云端服务器连接多个网关,所述第二发送模块1303,包括:
连接信息接收单元,用于接收多个所述网关上传的连接信息,所述连接信息中包括已连接到所述网关的显示设备的设备标识;
目标网关确定单元,用于基于所述连接信息,确定连接有所述显示设备的目标网关;
发送单元,用于将所述卡通图像发送给所述目标网关,以指示所述目标网关将所述卡通图像发送给所述显示设备。
可选地,所述目标网关确定单元,具体用于执行以下步骤:
在连接有所述显示设备的网关为一个的情况下,将该一个网关作为所述目标网关;
在连接有所述显示设备的网关有多个的情况下,获取所述显示设备与每个网关之间的信号强度,并基于所述信号强度,确定所述目标网关。
需要说明的是,装置实施例与方法实施例相近,故描述的较为简单,相关之处参见方法实施例即可。
参照图14所示,示出了本公开实施例的一种电子设备1400的结构框图,如图14所示,本发明实施例提供的一种电子设备,该电子设备1400可以用于执行图像处理方法,可以包括存储器1401、处理器1402及存储在存储器上并可在处理器上运行的计算机程序,所述处理器1402被配置为执行所述的图像处理方法。
如图14所示,在一实施例中,该电子设备1400完整的可以包括输入装置1403、输出装置1404以及图像采集装置1405,其中,在执行本公开实施例的图像处理方法时,图像采集装置1405可以采集目标图像,接着输入装置1403可以获得图像采集装置1405采集的目标图像,该目标图像可以由处理器1402进行处理,以基于目标图像进行图像处理,输出装置1404可以输出对目标图像处理后得到的卡通图像。
当然,在一实施例中,存储器1401可以包括易失性存储器和非易失性存储器,其中,易失性存储器可以理解为是随机存取记忆体,用来存储和保存数据的。非易失性存储器是指当电流关掉后,所存储的数据不会消失的电脑存储器,当然,本公开的图像处理方法的计算机程序可以存储在易失性存储器和非易失性存储器中,或者存在二者中的任意一个中。
本公开实施例还提供了一种计算机可读存储介质,其存储的计算机程序使得处理器执行如本公开实施例所述的图像处理方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本公开实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本公开实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开实施例是参照根据本公开实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本公开实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本公开所提供的一种图像处理方法、图像处理系统、装置、设备和存储介质进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。
Claims (18)
1.一种图像处理方法,其特征在于,应用于终端,所述方法包括:
响应于触发的针对目标图像的卡通化请求,指示云端服务器对所述目标图像进行人像分割,得到人像图像和背景图像;
根据所述终端的当前性能参数,指示对应的主体对所述人像图像进行卡通化处理,并对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;其中,所述主体包括所述终端和/或所述云端服务器;
向所述显示设备输出所述融合得到的卡通图像,所述显示设备用于显示所述卡通图像。
2.根据权利要求1所述的方法,其特征在于,所述向所述显示设备输出所述融合得到的卡通图像,包括:
基于与所述显示设备之间的当前通信状态,确定所述显示设备是否在预设距离范围内;
若在所述预设距离范围内,则基于与所述显示设备之间的通信连接,将所述卡通图像发送给所述显示设备;
若不在所述预设距离范围内,则指示所述云端服务器通过所述显示设备所在位置处的目标网关,将所述卡通图像发送给所述显示设备。
3.根据权利要求1所述的方法,其特征在于,根据所述终端的性能参数,指示所述当前性能参数对应的主体对所述人像图像进行卡通化处理,并对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合,包括:
在所述当前性能参数表征所述终端处于第一等级性能的情况下,指示所述主体为所述终端;
在所述当前性能参数表征所述终端处于第三等级性能的情况下,指示所述主体为所述云端服务器;
在所述当前性能参数表征所述终端处于第二等级性能的情况下,指示所述主体包括所述终端和所述云端服务器;其中,由所述云端服务器对所述人像图像进行卡通化处理,由所述终端对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合。
4.根据权利要求1所述的方法,其特征在于,所述对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合,包括:
基于所述卡通人像图像中目标样式的样式信息,对所述背景图像中的目标样式进行迁移,得到卡通化背景图像;所述目标样式至少包括颜色样式;
将所述卡通化背景图像和所述卡通人像图像进行融合,得到所述卡通图像。
5.根据权利要求4所述的方法,其特征在于,所述基于所述卡通人像图像中目标样式的样式信息,对所述背景图像中的目标样式进行迁移,包括:
将所述卡通人像图像转换到lab颜色空间,得到第一图像;以及将所述背景图像转换到lab颜色空间,得到第二图像;
基于所述第一图像中每个通道中各个像素点的均值和标准差,对所述第二图像中对应通道的各个像素点的值进行校正;
将校正后的第二图像转换到RGB颜色空间,得到所述卡通化背景图像。
6.根据权利要求1所述的方法,其特征在于,所述对所述卡通人像图像和所述背景图像进行融合,得到卡通图像之前,所述方法还包括:
对所述背景图像中的物体边缘进行锐化,得到边缘图像;以及,对所述背景图像中的颜色亮度进行调色,得到颜色调色图像;
基于所述边缘图像对所述颜色调色图像的边缘进行边缘增强,得到初始卡通化的背景图像;
对所述卡通人像图像和所述背景图像进行融合,得到卡通图像,包括:
对所述卡通人像图像和所述初始卡通化的背景图像进行融合,得到所述卡通图像。
7.根据权利要求1所述的方法,其特征在于,所述对人像图像进行卡通化,得到卡通人像图像,包括:
将所述人像图像输入到生成对抗网络模型,以对所述人像图像进行卡通化处理;
获取所述生成对抗网络模型输出的卡通人像图像。
8.根据权利要求1所述的方法,其特征在于,所述响应于触发的针对目标图像的卡通化请求,指示云端服务器对所述目标图像进行人像分割,得到人像图像和背景图像,包括:
响应于所述卡通化请求,将所述目标图像发送给所述云端服务器,以指示所述云端服务器对所述目标图像进行人像分割;
或者,响应于所述卡通化请求,将所述目标图像的属性标识发送给所述云端服务器,以指示所述云端服务器对图像库中具有所述属性标识的目标图像进行人像分割。
9.根据权利要求1所述的方法,其特征在于,所述对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合,包括:
获取由所述云端服务器输出的针对所述目标图像的掩码图,所述掩码图用于标识出所述目标图像中的前景区域和背景区域;
对所述掩码图进行噪声抑制;
基于所述噪声抑制后的掩码图,对所述背景图像和所述卡通人像图像进行融合。
10.一种图像处理方法,其特征在于,应用于服务器,所述方法包括:
响应于所述终端基于目标图像的卡通化请求所发送的指示,对所述目标图像进行人像分割,得到人像图像和背景图像;
在确定所述云端服务器为依据所述终端的当前性能参数所确定的主体时,对所述人像图像进行卡通化处理,和/或对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;
将所述融合得到的卡通图像发送给所述终端,和/或发送给显示设备。
11.根据权利要求10所述的方法,其特征在于,所述云端服务器连接多个网关,将所述融合得到的卡通图像发送给所述显示设备,包括:
接收多个所述网关上传的连接信息,所述连接信息中包括已连接到所述网关的显示设备的设备标识;
基于所述连接信息,确定连接有所述显示设备的目标网关;
将所述卡通图像发送给所述目标网关,以指示所述目标网关将所述卡通图像发送给所述显示设备。
12.根据权利要11所述的方法,其特征在于,基于所述连接信息,确定连接有所述显示设备的目标网关,包括:
在连接有所述显示设备的网关为一个的情况下,将该一个网关作为所述目标网关;
在连接有所述显示设备的网关有多个的情况下,获取所述显示设备与每个网关之间的信号强度,并基于所述信号强度,确定所述目标网关。
13.一种图像处理系统,其特征在于,所述系统包括云端服务器、多个终端以及多个显示设备;其中,所述终端用于执行上述权利要求1-9任一所述的方法,所述云端服务器用于执行权利要求10-12任一所述的方法,所述显示设备用于显示卡通图像。
14.根据权利要求13所述的系统,其特征在于,所述显示设备包括电泳显示类型的胸牌、会议门牌和会议桌牌中的至少一种。
15.一种图像处理装置,其特征在于,所述装置应用于终端,包括:
响应模块,用于响应于触发的针对目标图像的卡通化请求,指示云端服务器对所述目标图像进行人像分割,得到人像图像和背景图像;
第一卡通化模块,用于根据所述终端的性能参数,指示所述当前性能参数对应的主体对所述人像图像进行卡通化处理,并对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;所述主体包括所述终端和/或所述云端服务器;
第一发送模块,用于向所述显示设备输出所述融合得到的卡通图像,所述显示设备用于显示所述卡通图像。
16.一种图像处理装置,其特征在于,应用于服务器,所述装置包括:
分割模块,用于响应于所述终端基于目标图像的卡通化请求所发送的指示,对所述目标图像进行人像分割,得到人像图像和背景图像;
第二卡通化模块,用于在确定所述云端服务器为所述终端上当前被激活的卡通化策略所对应的主体时,对所述人像图像进行卡通化处理,和/或对所述背景图像和所述卡通化处理后得到的卡通人像图像进行融合;
第二发送模块,用于将所述融合得到的卡通图像发送给所述终端,和/或发送给显示设备。
17.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如权利要求1-9任一所述的方法,或用于执行权利要求10-12任一所述的方法。
18.一种计算机可读存储介质,其特征在于,其存储的计算机程序使得处理器执行如权利要求1-9任一所述的方法,或用于执行权利要求10-12任一所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211447700.6A CN115760879A (zh) | 2022-11-18 | 2022-11-18 | 图像处理方法、图像处理系统、装置、设备及介质 |
PCT/CN2023/121763 WO2024103975A1 (zh) | 2022-11-18 | 2023-09-26 | 图像处理方法、图像处理系统、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211447700.6A CN115760879A (zh) | 2022-11-18 | 2022-11-18 | 图像处理方法、图像处理系统、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115760879A true CN115760879A (zh) | 2023-03-07 |
Family
ID=85373373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211447700.6A Pending CN115760879A (zh) | 2022-11-18 | 2022-11-18 | 图像处理方法、图像处理系统、装置、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115760879A (zh) |
WO (1) | WO2024103975A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024103975A1 (zh) * | 2022-11-18 | 2024-05-23 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理系统、装置、设备及介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527763A (zh) * | 2008-03-07 | 2009-09-09 | 西安盛泽电子有限公司 | 面向手持终端的数字图像合成装置 |
US10748322B1 (en) * | 2017-10-13 | 2020-08-18 | Umojify, Inc. | Systems and methods for generating cartoon images from images |
CN112527115B (zh) * | 2020-12-15 | 2023-08-04 | 北京百度网讯科技有限公司 | 用户形象生成方法、相关装置及计算机程序产品 |
CN113570689B (zh) * | 2021-07-28 | 2024-03-01 | 杭州网易云音乐科技有限公司 | 人像卡通化方法、装置、介质和计算设备 |
CN115131470A (zh) * | 2022-05-17 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 一种图文素材合成方法、装置、电子设备和存储介质 |
CN115760879A (zh) * | 2022-11-18 | 2023-03-07 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理系统、装置、设备及介质 |
-
2022
- 2022-11-18 CN CN202211447700.6A patent/CN115760879A/zh active Pending
-
2023
- 2023-09-26 WO PCT/CN2023/121763 patent/WO2024103975A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024103975A1 (zh) * | 2022-11-18 | 2024-05-23 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理系统、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2024103975A1 (zh) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9948893B2 (en) | Background replacement based on attribute of remote user or endpoint | |
CN109194946B (zh) | 数据处理方法及装置、电子设备及存储介质 | |
Morín et al. | Toward the distributed implementation of immersive augmented reality architectures on 5G networks | |
US11368718B2 (en) | Data processing method and non-transitory computer storage medium | |
CN111539960B (zh) | 图像处理方法以及相关设备 | |
WO2021098486A1 (zh) | 衣物颜色识别的处理方法、装置、设备及存储介质 | |
CN104737533A (zh) | 视频会议中的面部识别和面部图像的传输 | |
CN111784568A (zh) | 人脸图像处理方法、装置、电子设备及计算机可读介质 | |
CN112001274A (zh) | 人群密度确定方法、装置、存储介质和处理器 | |
CN105279487A (zh) | 美颜工具筛选方法和系统 | |
CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
CN111680694A (zh) | 文字图像中有色印章的滤除方法及装置 | |
WO2024103975A1 (zh) | 图像处理方法、图像处理系统、装置、设备及介质 | |
CN109640104A (zh) | 基于人脸识别的直播互动方法、装置、设备及存储介质 | |
CN105989345A (zh) | 图像匹配发现好友的方法和装置 | |
CN112116551A (zh) | 一种摄像头遮挡检测方法、装置、电子设备和存储介质 | |
CN111770298A (zh) | 视频通话方法、装置、电子设备以及存储介质 | |
US20230132415A1 (en) | Machine learning-based audio manipulation using virtual backgrounds for virtual meetings | |
WO2022111269A1 (zh) | 视频的细节增强方法、装置、移动终端和存储介质 | |
CN109976852A (zh) | 游戏app登录界面设置方法及设备 | |
CN110555799A (zh) | 用于处理视频的方法和装置 | |
Lampe et al. | Smartface: Efficient face detection on smartphones for wireless on-demand emergency networks | |
CN114092359B (zh) | 花屏处理方法、装置和电子设备 | |
CN109344350A (zh) | 一种信息处理方法及其设备 | |
CN112714299B (zh) | 一种图像展示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |