CN110381374B - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN110381374B
CN110381374B CN201910684801.7A CN201910684801A CN110381374B CN 110381374 B CN110381374 B CN 110381374B CN 201910684801 A CN201910684801 A CN 201910684801A CN 110381374 B CN110381374 B CN 110381374B
Authority
CN
China
Prior art keywords
image
user
human body
age group
user image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910684801.7A
Other languages
English (en)
Other versions
CN110381374A (zh
Inventor
高志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhangmen Science and Technology Co Ltd
Original Assignee
Shanghai Zhangmen Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhangmen Science and Technology Co Ltd filed Critical Shanghai Zhangmen Science and Technology Co Ltd
Priority to CN201910684801.7A priority Critical patent/CN110381374B/zh
Publication of CN110381374A publication Critical patent/CN110381374A/zh
Application granted granted Critical
Publication of CN110381374B publication Critical patent/CN110381374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Abstract

本申请实施例公开了图像处理方法和装置。该方法的一具体实施方式包括:获取包括人体区域的用户图像和用户已选信息,其中,该用户图像为图像或图像组成的视频,该人体区域包括人体的至少局部,人体的至少局部包括肢体的至少局部和/或头部,该用户已选信息包括已选年龄段;将该用户图像和该用户已选信息输入图像处理模型,得到从该图像处理模型输出的目标年龄段图像,其中,该目标年龄段图像的人体区域中人体的至少局部符合该已选年龄段;发送该输出的目标年龄段图像。本申请实施例能够对用户图像中的用户头部、肢体进行与年龄段相对应的改变,从而让用户体验自己或他人在不同年龄段的视觉效果,增加了视频或图像的趣味性和丰富性。

Description

图像处理方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及图像处理方法和装置。
背景技术
随着人工智能技术的发展,各种各样针对人(比如人脸)的技术层出不穷。每个人的外表都可以呈现出各种各样的特征,电子设备通过这些特征可以执行多种操作。比如,通过人脸可以确定人的年龄、性别,此外,还可以利用人脸进行开锁或打卡等等。
发明内容
本申请实施例提出了图像处理方法和装置。
第一方面,本申请实施例提供了一种图像处理方法,包括:获取包括人体区域的用户图像和用户已选信息,其中,用户图像为图像或图像组成的视频,人体区域包括人体的至少局部,人体的至少局部包括肢体的至少局部和/或头部,用户已选信息包括已选年龄段;将用户图像和用户已选信息输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像的人体区域中人体的至少局部符合已选年龄段,图像处理模型用于表征用户图像、用户已选信息与目标年龄段图像的对应关系;发送输出的目标年龄段图像。
第二方面,本申请实施例提供了一种图像处理装置,包括:获取单元,被配置成获取包括人体区域的用户图像和用户已选信息,其中,用户图像为图像或图像组成的视频,人体区域包括人体的至少局部,人体的至少局部包括肢体的至少局部和/或头部,用户已选信息包括已选年龄段;输入单元,被配置成将用户图像和用户已选信息输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像的人体区域中人体的至少局部符合已选年龄段,图像处理模型用于表征用户图像、用户已选信息与目标年龄段图像的对应关系;发送单元,被配置成发送输出的目标年龄段图像。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如图像处理方法中任一实施例的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如图像处理方法中任一实施例的方法。
本申请实施例提供的图像处理方案,首先,获取包括人体区域的用户图像和用户已选信息,其中,用户图像为图像或图像组成的视频,人体区域包括人体的至少局部,用户已选信息包括已选年龄段,之后,将用户图像和用户已选信息输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像的人体区域中人体的至少局部符合已选年龄段,图像处理模型用于表征用户图像、用户已选信息与目标年龄段图像的对应关系。最后,发送输出的目标年龄段图像。本申请实施例能够对用户图像中的用户头部、肢体进行与年龄段相对应的改变,从而让用户体验自己或他人在不同年龄段的视觉效果,增加了视频或图像的趣味性和丰富性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的图像处理方法的一个实施例的流程图;
图3是根据本申请的图像处理方法的一个应用场景的示意图;
图4是根据本申请的图像处理装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的图像处理方法或图像处理装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如图像处理应用、视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的用户图像等数据进行分析等处理,并将处理结果(例如目标年龄段图像)反馈给终端设备。
需要说明的是,本申请实施例所提供的图像处理方法可以由服务器105或者终端设备101、102、103执行,相应地,图像处理装置可以设置于服务器105或者终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的图像处理方法的一个实施例的流程200。该图像处理方法,包括以下步骤:
步骤201,获取包括人体区域的用户图像和用户已选信息,其中,用户图像为图像或图像组成的视频,人体区域包括人体的至少局部,人体的至少局部包括肢体的至少局部和/或头部,用户已选信息包括已选年龄段。
在本实施例中,图像处理方法的执行主体(例如图1所示的服务器或终端设备)可以获取用户图像和用户已选信息。这里的用户图像为能够呈现用户外貌的图像。用户图像可以包含体现用户外貌的人体区域,还可以包含其他图案或者背景区域。这里的用户图像可以指一个图像或两个以上并不连贯的图像,还可以指多个连贯图像所组成的视频。人体区域所包括的人体的至少局部,也即可以包括用户肢体的局部或全部,还可以包括用户的头部。具体地,头部可以包括脸部、耳朵和头发,肢体可以包括四肢和躯干,此外还可以包括脖子。比如,用户图像为用户的上半身像,那么其中的人体区域中的局部可以分别指用户的头部、脖子、躯干的上半部和胳膊。用户已选信息指用户选择得到的、参与得到目标年龄段图像的过程的信息。年龄段可以是对年龄进行划分所得到的,划分单位可以是年,几年或半年等。比如,从0岁开始,可以将10年作为一个年龄段,得到的结果为0岁-10岁、10岁-20岁等等。用户选择出某个年龄段,则该年龄段成为已选年龄段。这里的已选年龄段可以是任意的,不受用户图像呈现的用户年龄段的影响。
在本实施例的一些可选的实现方式中,在步骤201之前,上述方法还可以包括:获取初始用户图像,确定是否对初始用户图像进行绿幕处理;若确定进行绿幕处理,发送绿幕处理指令或对初始用户图像进行绿幕处理;获取绿幕处理结果作为用户图像。
在这些可选的实现方式中,上述执行主体可以获取初始用户图像,并确定是否需要对其进行绿幕处理。如果确定需要则进行绿幕处理,则上述执行主体可以进行对初始用户图像进行绿幕处理,或者发送绿幕处理指令。之后,将绿幕处理结果作为用户图像。这里的绿幕处理结果可以是上述执行主体进行绿幕处理得到的处理结果,也可以是接收上述绿幕处理指令并进行绿幕处理的电子设备或执行模块得到的处理结果。
在实践中,初始用户图像是摄像头采集到的包括人体区域的图像,上述执行主体可以在绿幕处理之前,先预期通过图像处理模型,是否可以对初始用户图像中的人体区域进行准确提取以便于后续的处理。如果预期的结果是不可以准确提取,则上述执行主体可以确定需要进行绿幕处理。具体地,绿幕处理可以将用户图像中,人体区域以外的区域处理成颜色单一的绿色。
这里的发送绿幕处理指令,可以是服务器向终端设备发送,以使终端设备进行绿幕处理并上传绿幕处理结果。此外,也可以是终端设备的处理器向该终端设备进行绿幕处理的应用的运行栈发送。
在实践中,上述执行主体可以采用多种方式确定是否进行绿幕处理。比如,上述执行主体可以确定初始用户图像的亮度,在亮度小于预设阈值的情况下,确定进行绿幕处理。
这些实现方式可以通过绿幕处理,减少在处理过程中,背景区域对人体区域的干扰,从而提高图像处理模型处理用户图像的准确性。
在这些实现方式的一些可选的应用场景中,上述确定是否对初始用户图像进行绿幕处理,可以包括:确定初始用户图像包含的颜色数量,基于颜色数量,确定是否对初始用户图像进行绿幕处理。
在这些可选的应用场景中,上述执行主体可以确定出初始用户图像包含的颜色数量,并基于颜色数量确定是否对初始用户图像进行绿幕处理。比如,上述执行主体可以确定对颜色数量大于预设颜色数量的初始用户图像进行绿幕处理。此外,上述执行主体还可以确定对颜色数量与初始用户图像的图像尺寸(比如面积、高度或宽度)的比值大于预设比值阈值的初始用户图像进行绿幕处理。
这些应用场景可以通过初始用户图像的颜色数量,高效而准确地确定出是否对初始用户图像进行绿幕处理,从而使后续的图像处理模型的处理过程更加顺利和准确。
步骤202,将用户图像和用户已选信息输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像的人体区域中人体的至少局部符合已选年龄段,图像处理模型用于表征用户图像、用户已选信息与目标年龄段图像的对应关系。
在本实施例中,上述执行主体可以将用户图像和用户已选信息输入图像处理模型,从而得到从该模型输出的目标年龄段图像。图像处理模型可以将用户图像中人体区域呈现的用户外貌转换为符合已选年龄段的外貌。向图像处理模型中输入用户图像、用户已选信息,可以得到输出的目标年龄段图像。利用图像处理模型,上述执行主体可以将用户图像中的用户外貌,转变为符合用户选取的年龄段的外貌。不同年龄段的人的头部、肢体所呈现的外貌的特征不同。比如,不同年龄段的人,发色、肤色和纹理可以不同,并且身体尺寸也可以是不同的。
这里的图像处理模型可以是深度学习模型,比如可以是生成式对抗网络(Generative Adversarial Networks,GAN),还可以是卷积神经网络(ConvolutionalNeural Networks,CNN)。
在本实施例的一些可选的实现方式中,步骤202可以包括:基于已选年龄段和用户图像的用户年龄段,通过图像处理模型对用户图像中人体区域进行尺寸处理,得到包括处理后的人体区域的目标年龄段图像,其中,处理后的人体区域中人体的尺寸变化数值,与已选年龄段和用户年龄段的相差数值相关联;以及通过以下步骤进行尺寸处理:对人体区域进行整体缩放,或者对人体区域中人体的各个局部进行有差异缩放。
在这些可选的实现方式中,上述执行主体需要确定出用户图像中自身区域所呈现的用户的年龄或年龄段(比如利用图像处理模型进行关键点检测得到,或通过标注了年龄段的用户图像得到),并进行尺寸处理。具体地,上述执行主体可以利用用户图像呈现的用户年龄段,和已选年龄段,确定出用户图像中人体区域的尺寸对应的输出的目标年龄段图像中人体区域的尺寸。在训练图像处理模型的每个训练样本中,用户图像对应的年龄段,如果和目标年龄段图像(真实图像)对应的年龄段(也即已选年龄段或目标年龄段)不同,那么用户图像中人体区域的尺寸和目标年龄段图像中人体区域的尺寸可以不同。在采用图像处理模型进行预测时,如果已选年龄段与用户图像中人体区域呈现的年龄段有差别,则输出的目标年龄段图像中人体区域的尺寸相对于用户图像会有改变。
处理后的人体区域中人体相对于用户图像中人体的尺寸变化的数值,与已选年龄段和用户年龄段的差值相关联。具体地,可以是上述差值越大,则人体的尺寸变化的数值越大,上述差值越小,则人体的尺寸变化的数值越小。需要说明的是,在差值更大或者差值更小的情况下,人体的尺寸变化的数值也可以是相等的。在实践中,上述执行主体可以通过多种方式确定已选年龄段和用户年龄段的相差数值。比如,可以通过确定已选年龄段的均值和用户年龄段的均值之间的相差数值来得到。此外,还可以确定已选年龄段的上限值和下限值的均值,以及用户年龄段的上限值和下限值之间的均值,并将这两个均值的相差数值作为已选年龄段和用户年龄段的相差数值。这里的相差数值一般为正数。
上述执行主体在利用图像处理模型进行尺寸处理的过程中,也即确定目标年龄段图像中人体区域的尺寸时,可以对用户图像中人体区域的整体进行缩放。比如,可以进行统一的缩放,也可以对不同的局部比如头部、手等分别进行有差异的缩放。也即,对不同局部的缩小比例,或放大比例不同。
这些实现方式可以通过对用户图像中人体区域的尺寸的改变,给用户呈现出更加真实而丰富的年龄段改变的视觉效果。
在本实施例的一些可选的实现方式中,图像处理模型的训练步骤包括:获取多个训练样本,其中,训练样本包括用户图像样本、目标年龄段,以及该用户图像样本的符合目标年龄段的真实图像,多个训练样本中,用户图像样本对应的年龄段的数量与真实图像对应的年龄段的数量相同且大于预设数量阈值,每个训练样本的用户图像样本和真实图像之间,年龄段与人体区域的尺寸相对应;基于多个训练样本和预设损失函数,确定待训练图像处理模型的预测图像和真实图像的损失值,基于损失值进行训练,得到图像处理模型。
在这些可选的实现方式中,上述执行主体或其他电子设备都可以执行上述训练步骤,从而得到图像处理模型。在训练样本中,用户图像样本为用户图像,真实图像中的人体区域不仅符合目标年龄段,并且其中人体区域呈现的用户与用户图像中人体区域呈现的用户相同,但是用户的年龄段不同。
在实践中,在每个训练样本中,用户图像中的用户的年龄段,如果和真实图像对应的年龄段(也即目标年龄段)不同,那么用户图像中人体区域的尺寸和目标年龄段图像中人体区域的尺寸可以不同。而在一些情况下,即使年龄段不同,尺寸也可以是相同的。比如,一个训练样本中,用户图像中用户的年龄段是20岁,人体区域的长可以是15cm。目标年龄段2岁,真实图像的人体区域呈现的2岁的用户的身长是4.5厘米。再比如,一个训练样本中,用户图像中用户的年龄段是25岁-30岁,人体区域的长可以是15cm。目标年龄段30岁-35岁,真实图像的人体区域呈现的30岁-35岁的用户的身长是15厘米。
这些实现方式在多个训练样本中,存在多个年龄段对应的用户图像样本和真实图像,利用这些训练样本进行训练,可以满足用户对各年龄段的视觉需求。并且,通过年龄段与人体区域的尺寸相对应的训练样本进行训练,图像处理模型输出的目标年龄段图像的人体区域可以更符合用户选择的年龄段,让目标年龄段图像有更加真实的视觉效果。
在这些实现方式的一些可选的应用场景中,目标年龄段图像包括用户图像中的背景区域的至少局部;以及训练样本中的真实图像的背景区域包括用户图像样本中背景区域的至少局部。
在这些可选的应用场景中,输出的目标年龄段图像的背景区域,与输入的用户图像的背景区域可以是完全相同的,也可以是部分相同的。比如,用户图像呈现的用户年龄是5岁-10岁,已选年龄段对应的年龄段是20岁-30岁,则目标年龄段图像中的自身区域的尺寸,大于用户图像中的自身区域的尺寸。那么,目标年龄段图像中的自身区域会覆盖部分用户图像原有的背景区域。
在实践中,训练过程所采用的训练样本的真实图像的背景区域可以是用户图像样本的背景区域的至少局部。这样,利用该真实图像和用户图像样本进行训练,得到的图像处理模型所输出的目标年龄段图像,背景区域可以包括输入的用户图像的背景区域的至少局部。
这些应用场景中,用户图像中人体区域在变换完毕后,还会重新与用户图像的背景相结合,通过相同的背景,呈现给用户以更加真实的视觉效果。
在这些实现方式的一些可选的应用场景中,用户图像和目标年龄段图像中,人体区域包括自身区域和衣着区域;
目标年龄段图像中的衣着区域的尺寸与用户图像中的衣着区域的尺寸的比例,和目标年龄段图像中的人体区域的尺寸与用户图像中的人体区域的尺寸的比例相关联。
在这些可选的应用场景中,用户图像中,人体区域可以包括呈现用户自身的自身区域,比如,皮肤、毛发、指甲等等。此外,人体区域还可以包括衣着区域,比如衣服、鞋帽、首饰等等。具体地,目标年龄段图像中的衣着区域的尺寸与用户图像中的衣着区域的尺寸的比例,可以和目标年龄段图像中的人体区域的尺寸与用户图像中的人体区域的尺寸的比例相等,或者有预设转换关系。这样,目标年龄段图像中呈现的用户衣物,也能够随着人体区域进行缩放,从而让画面中用户衣着与用户自身的比例更加协调。
在本实施例的一些可选的实现方式中,用户已选信息还包括已选的预设图像模板;方法还包括:获取已选的预设图像模板,其中,预设图像模板为图像或图像组成的视频;以及步骤202可以包括:将用户图像、已选的预设图像模板和已选年龄段输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像包括预设图像模板中的至少局部。
在这些可选的实现方式中,上述执行主体可以在向图像处理模型中输入用户图像、已选年龄段的情况下,再输入用户已选的预设图像模板。这样,就可以将预设图像模板与人体区域相结合,给人体区域一个全新的背景。预设图像模板是预先设置的图像。预设图像模板中可以不包括人体区域,也可以包括人体区域。如果预设图像模板不包括人体区域,可以直接将通过图像处理模型得到的人体区域与预设图像模板相结合。比如将图像处理模型得到的人体区域的中心点与预设图像模板的中心点对齐,将人体区域覆盖到预设图像模板上。如果预设图像模板包含人体区域,图像处理模型可以对预设图像模板进行抠图处理,去掉其中的人体区域,得到背景区域,并将图像处理模型处理用户图像得到的人体区域与抠图处理得到的背景区域相结合。
这些实现方式可以通过预设图像模板给目标年龄段图像带来更加丰富的背景。
步骤203,发送输出的目标年龄段图像。
在本实施例中,上述执行主体可以发送从图像处理模型输出的目标年龄段图像。具体地,如果上述执行主体为服务器,上述执行主体可以向终端设备发送目标年龄段图像。如果上述执行主体为终端设备中的处理器,上述执行主体可以向显示器发送目标年龄段图像。
继续参见图3,图3是根据本实施例的图像处理方法的应用场景的一个示意图。在图3的应用场景中,执行主体(比如服务器)301可以获取包括人体区域的用户图像302和用户已选信息303。用户图像为图像或图像组成的视频,人体区域包括人体的至少局部,人体的至少局部为包含头部、胳膊和部分躯干的上半身,用户已选信息303包括已选年龄段比如70岁-80岁。之后,执行主体301将用户图像302和用户已选信息303输入图像处理模型304,得到从图像处理模型304输出的目标年龄段图像305,其中,目标年龄段图像305的人体区域中人体的所述至少局部符合已选年龄段,图像处理模型304用于表征用户图像302、用户已选信息303与目标年龄段图像305的对应关系。最后,执行主体301发送输出的目标年龄段图像305。
本申请的上述实施例提供的方法能够对用户图像中的用户头部、肢体进行与年龄段相对应的改变,从而让用户体验自己或他人在不同年龄段的视觉效果,增加了视频或图像的趣味性和丰富性。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种图像处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的图像处理装置400包括:获取单元401、输入单元402和发送单元403。其中,获取单元401,被配置成获取包括人体区域的用户图像和用户已选信息,其中,用户图像为图像或图像组成的视频,人体区域包括人体的至少局部,人体的至少局部包括肢体的至少局部和/或头部,用户已选信息包括已选年龄段;输入单元402,被配置成将用户图像和用户已选信息输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像的人体区域中人体的至少局部符合已选年龄段,图像处理模型用于表征用户图像、用户已选信息与目标年龄段图像的对应关系;发送单元403,被配置成发送输出的目标年龄段图像。
在一些实施例中,图像处理装置400的获取单元401可以获取用户图像和用户已选信息。这里的用户图像为能够呈现用户外貌的图像。用户图像可以包含体现用户外貌的人体区域,还可以包含其他图案或者背景区域。这里的用户图像可以指一个图像或两个以上并不连贯的图像,还可以指多个连贯图像所组成的视频。
在一些实施例中,输入单元402将用户图像和用户已选信息输入图像处理模型,从而得到从该模型输出的目标年龄段图像。图像处理模型可以将用户图像中人体区域呈现的用户外貌转换为符合已选年龄段的外貌。向图像处理模型中输入用户图像、用户已选信息,可以得到输出的目标年龄段图像。
在一些实施例中,发送单元403发送从图像处理模型输出的目标年龄段图像。具体地,如果上述执行主体为服务器,上述执行主体可以向终端设备发送目标年龄段图像。如果上述执行主体为终端设备中的处理器,上述执行主体可以向显示器发送目标年龄段图像。
在本实施例的一些可选的实现方式中,输入单元,包括:处理模块,被配置成基于已选年龄段和用户图像的用户年龄段,通过图像处理模型对用户图像中人体区域进行尺寸处理,得到包括处理后的人体区域的目标年龄段图像,其中,处理后的人体区域中人体的尺寸变化数值,与已选年龄段和用户年龄段的相差数值相关联;以及通过以下步骤进行尺寸处理:对人体区域进行整体缩放,或者对人体区域中人体的各个局部进行有差异缩放。
在本实施例的一些可选的实现方式中,图像处理模型的训练步骤包括:获取多个训练样本,其中,训练样本包括用户图像样本、目标年龄段,以及该用户图像样本的符合目标年龄段的真实图像,多个训练样本中,用户图像样本对应的年龄段的数量与真实图像对应的年龄段的数量相同且大于预设数量阈值,每个训练样本的用户图像样本和真实图像之间,年龄段与人体区域的尺寸相对应;基于多个训练样本和预设损失函数,确定待训练图像处理模型的预测图像和真实图像的损失值,基于损失值进行训练,得到图像处理模型。
在本实施例的一些可选的实现方式中,目标年龄段图像包括用户图像中的背景区域的至少局部;以及训练样本中的真实图像的背景区域包括用户图像样本中背景区域的至少局部。
在本实施例的一些可选的实现方式中,用户已选信息还包括已选的预设图像模板;装置还包括:模板确定单元,被配置成获取已选的预设图像模板,其中,预设图像模板为图像或图像组成的视频;以及输入单元,包括:输入模块,被配置成将用户图像、已选的预设图像模板和已选年龄段输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像包括预设图像模板中的至少局部。
在本实施例的一些可选的实现方式中,用户图像和目标年龄段图像中,人体区域包括自身区域和衣着区域;目标年龄段图像中的衣着区域的尺寸与用户图像中的衣着区域的尺寸的比例,和目标年龄段图像中的人体区域的尺寸与用户图像中的人体区域的尺寸的比例相关联。
在本实施例的一些可选的实现方式中,装置还包括:准备单元,被配置成获取初始用户图像,确定是否对初始用户图像进行绿幕处理;绿幕处理单元,被配置成若确定进行绿幕处理,发送绿幕处理指令或对初始用户图像进行绿幕处理;结果获取单元,被配置成获取绿幕处理结果作为用户图像。
在本实施例的一些可选的实现方式中,准备单元,进一步被配置成:确定初始用户图像包含的颜色数量,基于颜色数量,确定是否对初始用户图像采用绿幕处理。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、输入单元和发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取包括人体区域的用户图像和用户已选信息的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取包括人体区域的用户图像和用户已选信息,其中,用户图像为图像或图像组成的视频,人体区域包括人体的至少局部,用户已选信息包括已选年龄段;将用户图像和用户已选信息输入图像处理模型,得到从图像处理模型输出的目标年龄段图像,其中,目标年龄段图像的人体区域中人体的至少局部符合已选年龄段,图像处理模型用于表征用户图像、用户已选信息与目标年龄段图像的对应关系;发送输出的目标年龄段图像。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种图像处理方法,包括:
获取包括人体区域的用户图像和用户已选信息,其中,所述用户图像为图像或图像组成的视频,所述人体区域包括人体的至少局部,所述人体的至少局部包括肢体的至少局部和/或头部,所述用户已选信息包括已选年龄段,所述用户已选信息还包括已选的预设图像模板,所述预设图像模板中可以不包括人体区域,也可以包括人体区域;
获取已选的预设图像模板,其中,所述预设图像模板为图像或图像组成的视频;
将所述用户图像、所述已选的预设图像模板和所述已选年龄段输入图像处理模型,得到从所述图像处理模型输出的目标年龄段图像,其中,所述目标年龄段图像的人体区域中所述人体的至少局部符合所述已选年龄段,所述图像处理模型用于表征用户图像、用户已选信息与目标年龄段图像的对应关系,所述目标年龄段图像包括所述预设图像模板中的至少局部;
发送所述输出的目标年龄段图像;
其中,所述将所述用户图像和所述用户已选信息输入图像处理模型,得到从所述图像处理模型输出的目标年龄段图像,包括:
基于已选年龄段和用户图像的用户年龄段,通过所述图像处理模型对用户图像中人体区域进行尺寸处理,得到包括处理后的人体区域的所述目标年龄段图像,其中,所述处理后的人体区域中人体的尺寸变化数值,与已选年龄段和所述用户年龄段的相差数值相关联;以及
通过以下步骤进行尺寸处理:
对所述人体区域进行整体缩放,或者对所述人体区域中人体的各个局部进行有差异缩放;
其中,所述图像处理模型的训练步骤包括:
获取多个训练样本,其中,所述训练样本包括用户图像样本、目标年龄段,以及该用户图像样本的符合所述目标年龄段的真实图像,所述多个训练样本中,用户图像样本对应的年龄段的数量与真实图像对应的年龄段的数量相同且大于预设数量阈值,每个训练样本的用户图像样本和真实图像之间,年龄段与人体区域的尺寸相对应;
基于所述多个训练样本和预设损失函数,确定待训练图像处理模型的预测图像和真实图像的损失值,基于所述损失值进行训练,得到所述图像处理模型。
2.根据权利要求1所述的方法,其中,所述目标年龄段图像包括所述用户图像中背景区域的至少局部;以及
所述训练样本中的真实图像的背景区域包括所述用户图像样本中背景区域的至少局部。
3.根据权利要求2所述的方法,其中,所述用户图像和所述目标年龄段图像中,人体区域包括自身区域和衣着区域;
所述目标年龄段图像中的衣着区域的尺寸与所述用户图像中的衣着区域的尺寸的比例,和所述目标年龄段图像中的人体区域的尺寸与所述用户图像中的人体区域的尺寸的比例相关联。
4.根据权利要求1所述的方法,其中,在所述获取包括人体区域的用户图像和用户已选信息之前,所述方法还包括:
获取初始用户图像,确定是否对所述初始用户图像进行绿幕处理;
若确定进行绿幕处理,发送绿幕处理指令或对所述初始用户图像进行绿幕处理;
获取绿幕处理结果作为所述用户图像。
5.根据权利要求4所述的方法,其中,所述确定是否对所述初始用户图像进行绿幕处理,包括:
确定所述初始用户图像包含的颜色数量,基于所述颜色数量,确定是否对所述初始用户图像采用绿幕处理。
6.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201910684801.7A 2019-07-26 2019-07-26 图像处理方法和装置 Active CN110381374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910684801.7A CN110381374B (zh) 2019-07-26 2019-07-26 图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910684801.7A CN110381374B (zh) 2019-07-26 2019-07-26 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN110381374A CN110381374A (zh) 2019-10-25
CN110381374B true CN110381374B (zh) 2022-05-31

Family

ID=68256518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910684801.7A Active CN110381374B (zh) 2019-07-26 2019-07-26 图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN110381374B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953902B (zh) * 2020-08-12 2021-10-22 维沃移动通信有限公司 图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789503A (zh) * 2012-07-18 2012-11-21 上海量明科技发展有限公司 即时通信中图像年龄变换的方法、客户端及系统
CN106203304A (zh) * 2016-06-30 2016-12-07 维沃移动通信有限公司 一种图像生成方法及其移动终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085678A (ja) * 2004-08-16 2006-03-30 Fuji Photo Film Co Ltd 画像作成方法および装置並びにプログラム
US10621771B2 (en) * 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789503A (zh) * 2012-07-18 2012-11-21 上海量明科技发展有限公司 即时通信中图像年龄变换的方法、客户端及系统
CN106203304A (zh) * 2016-06-30 2016-12-07 维沃移动通信有限公司 一种图像生成方法及其移动终端

Also Published As

Publication number Publication date
CN110381374A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
US11978245B2 (en) Method and apparatus for generating image
CN111787242B (zh) 用于虚拟试衣的方法和装置
CN110503703A (zh) 用于生成图像的方法和装置
CN111369428B (zh) 虚拟头像生成方法和装置
CN109815776B (zh) 动作提示方法和装置、存储介质及电子装置
CN110298319B (zh) 图像合成方法和装置
CN109308681A (zh) 图像处理方法和装置
CN109189544B (zh) 用于生成表盘的方法和装置
CN108595628A (zh) 用于推送信息的方法和装置
CN111476871A (zh) 用于生成视频的方法和装置
CN110210501B (zh) 虚拟对象生成方法、电子设备及计算机可读存储介质
CN110472558B (zh) 图像处理方法和装置
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN110136054A (zh) 图像处理方法和装置
CN115222862B (zh) 虚拟人衣物生成方法、装置、设备、介质及程序产品
CN111340865B (zh) 用于生成图像的方法和装置
US11232560B2 (en) Method and apparatus for processing fundus image
CN109117758A (zh) 用于生成信息的方法和装置
CN110189252B (zh) 生成平均脸图像的方法和装置
CN109241930B (zh) 用于处理眉部图像的方法和装置
CN110381374B (zh) 图像处理方法和装置
CN110084306B (zh) 用于生成动态图像的方法和装置
CN110602405A (zh) 拍摄方法和装置
US20220198828A1 (en) Method and apparatus for generating image
CN109816670A (zh) 用于生成图像分割模型的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant