CN110322398A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110322398A CN110322398A CN201910613717.6A CN201910613717A CN110322398A CN 110322398 A CN110322398 A CN 110322398A CN 201910613717 A CN201910613717 A CN 201910613717A CN 110322398 A CN110322398 A CN 110322398A
- Authority
- CN
- China
- Prior art keywords
- image
- age bracket
- label
- characteristic point
- age
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 57
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 39
- 238000004519 manufacturing process Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 230000004069 differentiation Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 abstract description 46
- 230000000694 effects Effects 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 208000003351 Melanosis Diseases 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 208000007442 rickets Diseases 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种图像处理方法、装置、电子设备及计算机可读存储介质,涉及图像处理技术领域。所述方法包括:基于第一目标年龄段标签,获取所述第一目标年龄段标签对应的图像特征点平均值,基于所述图像特征点平均值,对原始图像变形,得到第一中间图像,所述第一中间图像的图像特征点分布比例与所述第一目标年龄段标签对应的年龄段匹配,通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像。本公开能够提高图像处理过程中生长模拟的效果并降低生长模拟成本。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着手机、相机和摄像头等多种图像采集设备的普及,图像处理技术也得到了长足的发展。其中,由于图像在侦查监控、信息管理、智能人机交互、社交娱乐等多个领域的广泛应用,图像处理方法也越来越受到重视。
现有技术中,当获取到用户某年龄段的图像时,可以基于该图像,对人脸部进行变形并添加素材(皱纹、雀斑等),从而可以基于该图像,变换得到针对该用户的其它年龄段的图像,从而针对该用户进行生长模拟。
但由于需要依赖人工操作来对图像进行处理,不仅成本高昂,生长模拟的效果较差。
发明内容
本公开的目的在于提供一种图像处理方法、装置、电子设备及计算机可读存储介质,以提高图像处理过程中生长模拟的效果并降低生长模拟成本。
为了实现上述目的,本公开采用的技术方案如下:
第一方面,本公开提出一种图像处理方法,所述方法包括:
基于第一目标年龄段标签,获取所述第一目标年龄段标签对应的图像特征点平均值;
基于所述图像特征点平均值,对原始图像变形,得到第一中间图像,所述第一中间图像的图像特征点分布比例与所述第一目标年龄段标签对应的年龄段匹配;
通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像。
可选地,所述预设神经网络模型包括生成式对抗网络(GAN,GenerativeAdversarial Networks),所述生成式对抗网络包括生成模型,其中,所述生成模型由不同年龄段对应的中间图像训练获取;
所述通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像,包括:
通过所述生成模型,按照所述第一目标年龄段标签对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的所述第一模拟图像。
可选地,所述基于所述图像特征点平均值,对原始图像变形,得到第一中间图像,包括:
获取所述原始图像的第一图像特征点;
基于所述第一目标年龄段标签对应的所述图像特征点平均值,对所述第一图像特征点进行变换,得到第二图像特征点;
基于所述第二图像特征点,对所述原始图像进行变形得到所述第一中间图像。
可选地,所述基于所述第一目标年龄段标签对应的所述图像特征点平均值,对所述第一图像特征点进行变换,得到第二图像特征点,包括:
获取所述第一图像特征点对应的第一权重、所述图像特征点平均值对应的第二权重;
确定所述第一权重与所述第一图像特征点的第一乘积、所述第二权重与所述图像特征点平均值的第二乘积;
将所述第一乘积和所述第二乘积的和确定为所述第二图像特征点。
可选地,在所述通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像之前,所述方法还包括:
获取多个预设年龄段标签对应的样本图像,各所述预设年龄段标签对应一个特定年龄段;
分别基于各预设年龄段标签对应的所述样本图像,生成第二目标年龄段标签对应的第二中间图像,得到多个预设年龄段标签对应的所述第二中间图像,其中,第二目标年龄标签包括多个预设年龄段标签中其它预设年龄段标签;
基于多个所述预设年龄段标签对应的所述第二中间图像和所述第二目标年龄段标签,训练获取所述预设神经网络模型。
可选地,所述预设神经网络模型包括生成式对抗网络,所述生成式对抗网络包括生成模型和判别模型,其中,所述判别模型用于判别输入所述生成式对抗网络的图像为模拟图像或真实图像;
所述基于多个所述预设年龄段标签对应的所述第二中间图像和所述第二目标年龄段标签,训练获取所述预设神经网络模型,包括:
基于多个所述预设年龄段标签对应的所述第二中间图像和针对各所述第二中间图像的至少一个所述第二目标年龄段标签,训练获取所述生成模型;
通过各所述第二目标年龄标签对应的第二模拟图像以及样本图像,训练获取所述判别模型,所述第二模拟图像由所述生成模型生成。
可选地,在所述获取多个预设年龄段标签对应的样本图像之后,所述方法还包括:
分别基于各所述预设年龄段标签的所述样本图像,生成各所述预设年龄段标签对应的所述图像特征点平均值。
第二方面,本公开还提出一种图像处理装置,所述装置包括:
第一获取模块,用于基于第一目标年龄段标签,获取所述第一目标年龄段标签对应的图像特征点平均值;
变形模块,用于基于所述图像特征点平均值,对原始图像变形,得到第一中间图像,所述第一中间图像的图像特征点分布比例与所述第一目标年龄段标签对应的年龄段匹配;
第一生成模块,用于通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像。
可选地,所述预设神经网络模型包括生成式对抗网络,所述生成式对抗网络包括生成模型,其中,所述生成模型由不同年龄段对应的中间图像训练获取;所述第一生成模块具体用于:
通过所述生成模型,按照所述第一目标年龄段标签对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的所述第一模拟图像。
可选地,所述变形模块具体用于:
获取所述原始图像的第一图像特征点;
基于所述第一目标年龄段标签对应的所述图像特征点平均值,对所述第一图像特征点进行变换,得到第二图像特征点;
基于所述第二图像特征点,对所述原始图像进行变形得到所述第一中间图像。
可选地,所述变形模块还用于:
获取所述第一图像特征点对应的第一权重、所述图像特征点平均值对应的第二权重;
确定所述第一权重与所述第一图像特征点的第一乘积、所述第二权重与所述图像特征点平均值的第二乘积;
将所述第一乘积和所述第二乘积的和确定为所述第二图像特征点。
可选地,所述装置还包括:
第二获取模块,用于获取多个预设年龄段标签对应的样本图像,各所述预设年龄段标签对应一个特定年龄段;
第二生成模块,用于分别基于各预设年龄段标签对应的所述样本图像,生成第二目标年龄段标签对应的第二中间图像,得到多个预设年龄段标签对应的所述第二中间图像,其中,第二目标年龄标签包括多个预设年龄段标签中其它预设年龄段标签;
训练模块,用于基于多个所述预设年龄段标签对应的所述第二中间图像和所述第二目标年龄段标签,训练获取所述预设神经网络模型。
可选地,所述预设神经网络模型包括生成式对抗网络,所述生成式对抗网络包括生成模型和判别模型,其中,所述判别模型用于判别输入所述生成式对抗网络的图像为模拟图像或真实图像;所述训练模块具体用于:
基于多个所述预设年龄段标签对应的所述第二中间图像和针对各所述第二中间图像的至少一个所述第二目标年龄段标签,训练获取所述生成模型;
通过各所述第二目标年龄标签对应的第二模拟图像以及样本图像,训练获取所述判别模型,所述第二模拟图像由所述生成模型生成。
可选地,所述装置还包括:
第三生成模块,用于分别基于各所述预设年龄段标签的所述样本图像,生成各所述预设年龄段标签对应的所述图像特征点平均值。
第三方面,本公开还提出一种电子设备,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,执行上述第一方面所述的方法。
第四方面,本公开还提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器读取并运行时,执行上述第一方面所述的方法。
在本公开实施例中,由于人物在不同年龄段具有不同的体貌特征,包括体型或体积等尺寸方面的不同,也包括皮肤颜色和质地等纹理方面的不同,因此基于第一目标年龄段标签获取对应的图像特征点平均值,基于图像特征点平均值,对原始图像变形得到第一中间图像,所得到的第一中间图像的图像特征点分布比例与第一目标年龄段标签对应的年龄段匹配,然后再通过预设神经网络模型,按照第一目标年龄段标签对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像。一方面,在生长模拟时先针对原始图像进行尺寸变换得到第一中间图像,再通过预设神经网络模型针对第一中间图像进行纹理变换,从而能够通过预设神经网络实现更加精准的纹理变换,达到较好的生长模拟效果,另一方面,也不需要依赖人工进行生长模拟,降低了进行生长模拟的成本。
本公开的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开所提供的一种图像处理方法的流程示意图;
图2示出了本公开所提供的另一种图像处理方法的流程示意图;
图3示出了本公开所提供的一种图像处理装置的功能模块示意图;
图4示出了本公开所提供的另一种图像处理装置的功能模块示意图;
图5示出了本公开所提供的另一种图像处理装置的功能模块示意图;
图6示出了本公开所提供的一种电子设备的功能模块示意图。
具体实施方式
下面将结合本公开中附图,对本公开中的技术方案进行清楚、完整地描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在对本公开进行详细地解释之前,先对本公开的应用场景予以介绍。
由于随着年龄的增长,人物的体型、面相、皮肤等体貌特征会持续发生变化,因此,人物在不同年龄段所具有的体貌特征也会不同,比如在婴幼儿时期,体型较小、五官紧凑、皮肤稚嫩、肤色白皙,在中青年时期,体型较大、体表毛发旺盛、皮肤紧致有弹性;而在老年时期,体态佝偻、五官较为分开、肤色暗淡、皱纹丛生。虽然人物一生会经历所有的年龄段,但同一时刻,人物只能处于一个年龄段,从而也只能具有与该年龄段匹配的体貌特征,而在实际应用中,又经常需要得到其它年龄段的体貌特征,比如根据犯罪嫌疑人物历史时期的相貌确定该犯罪嫌疑人物当前年龄的相貌、针对某用户当前的相貌模拟该用户未来某年龄段的相貌、按照某用户当前相貌对该用户之前的照片进行修复等,因此也就需要通过生长模拟,来根据用户在某一时刻的图像,生成该用户在另一时刻的图像。
现有技术中虽然可以通过人工的方式,在用户某年龄段的图像中添加皱纹等素材,从而变换得到用户在其它年龄段的图像,但依赖人工的方式通常成本较高,而且生长模拟的效果往往难以保证。因此,为解决这一问题,本公开提供了一种图像处理方法,由于人物在不同年龄段具有不同的体貌特征,包括体型或体积等尺寸方面的不同,也包括皮肤颜色和质地等纹理方面的不同,因此基于第一目标年龄段标签获取对应的图像特征点平均值,基于图像特征点平均值,对原始图像变形得到第一中间图像,所得到的第一中间图像的图像特征点分布比例与第一目标年龄段标签对应的年龄段匹配,然后再通过预设神经网络模型,按照第一目标年龄段标签对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像。一方面,在生长模拟时先针对原始图像进行尺寸变换得到第一中间图像,再通过预设神经网络模型针对第一中间图像进行纹理变换,从而能够通过预设神经网络实现更加精准的纹理变换,达到较好的生长模拟效果,另一方面,也不需要依赖人工进行生长模拟,降低了进行生长模拟的成本。
以下对公开所提供的图像处理方法进行具体说明。
请参照图1,为本公开所提供的一种图像处理方法的流程示意图。需要说明的是,本公开所述的图像处理方法并不以图1以及以下所述的具体顺序为限制,应当理解,在其它实施例中,本公开所述的图像处理方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。下面将对图1所示的流程进行详细阐述。
步骤101,基于第一目标年龄段标签,获取第一目标年龄段标签对应的图像特征点平均值。
由于人物在不同年龄段具有不同的体貌特征,因此为了便于后续进行生长模拟,从而确定用户在目标年龄段的相貌特征,可以基于所需要生长模拟的第一目标年龄段标签,并获取第一目标年龄段标签对应的图像特征点平均值。
年龄段标签为对特定年龄段进行标识的信息,比如可以通过Y0表示0-9岁、Y1表示10-19岁、Y2表示20-29岁,…,Y9表示90-99岁。
其中,特定年龄段可以通过事先设置得到,比如特定年龄段可以包括10年,当然,在实际应用中,特定年龄段可以包括其它时长的年龄段,本公开对此特定年龄段的范围不做具体限定。
第一目标年龄段标签为生长模拟至目标年龄段对应的年龄段标签。
可以通过接收用户提交的(或预设的)年龄段标签作为第一目标年龄段标签,或者,可以根据接收用户提交的(或预设的)目标年龄段,并将该目标年龄段对应的年龄段标签确定为第一目标年龄段标签。
图像特征点为图像中人物的外在特征的特征点在该图像中的坐标,能够说明该外在特征在图像中的分布状况,比如,可以包括人物像中的多个人物脸特征点,该多个人物脸特征点能够说明人物脸的轮廓和五官等外在特征的分布。
图像特征点平均值可以对应一个年龄段标签,该图像特征点平均值可以为相应年龄段对应的多个图像中的图像特征点的平均值,从而说明人物在该年龄段的外在特征在图像中平均分布状况。
可以事先获取人物在各个年龄段的图像,从各图像中提取图像特征点,并根据从针对各年龄段的图像中提取到的图像特征点,计算得到针对各年龄段的图像特征点平均值,并将该年龄段的图像特征点与该年龄段相应的年龄段标签对应存储,相应的,可以基于第一目标年龄段标签,获取存储的与第一目标年龄标签对应的图像特征点平均值。当然,在实际应用中,也可以通过其它方式预先获确定各个年龄段标签对应的图像特征点平均值进行存储,本公开对事先确定各个年龄段标签对应的图像特征点平均值的方式不做具体限定。
步骤102,基于图像特征点平均值,对原始图像变形,得到第一中间图像,第一中间图像的图像特征点分布比例与第一目标年龄段标签对应的年龄段匹配。
由于人物在不同年龄段的体貌特征的区别,其中包括体型或体积等尺寸方面的不同,也包括皮肤颜色和质地等纹理方面的不同,所以为了便于后续准确的进行生长模拟,可以对原始图像进行变换,得到图像特征点分布比例与所要模拟的目标年龄段匹配的第一中间图像,在通过后续步骤进行纹理方面的变换,也即是分别进行尺寸方面和纹理方面的变换。
原始图像为生长模拟所依据的图像,该原始图像可以包括人物在任意年龄段时的图像。
其中,原始图像可以通过接收用户提交得到。当然,在实际应用中,也可以通过其它方式得到,本公开对获取得到原始图像的方式不做具体限定。
第一中间图像为对原始图像进行尺寸变换之后的图像。第一中间图像中的图像特征点分布比例与第一目标年龄段标签对应的年龄段匹配。也即是,人物在第一中间图像的体型以及各器官尺寸,符合人物在目标年龄段时的体型以及各器官尺寸。
其中,图像特征点分布比例可以包括各图像特征点在图像中分布的位置以及相邻图像特征点分布之间的距离。
可以从原始图像中提取原始图像的图像特征点,将该原始图像中的图像特征点,变换至第一目标年龄段标签对应的图像特征点平均值,并将原始图像中其它位置的像素按照变换后的图像特征点进行变换,从而得到第一中间图像。
步骤103,通过预设神经网络模型,按照第一目标年龄段标签,对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像。
由于第一中间图像能够说明人物从原始图像对应的年龄段至目标年龄段的尺寸方面的变化,因此,可以通过预设神经网络模型,更加集中精准地对第一中间图像进行纹理变换,进而达到更好的生长模拟效果。且由于不在需要依赖人工进行生长模拟,也能够降低生长模拟的成本。
纹理变换用于对人物体表外观的纹理特征进行变换,比如可以包括变换肤色、增强或减弱皱纹、增强或减弱毛孔、增加或减少体毛等中的至少一项。当然,在实际应用中,纹理变换还可以用于对更多更少的纹理特征进行变换,本公开对纹理变换的方式不做具体限定。
预设神经网络模型可以通过事先设置得到。
第一模拟图像为基于原始图像进行生长模拟所得到的图像。
例如,原始图像为某用户在20岁时的免冠照片,第一目标年龄段标签为Y8,则第一模拟图像可以为该用户在80-89年龄段的免冠照片。
可以将第一中间图像和第一目标年龄段标签输入预设神经网络模型,从而通过预设神经网络模型,按照第一目标年龄段标签对应的目标年龄段,对第一中间图像进行纹理变换,从而得到符合该目标年龄段的第一模拟图像。
在本公开实施例中,由于人物在不同年龄段具有不同的体貌特征,包括体型或体积等尺寸方面的不同,也包括皮肤颜色和质地等纹理方面的不同,因此基于第一目标年龄段标签获取对应的图像特征点平均值,基于图像特征点平均值,对原始图像变形得到第一中间图像,所得到的第一中间图像的图像特征点分布比例与第一目标年龄段标签对应的年龄段匹配,然后再通过预设神经网络模型,按照第一目标年龄段标签对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像。一方面,在生长模拟时先针对原始图像进行尺寸变换得到第一中间图像,再通过预设神经网络模型针对第一中间图像进行纹理变换,从而能够通过预设神经网络实现更加精准的纹理变换,达到较好的生长模拟效果,另一方面,也不需要依赖人工进行生长模拟,降低了进行生长模拟的成本。
请参照图2,为本公开所提供的一种图像处理方法的流程示意图。需要说明的是,本公开所述的图像处理方法并不以图2以及以下所述的具体顺序为限制,应当理解,在其它实施例中,本公开所述的图像处理方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。下面将对图2所示的流程进行详细阐述。
步骤201,获取统计先验信息。
由于在人物的图像进行生长模拟时需要依赖图像特征点平均值和依赖预设神经网络模型,因此,为了事先获取图像特征点平均值、预设神经网络模型以及其它信息,从而提高进行生长模拟的效率,可以获取统计先验信息。
统计先验信息可以包括对应多个预设年龄段标签的图像特征点。
可选地,可以获取多个预设年龄段标签对应的样本图像,各预设年龄段标签对应一个特定年龄段。
其中,预设年龄段标签可以通过事先设置得到。
需要说明的是,不同预设年龄段标签所对应的特定年龄段可以不同,比如,Y0表示0-18岁,Y1表示18-30岁,Y3表示30-40岁。
样本图像可以包括人物的真实图像。
可以先接收设置的多个预设年龄段标签,然后各预设年龄段标签获取归属于该预设年龄段标签的样本图像;或者,可以先获取样本图像,再按照设置的多个预设年龄段标签,对所获取的样本图像进行分类和标记。
例如,预设年龄段标签包括Y0、Y1、…、Y9,其中,Y0表示0-9岁、Y1表示10-19岁、Y2表示20-29岁,…,Y9表示90-99岁,因此获取到分别与预设年龄段标签Y0、Y1、…、Y9对应的样本图像集合M0、M2、…、M9,其中,各样本图像集合中可以包括多个样本图像。
可选地,可以分别基于各预设年龄段标签的样本图像,生成各预设年龄段标签对应的图像特征点平均值。
对于各预设年龄段标签,可以从该预设年龄段标签的各样本图像中提取图像特征点,计算该预设年龄段标签的各样本图像的图像特征点的平均值,得到对应该预设年龄段标签对应的图像特征点平均值。
例如,从M0中各样本图像提取118个表示人脸特征的图像特征点,并确定M0中各样本图像的图像特征点的平均值,得到与预设年龄段标签包括Y0对应的图像特征点平均值P0。按照相同的方式,可以得到分别与预设年龄段标签Y0、Y1、…、Y9对应的图像特征点平均值P0、P1、…、P9。
步骤202,根据统计先验信息进行图像变形。
为了便于后续训练获取预设神经网络模型,可以根据统计先验信息,对样本图像进行图像变形。
可选地,分别基于各预设年龄段标签对应的样本图像,生成第二目标年龄段标签对应的第二中间图像,得到多个预设年龄段标签对应的第二中间图像,其中,第二目标年龄标签包括多个预设年龄段标签中其它预设年龄段标签。
由于在包括多个预设年龄段标签的情况下,在进行生长模拟时,原始图像可能对应该多个预设年龄段标签中任一个,目标年龄段标签也可能是该多个预设年龄段标签中其它任一一个预设年龄标签,即可能针对任意年龄段到其它任意年龄段进行生长模拟,因此,为了确保后续训练获取的预设神经网络能在针对任意年龄段到其它任意年龄段进行生长模拟时,都能够准确可靠地对输入的图像进行纹理变换,进而提高生长模拟的效果,可以获取多个预设年龄段标签对应的第二中间图像。
对于多个预设年龄段标签中的各预设年龄段标签所对应的样本图像,将该多个预设年龄段标签中其它各预设年龄段标签作为第二目标年龄段标签,从而得到至少一个第二目标年龄段标签,也即是,第二目标年龄标签包括多个预设年龄段标签中其它预设年龄段标签。分别获取各第二目标年龄段标签对应的图像特征点平均值,获取该样本图像的第一图像特征点,基于该第二目标年龄段标签对应的图像特征点平均值,对该样本图像的第一图像特征点进行变换,得到第二图像特征点,基于第二图像特征点对样本图像进行变换,得到该第二目标年龄段标签对应的第二中间图像。对该多个预设年龄段标签中的各预设年龄段标签所对应的样本图像均进行变换之后,即可得到多个预设年龄段标签对应的第二中间图像。
例如,预设年龄段标签包括Y0、Y1、…、Y9,分别与预设年龄段标签Y0、Y1、…、Y9对应的样本图像集合M0、M2、…、M9,因此,可以分别将Y1、Y2、Y3、…、Y9对应的样本图像变换至Y0,得到Y0对应的第二中间图像M10、M20、…、M90,将Y0、Y2、Y3、…、Y9对应的样本图像变换至Y1,得到Y1对应的第二中间图像M01、M21、…、M91,…,将Y0、Y2、Y3、…、Y8对应的样本图像变换至Y9,得到Y9对应的第二中间图像M09、M19、…、M89,从而得到分别与预设年龄段标签Y0、Y1、…、Y9对应的第二中间图像。
可选地,可以获取第一图像特征点对应的第一权重、图像特征点平均值对应的第二权重,确定第一图像特征点与第一权重的第一乘积、图像特征点平均值与第二权重的第二乘积,将第一乘积与第二乘积的和确定为第二图像特征点。
第一权重和第二权重可以通过事先设置确定,且第一权重和第二权重的和可以为1。比如,第一权重和第二权重可以均为0.5。当然,在实际应用中,第一权重和第二权重也可以为其它数值,本公开对第一权重和第二权重的数值大小不做具体限定。
其中,可以通过Pdst=0.5*Psrc+0.5*PN确定第二图像特征点,其中,Psrc表示第一图像特征点,Pdst表示第二图像特征点,PN表示与预设年龄段YN对应的图像特征点平均值,N=0,1,2,…,9,第一权重和第二权重可以均为0.5。
对于任一样本图像,可以在基于该样本图像的第一图像特征点确定第二图像特征点时,通过网格变换,将第一图像特征点变换至第二图像特征点,从而得到第二中间图像。
其中,网格变换是一种图像变换方式,能够通过图像插值,将图像中指定点位置变换至目标点位置,并将其它图像内容根据指定点变换进行变换。
需要说明的是,在实际应用中,也可以通过其它方式,得到与各预设年龄段标签对应的第二中间图像,比如,可以按照第二目标年龄段标签,通过人工对各预设年龄段标签对应的样本图像进行拉伸或缩放等变形操作,从而得到第二目标年龄段标签对应的第二中间图像。
步骤203,根据统计先验信息以及图像变形结果训练预设神经网络模型。
为了便于后续在进行生长模拟时,可以直接应用已经训练好的预设神经网络模型,从而提高生长模拟的效率,可以训练获取预设神经网络模型。
可选地,基于多个预设年龄段标签对应的第二中间图像和第二目标年龄段标签,训练获取预设神经网络模型。
且由于第二中间图像是对样本图像进行尺寸变换之后得到的,因此通过第二中间图像对预设神经网络模型进行训练,能够简化预设神经网络模型所需要学习的信息,更集中于人物不同年龄段在图像中纹理上的区别,从而提高后续通过预设神经网络模型进行纹理变换的效果,进而提高生长模拟的效果。
可以将各预设年龄段标签对应的第二中间图像和第二目标年龄段标签输入预设神经网络模型,通过预设神经网络模型按照第二目标年龄段标签对第二中间图像进行纹理变换,得到与第二目标年龄段标签对应的模拟图像,基于该模拟图像与第二目标年龄段对应的真实图像之间的差异,对预设神经网络中的网络参数进行迭代更新,从而使预设神经网络所生成的模拟图像与真实图像的相似程度更高,直至该预设神经网络模型收敛或者达到预设迭代次数,确定训练完成。
其中,预设迭代次数可以通过事先设置得到。
可选地,预设神经网络模型包括生成式对抗网络,该生成式对抗网络包括生成模型和判别模型,其中,该生成模型由不同年龄段对应的中间图像训练获取,该判别模型用于判别输入所述生成式对抗网络的图像为模拟图像或真实图像,相应的,可以基于多个预设年龄段标签对应的第二中间图像和针对各第二中间图像的至少一个第二目标年龄段标签,训练获取所述生成模型,通过各第二目标年龄标签对应的第二模拟图像以及样本图像,训练获取判别模型,该第二模拟图像由所述生成模型生成。
由于生成式对抗网络能够通过生成模型与判别模型之间的互相博弈学习产生较高的输出结果,因此,为了进一步提高生长模拟的效果,预设神经网络模型可以包括生成式对抗网络。
生成式对抗网络是一种无监督学习的深度学习模型,可以包括生成模型和判别模型,其中,生成模型用于生成样本,其目的在于尽可能提高样本的真实性,直至判别模型无法判断该样本是真样本还是假样本,判别模型用于判别输入的样本是真样本或假样本,当判别模型输出为1,则该样本为真,当判别模型输出为0,则该样本为假。具体地,在本公开实施例中,生成模型可以包括编码器和解码器,编码器的输入为中间图像,输出为n维的编码向量,该解码器的输入为该编码器的输出和目标年龄段标签,该解码器的输出为模拟图像;判别模型用于输入的图像是模拟图像还是真实图像进行判别,当该判别模型的输出越接近0.5,则说明判别模型越难以对所输入的图像进行准确判别,那么生成模型所生成的模拟图像也就越逼真,因此,可以基于该判别模型的输出,对生成模型中的网络参数进行更新,从而使生成模型所生成的模拟图像与真实图像的相似程度更高。
在对生成式对抗网络进行训练时,可以将第二中间图像和针对该第二中间图像的第二目标年龄段标签输入至生成模型,通过该生成模型生成第二目标年龄段标签对应的第二模拟图像,从而对该生成模型进行训练;将第二目标年龄标签对应的第二模拟图像以及样本图像输入至判别模型,其中,第二模拟图像为模拟图像,样本图像为真实图像,通过该判别模型对所输入的图像进行判别,并输出真假标签和第二目标年龄段标签,当输出为真标签和第二目标年龄段标签时,说明所输入的图像为与第二目标年龄段标签对应的真实图像,当输出为假标签和第二目标年龄段标签时,说明所输入的图像为与第二目标年龄段标签对应的模拟图像。
通过前述步骤201-203,已经获取得到了后续生成模拟所需的各预设年龄段标签对应的图像特征点平均值以及预设神经网络模型,因此,可以通过后续步骤204-206进行图像处理,从而进行生长模拟。
另外,在本公开的另一可选实施例中,也可以在步骤206通过预设神经网络模型,按照第一目标年龄段标签,对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像之前的任意时机,获取多个预设年龄段标签对应的样本图像,各预设年龄段标签对应一个特定年龄段,分别基于各预设年龄段标签对应的样本图像,生成第二目标年龄段标签对应的第二中间图像,得到多个预设年龄段标签对应的第二中间图像,基于多个预设年龄段标签对应的第二中间图像和第二目标年龄段标签,训练获取预设神经网络模型,并在获取多个预设年龄段标签对应的样本图像之后,分别基于各预设年龄段标签的样本图像,生成各预设年龄段标签对应的图像特征点平均值。
另外,在本公开的另一可选实施例中,也可以在步骤204基于第一目标年龄段标签,获取第一目标年龄段标签对应的图像特征点平均值之前的任意时机,来获取多个预设年龄段标签对应的样本图像,并分别基于各预设年龄段标签的样本图像,生成各预设年龄段标签对应的图像特征点平均值。
需要说明的是,前述步骤201-203可以不与后续步骤204-206在同一时间段执行,前述步骤201-203可以与后续步骤204-206分别通过不同的执行主体执行。比如,当步骤201-206的执行主体相同时,可以在首次运行本公开所提供的图像处理方法时执行前述步骤201-206,以获取各预设年龄段标签对应的图像特征点平均值以及预设神经网络模型,并进行图像处理,而在后续再次运行本公开所提供的图像处理方法时,可以不再执行步骤201-203,即不再重复获取各预设年龄段标签对应的图像特征点平均值以及预设神经网络模型,而是直接执行后续步骤204-206进行图像处理。
步骤204,基于第一目标年龄段标签,获取第一目标年龄段标签对应的图像特征点平均值。
其中,基于第一目标年龄段标签,获取第一目标年龄段标签对应的图像特征点平均值的方式,可以参见前述步骤101中的相关描述,此处不再一一赘述。
步骤205,基于图像特征点平均值,对原始图像变形,得到第一中间图像,第一中间图像的图像特征点分布比例与第一目标年龄段标签对应的年龄段匹配。
可选地,可以获取原始图像的第一图像特征点,基于第一目标年龄段标签对应的图像特征点平均值,对第一图像特征点进行变换,得到第二图像特征点,基于第二图像特征点,对原始图像进行变形得到第一中间图像。
其中,基于第一目标年龄段标签对应的图像特征点平均值,对第一图像特征点进行变换得到第二图像特征点的方式,可以与前述基于第二目标年龄段标签对应的图像特征点平均值,对第一图像特征点进行变换得到第二图像特征点的方式相同,此处不再一一赘述。
可选地,可以获取第一图像特征点对应的第一权重、图像特征点平均值对应的第二权重,确定第一权重与第一图像特征点的第一乘积、第二权重与图像特征点平均值的第二乘积,将第一乘积和第二乘积的和确定为第二图像特征点。
其中,获取第一权重和第二权重的方式、以及确定第二图像特征点的方式,可以参见前述步骤202中的相关描述,此处不再一一赘述。
步骤206,通过预设神经网络模型,按照第一目标年龄段标签,对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像。
可选地,由前述可知,预设神经网络模型包括生成式对抗网络,该生成式对抗网络包括生成模型,该生成模型由不同年龄段对应的中间图像训练获取,相应的,可以通过该生成模型,按照第一目标年龄段标签对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像。
由于生成式对抗网络在训练时能够通过生成模型与判别模型之间进行互相博弈,因而通过该生成使对抗网络中的生成模型来生成模拟图像,能够进一步提高生长模拟的效果。
可以将第一中间图像和第一目标年龄段标签输入至生成模型,并获取该生成模型输出的第一目标年龄段标签对应的第一模拟图像。
可选的,由前述可知,生成式对抗网络还可以包括判别模型,因此在生成第一模拟图像时,可以通过第一模拟图像输入至判别模型,从而通过判别模型对第一模拟图像进行判别。且当判别模型输出结果包括第一目标年龄标签和真标签时,说明第一模拟图像足够逼真,因此可以确定第一模拟图像有效。
在本公开实施例中,首先,由于人物在不同年龄段具有不同的体貌特征,包括体型或体积等尺寸方面的不同,也包括皮肤颜色和质地等纹理方面的不同,因此基于第一目标年龄段标签获取对应的图像特征点平均值,基于图像特征点平均值,对原始图像变形得到第一中间图像,所得到的第一中间图像的图像特征点分布比例与第一目标年龄段标签对应的年龄段匹配,然后再通过预设神经网络模型,按照第一目标年龄段标签对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像。一方面,在生长模拟时先针对原始图像进行尺寸变换得到第一中间图像,再通过预设神经网络模型针对第一中间图像进行纹理变换,从而能够通过预设神经网络实现更加精准的纹理变换,达到较好的生长模拟效果,另一方面,也不需要依赖人工进行生长模拟,降低了进行生长模拟的成本。
其次,由于生成式对抗网络在训练时能够通过生成模型与判别模型之间进行互相博弈,因而通过生成模型,按照第一目标年龄段标签对第一中间图像进行纹理变换,生成第一目标年龄段标签对应的第一模拟图像,能够进一步提高生长模拟的效果。
请参照图3,为本公开所提供的一种图像处理装置300的功能模块示意图。需要说明的是,本实施例所提供的图像处理装置300,其基本原理及产生的技术效果与前述对应的方法实施例相同,为简要描述,本实施例中未提及部分,可参考方法实施例中的相应内容。该图像处理装置300包括第一获取模块301,变形模块302,第一生成模块303。
第一获取模块301,用于基于第一目标年龄段标签,获取该第一目标年龄段标签对应的图像特征点平均值;
变形模块302,用于基于该图像特征点平均值,对原始图像变形,得到第一中间图像,该第一中间图像的图像特征点分布比例与该第一目标年龄段标签对应的年龄段匹配;
第一生成模块303,用于通过预设神经网络模型,按照该第一目标年龄段标签,对该第一中间图像进行纹理变换,生成该第一目标年龄段标签对应的第一模拟图像。
可选地,该预设神经网络模型包括生成式对抗网络,该生成式对抗网络包括生成模型,其中,该生成模型由不同年龄段对应的中间图像训练获取;该第一生成模块303具体用于:
通过该生成模型,按照该第一目标年龄段标签对该第一中间图像进行纹理变换,生成该第一目标年龄段标签对应的该第一模拟图像。
可选地,该变形模块302具体用于:
获取该原始图像的第一图像特征点;
基于该第一目标年龄段标签对应的该图像特征点平均值,对该第一图像特征点进行变换,得到第二图像特征点;
基于该第二图像特征点,对该原始图像进行变形得到该第一中间图像。
可选地,该变形模块302还用于:
获取该第一图像特征点对应的第一权重、该图像特征点平均值对应的第二权重;
确定该第一权重与该第一图像特征点的第一乘积、该第二权重与该图像特征点平均值的第二乘积;
将该第一乘积和该第二乘积的和确定为该第二图像特征点。
可选地,请参照图4,该装置还包括:
第二获取模块304,用于获取多个预设年龄段标签对应的样本图像,各该预设年龄段标签对应一个特定年龄段;
第二生成模块305,用于分别基于各预设年龄段标签对应的该样本图像,生成第二目标年龄段标签对应的第二中间图像,得到多个预设年龄段标签对应的该第二中间图像,其中,第二目标年龄标签包括多个预设年龄段标签中其它预设年龄段标签;
训练模块306,用于基于多个该预设年龄段标签对应的该第二中间图像和该第二目标年龄段标签,训练获取该预设神经网络模型。
可选地,该预设神经网络模型包括生成式对抗网络,该生成式对抗网络包括生成模型和判别模型,其中,该判别模型用于判别输入该生成式对抗网络的图像为模拟图像或真实图像;该训练模块306具体用于:
基于多个该预设年龄段标签对应的该第二中间图像和针对各该第二中间图像的至少一个该第二目标年龄段标签,训练获取该生成模型;
通过各该第二目标年龄标签对应的第二模拟图像以及样本图像,训练获取该判别模型,该第二模拟图像由该生成模型生成。
可选地,请参照图5,该装置还包括:
第三生成模块307,用于分别基于各该预设年龄段标签的该样本图像,生成各该预设年龄段标签对应的该图像特征点平均值。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
请参照图6,为本公开所提供的一种电子设备的功能模块示意图。该电子设备可以包括存储有计算机程序的计算机可读存储介质601和处理器602,处理器602可以调用计算机可读存储介质601存储的计算机程序。当该计算机程序被处理器602读取并运行,可以执行上述方法实施例。具体执行方式和技术效果类似,这里不再赘述。
可选地,本公开还提供一计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器读取并运行时,可以执行上述方法实施例。
在本公开所提供的几个实施例中,应该理解到,以上所描述的装置实施例仅仅是示意性的,所揭露的装置和方法,可以通过其它的方式实现。例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行,例如各单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (16)
1.一种图像处理方法,其特征在于,所述方法包括:
基于第一目标年龄段标签,获取所述第一目标年龄段标签对应的图像特征点平均值;
基于所述图像特征点平均值,对原始图像变形,得到第一中间图像,所述第一中间图像的图像特征点分布比例与所述第一目标年龄段标签对应的年龄段匹配;
通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像。
2.如权利要求1所述的方法,其特征在于,所述预设神经网络模型包括生成式对抗网络,所述生成式对抗网络包括生成模型,其中,所述生成模型由不同年龄段对应的中间图像训练获取;
所述通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像,包括:
通过所述生成模型,按照所述第一目标年龄段标签对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的所述第一模拟图像。
3.如权利要求1所述的方法,其特征在于,所述基于所述图像特征点平均值,对原始图像变形,得到第一中间图像,包括:
获取所述原始图像的第一图像特征点;
基于所述第一目标年龄段标签对应的所述图像特征点平均值,对所述第一图像特征点进行变换,得到第二图像特征点;
基于所述第二图像特征点,对所述原始图像进行变形得到所述第一中间图像。
4.如权利要求3所述的方法,其特征在于,所述基于所述第一目标年龄段标签对应的所述图像特征点平均值,对所述第一图像特征点进行变换,得到第二图像特征点,包括:
获取所述第一图像特征点对应的第一权重、所述图像特征点平均值对应的第二权重;
确定所述第一权重与所述第一图像特征点的第一乘积、所述第二权重与所述图像特征点平均值的第二乘积;
将所述第一乘积和所述第二乘积的和确定为所述第二图像特征点。
5.如权利要求1所述的方法,其特征在于,在所述通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像之前,所述方法还包括:
获取多个预设年龄段标签对应的样本图像,各所述预设年龄段标签对应一个特定年龄段;
分别基于各预设年龄段标签对应的所述样本图像,生成第二目标年龄段标签对应的第二中间图像,得到多个预设年龄段标签对应的所述第二中间图像,其中,第二目标年龄标签包括多个预设年龄段标签中其它预设年龄段标签;
基于多个所述预设年龄段标签对应的所述第二中间图像和所述第二目标年龄段标签,训练获取所述预设神经网络模型。
6.如权利要求5所述的方法,其特征在于,所述预设神经网络模型包括生成式对抗网络,所述生成式对抗网络包括生成模型和判别模型,其中,所述判别模型用于判别输入所述生成式对抗网络的图像为模拟图像或真实图像;
所述基于多个所述预设年龄段标签对应的所述第二中间图像和所述第二目标年龄段标签,训练获取所述预设神经网络模型,包括:
基于多个所述预设年龄段标签对应的所述第二中间图像和针对各所述第二中间图像的至少一个所述第二目标年龄段标签,训练获取所述生成模型;
通过各所述第二目标年龄标签对应的第二模拟图像以及样本图像,训练获取所述判别模型,所述第二模拟图像由所述生成模型生成。
7.如权利要求5所述的方法,其特征在于,在所述获取多个预设年龄段标签对应的样本图像之后,所述方法还包括:
分别基于各所述预设年龄段标签的所述样本图像,生成各所述预设年龄段标签对应的所述图像特征点平均值。
8.一种图像处理装置,其特征在于,所述装置包括:
第一获取模块,用于基于第一目标年龄段标签,获取所述第一目标年龄段标签对应的图像特征点平均值;
变形模块,用于基于所述图像特征点平均值,对原始图像变形,得到第一中间图像,所述第一中间图像的图像特征点分布比例与所述第一目标年龄段标签对应的年龄段匹配;
第一生成模块,用于通过预设神经网络模型,按照所述第一目标年龄段标签,对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的第一模拟图像。
9.如权利要求8所述的装置,其特征在于,所述预设神经网络模型包括生成式对抗网络,所述生成式对抗网络包括生成模型,其中,所述生成模型由不同年龄段对应的中间图像训练获取;所述第一生成模块具体用于:
通过所述生成模型,按照所述第一目标年龄段标签对所述第一中间图像进行纹理变换,生成所述第一目标年龄段标签对应的所述第一模拟图像。
10.如权利要求8所述的装置,其特征在于,所述变形模块具体用于:
获取所述原始图像的第一图像特征点;
基于所述第一目标年龄段标签对应的所述图像特征点平均值,对所述第一图像特征点进行变换,得到第二图像特征点;
基于所述第二图像特征点,对所述原始图像进行变形得到所述第一中间图像。
11.如权利要求10所述的装置,其特征在于,所述变形模块还用于:
获取所述第一图像特征点对应的第一权重、所述图像特征点平均值对应的第二权重;
确定所述第一权重与所述第一图像特征点的第一乘积、所述第二权重与所述图像特征点平均值的第二乘积;
将所述第一乘积和所述第二乘积的和确定为所述第二图像特征点。
12.如权利要求8所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取多个预设年龄段标签对应的样本图像,各所述预设年龄段标签对应一个特定年龄段;
第二生成模块,用于分别基于各预设年龄段标签对应的所述样本图像,生成第二目标年龄段标签对应的第二中间图像,得到多个预设年龄段标签对应的所述第二中间图像,其中,第二目标年龄标签包括多个预设年龄段标签中其它预设年龄段标签;
训练模块,用于基于多个所述预设年龄段标签对应的所述第二中间图像和所述第二目标年龄段标签,训练获取所述预设神经网络模型。
13.如权利要求12所述的装置,其特征在于,所述预设神经网络模型包括生成式对抗网络,所述生成式对抗网络包括生成模型和判别模型,其中,所述判别模型用于判别输入所述生成式对抗网络的图像为模拟图像或真实图像;所述训练模块具体用于:
基于多个所述预设年龄段标签对应的所述第二中间图像和针对各所述第二中间图像的至少一个所述第二目标年龄段标签,训练获取所述生成模型;
通过各所述第二目标年龄标签对应的第二模拟图像以及样本图像,训练获取所述判别模型,所述第二模拟图像由所述生成模型生成。
14.如权利要求12所述的装置,其特征在于,所述装置还包括:
第三生成模块,用于分别基于各所述预设年龄段标签的所述样本图像,生成各所述预设年龄段标签对应的所述图像特征点平均值。
15.一种电子设备,其特征在于,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,执行如权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器读取并运行时,执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910613717.6A CN110322398B (zh) | 2019-07-09 | 2019-07-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910613717.6A CN110322398B (zh) | 2019-07-09 | 2019-07-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110322398A true CN110322398A (zh) | 2019-10-11 |
CN110322398B CN110322398B (zh) | 2022-10-28 |
Family
ID=68121474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910613717.6A Active CN110322398B (zh) | 2019-07-09 | 2019-07-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110322398B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738112A (zh) * | 2019-09-11 | 2020-01-31 | 珠海格力电器股份有限公司 | 人脸图像模拟方法、装置、计算机设备和存储介质 |
CN111007399A (zh) * | 2019-11-15 | 2020-04-14 | 浙江大学 | 基于改进生成对抗网络的锂电池荷电状态预测方法 |
CN111968028A (zh) * | 2020-08-14 | 2020-11-20 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
WO2021232708A1 (zh) * | 2020-05-21 | 2021-11-25 | 北京达佳互联信息技术有限公司 | 一种图像处理方法及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005063078A (ja) * | 2003-08-11 | 2005-03-10 | Intec Web & Genome Informatics Corp | 年齢変化画像生成方法及び肌平滑化画像生成方法 |
US20090028380A1 (en) * | 2007-07-23 | 2009-01-29 | Hillebrand Greg | Method and apparatus for realistic simulation of wrinkle aging and de-aging |
CN101556699A (zh) * | 2008-11-07 | 2009-10-14 | 浙江大学 | 一种基于脸型的人脸衰老图像合成方法 |
CN101556701A (zh) * | 2009-05-15 | 2009-10-14 | 陕西盛世辉煌智能科技有限公司 | 基于平均脸和衰老比例图的人脸图像年龄变换方法 |
CN107798276A (zh) * | 2016-09-05 | 2018-03-13 | 中兴通讯股份有限公司 | 一种人脸图像的年龄变换方法及装置 |
CN108416310A (zh) * | 2018-03-14 | 2018-08-17 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
CN109002763A (zh) * | 2018-06-15 | 2018-12-14 | 中国科学院半导体研究所 | 基于同源连续性的模拟人脸老化的方法及装置 |
-
2019
- 2019-07-09 CN CN201910613717.6A patent/CN110322398B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005063078A (ja) * | 2003-08-11 | 2005-03-10 | Intec Web & Genome Informatics Corp | 年齢変化画像生成方法及び肌平滑化画像生成方法 |
US20090028380A1 (en) * | 2007-07-23 | 2009-01-29 | Hillebrand Greg | Method and apparatus for realistic simulation of wrinkle aging and de-aging |
CN101556699A (zh) * | 2008-11-07 | 2009-10-14 | 浙江大学 | 一种基于脸型的人脸衰老图像合成方法 |
CN101556701A (zh) * | 2009-05-15 | 2009-10-14 | 陕西盛世辉煌智能科技有限公司 | 基于平均脸和衰老比例图的人脸图像年龄变换方法 |
CN107798276A (zh) * | 2016-09-05 | 2018-03-13 | 中兴通讯股份有限公司 | 一种人脸图像的年龄变换方法及装置 |
CN108416310A (zh) * | 2018-03-14 | 2018-08-17 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
CN109002763A (zh) * | 2018-06-15 | 2018-12-14 | 中国科学院半导体研究所 | 基于同源连续性的模拟人脸老化的方法及装置 |
Non-Patent Citations (1)
Title |
---|
张建明等: "基于多方向滤波的人脸年龄图像合成方法", 《江苏大学学报(自然科学版)》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738112A (zh) * | 2019-09-11 | 2020-01-31 | 珠海格力电器股份有限公司 | 人脸图像模拟方法、装置、计算机设备和存储介质 |
CN111007399A (zh) * | 2019-11-15 | 2020-04-14 | 浙江大学 | 基于改进生成对抗网络的锂电池荷电状态预测方法 |
CN111007399B (zh) * | 2019-11-15 | 2022-02-18 | 浙江大学 | 基于改进生成对抗网络的锂电池荷电状态预测方法 |
WO2021232708A1 (zh) * | 2020-05-21 | 2021-11-25 | 北京达佳互联信息技术有限公司 | 一种图像处理方法及电子设备 |
CN113706369A (zh) * | 2020-05-21 | 2021-11-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111968028A (zh) * | 2020-08-14 | 2020-11-20 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110322398B (zh) | 2022-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110322398A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
Li et al. | 3D facial expression recognition via multiple kernel learning of multi-scale local normal patterns | |
CN108765278A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN112818764B (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
CN108520216A (zh) | 一种基于步态图像的身份识别方法 | |
CN101556699A (zh) | 一种基于脸型的人脸衰老图像合成方法 | |
CN110728183A (zh) | 一种基于注意力机制的神经网络的人体动作识别方法 | |
CN109785400B (zh) | 一种剪影图像制作方法、装置、电子设备及存储介质 | |
CN110097616B (zh) | 一种联合绘画方法、装置、终端设备及可读存储介质 | |
CN102253995B (zh) | 一种利用位置信息实现图像搜索的方法和系统 | |
CN107392131A (zh) | 一种基于人体骨骼节点距离的动作识别方法 | |
CN111857334B (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
CN106528586A (zh) | 一种人体行为视频识别方法 | |
CN108198130A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108734520B (zh) | 一种基于机器学习的玉石价格评估方法及装置 | |
CN102567716A (zh) | 一种人脸合成系统及实现方法 | |
CN110163567A (zh) | 基于多任务级联卷积神经网络的课堂点名系统 | |
Geetha et al. | Gesture recognition for american sign language with polygon approximation | |
CN112766165B (zh) | 基于深度神经网络与全景分割的跌倒预判方法 | |
CN105976395A (zh) | 一种基于稀疏表示的视频目标跟踪方法 | |
CN109522865A (zh) | 一种基于深度神经网络的特征加权融合人脸识别方法 | |
CN112990154A (zh) | 一种数据处理方法、计算机设备以及可读存储介质 | |
CN109063716A (zh) | 一种图像识别方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |