CN117274761B - 图像生成方法、装置、电子设备和存储介质 - Google Patents
图像生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117274761B CN117274761B CN202311475037.5A CN202311475037A CN117274761B CN 117274761 B CN117274761 B CN 117274761B CN 202311475037 A CN202311475037 A CN 202311475037A CN 117274761 B CN117274761 B CN 117274761B
- Authority
- CN
- China
- Prior art keywords
- image
- special effect
- features
- lens
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 367
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000007499 fusion processing Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims description 99
- 238000009826 distribution Methods 0.000 claims description 93
- 238000012549 training Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 2
- 238000010606 normalization Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000009021 linear effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像生成方法、装置、电子设备和存储介质;本申请实施例可以获取目标对象的真实生物识别图像;对真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征;基于特效图像的图像特征生成目标对象的总体特征;对总体特征与特效图像的图像特征进行融合处理,得到融合特征;基于融合特征,生成目标对象的拟真生物识别图像。本申请实施例通过添加镜头特效扩展出多张特效图像,并利用多张特效图像的总体特征能表征目标对象的特点,将总体特征与每张特效图像的特征进行融合,从而生成出准确的拟真图像。由此,本方案可以提升图像生成方法的效率。
Description
技术领域
本申请涉及图像处理领域,具体涉及一种图像生成方法、装置、电子设备和存储介质。
背景技术
小样本图像生成指在少量学习样本的情况下训练图像生成器以预测新图像。然而,在极少量学习样本的情况下,例如仅有1~2张图片样本时,图像生成器会出现非常严重的过拟合问题。常见的解决手段是通过对抗网络(GAN)、变分自编码器(VAE)等解决该极少数量学习样本下的过拟合问题,生成新图像。然而由于这些方法的复杂性,往往需要大量的生成时间与计算资源。
因此,目前在极少数量学习样本的情况下生成图像的方案效率低下。
发明内容
本申请实施例提供一种图像生成方法、装置、电子设备和存储介质,可以提升图像生成方法的效率。
本申请实施例提供一种图像生成方法,包括:
获取目标对象的真实生物识别图像;
对真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;
对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征;
基于特效图像的图像特征生成目标对象的总体特征;
对总体特征与特效图像的图像特征进行融合处理,得到融合特征;
基于融合特征,生成目标对象的拟真生物识别图像。
本申请实施例还提供一种图像生成装置,包括:
获取单元,用于获取目标对象的真实生物识别图像;
特效单元,用于对所述真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;
特征单元,用于对所述每种图像特效对应的特效图像进行特征提取,得到所述特效图像的图像特征;
总体单元,用于基于所述特效图像的图像特征生成所述目标对象的总体特征;
融合单元,用于对所述总体特征与所述特效图像的图像特征进行融合处理,得到融合特征;
生成单元,用于基于所述融合特征,生成所述目标对象的拟真生物识别图像。
在一些实施例中,融合单元,包括:
视觉子单元,用于对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征;
融合子单元,用于对总体特征与特效图像的视觉特效特征进行融合处理,得到融合特征。
在一些实施例中,特效图像的视觉特效特征包括调整特征,视觉子单元,用于:
采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与预设噪声分布一致。
在一些实施例中,视觉子单元之前,还包括训练子单元,训练子单元包括:
样本子模块,用于获取训练样本,训练样本包括每种镜头特效对应的特效图像的视觉特效特征;
预设子模块,用于确定每种镜头特效对应的预设噪声分布;
损失子模块,用于对于每种镜头特效,计算对应的预设噪声分布与对应的视觉特效特征的特征分布之间的分布差异损失;
收敛子模块,用于基于分布差异损失调整多层感知机的参数,以使多层感知机收敛。
在一些实施例中,分布差异损失包括相对熵,损失子模块,用于:
对于每种镜头特效,将对应的预设噪声分布除以对应的视觉特效特征的特征分布,得到镜头特效的商;
对于镜头特效,将对应的视觉特效特征的特征分布与商的对数相乘,得到镜头特效的差异;
将所有镜头特效的差异之和取负数,得到相对熵。
在一些实施例中,采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与预设噪声分布一致,包括:
对预设噪声分布进行随机采样处理,得到随机噪声分布;
采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与随机噪声分布一致。
在一些实施例中,生成单元,还用于:
计算真实生物识别图像与拟真生物识别图像之间的图像相似度;
当图像相似度属于预设范围时,将拟真生物识别图像所属的对象确定为目标对象;
当图像相似度不属于预设范围时,确定拟真生物识别图像所属的对象不是目标对象。
在一些实施例中,总体特征包括平均特征,总体单元,用于:
对所有图像特征进行取平均处理,得到图像特征的平均特征。
在一些实施例中,镜头特效包括角度变换特效、光照变换特效、局部遮挡特效、模糊特效。
在一些实施例中,特效单元,用于:
采用编码器分别对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征,其中,编码器包括k个串联的残差块,残差块包括卷积层、标准化层和激活函数,k为正整数。
在一些实施例中,生成单元,用于:
采用解码器基于融合特征,生成目标对象的拟真生物识别图像,其中,解码器包括k个串联的反卷积,反卷积用于上采样。
在一些实施例中,目标对象的真实生物识别图像包括手掌的掌纹图像、手指的指纹图像、瞳孔的虹膜图像、人的面部图像。
本申请实施例还提供一种电子设备,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本申请实施例所提供的任一种图像生成方法中的步骤。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种图像生成方法中的步骤。
本申请实施例可以获取目标对象的真实生物识别图像;对真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征;基于特效图像的图像特征生成目标对象的总体特征;对总体特征与特效图像的图像特征进行融合处理,得到融合特征;基于融合特征,生成目标对象的拟真生物识别图像。
相比于现有技术仅仅通过对原图进行简单的旋转、翻转、缩放、裁剪等调整手段实现数据增强、扩充训练数据,本申请通过镜头特效等不会改变原图中目标对象视觉特征的方式进行解耦学习,从而实现只需1~2张原图即可准确、自然地生成该目标对象的拟真生物识别图像,实现了极少量训练样本下新图像的生成,从而解决了现有的图像生成方法依赖大量训练样本的问题。由此,本申请可以快速地生成正确、自然的新图像,提升了图像生成方法的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的图像生成方法的场景示意图;
图1b是本申请实施例提供的图像生成方法的流程示意图;
图2a是本申请实施例提供的训练阶段掌纹图像生成方法的流程示意图;
图2b是本申请实施例提供的应用阶段掌纹图像生成方法的流程示意图;
图3是本申请实施例提供的图像生成装置的结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像生成方法、装置、电子设备和存储介质。
其中,该图像生成装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,该图像生成装置还可以集成在多个电子设备中,比如,图像生成装置可以集成在多个服务器中,由多个服务器来实现本申请的图像生成方法。
在一些实施例中,服务器也可以以终端的形式来实现。
例如,参考图1a,该电子设备可以是个人电脑,该个人电脑可以获取目标对象的真实生物识别图像;对真实生物识别图像添加多种镜头特效,如镜头特效M、镜头特效N、镜头特效O、镜头特效P等,得到每种镜头特效对应的特效图像;对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征,即特效图像m的图像特征m'、特效图像n的图像特征n'、特效图像o的图像特征o'和特效图像p的图像特征p';基于特效图像的图像特征生成目标对象的总体特征;对总体特征与特效图像的图像特征进行融合处理,得到融合特征;基于融合特征,生成目标对象的拟真生物识别图像。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
人工智能(Artificial Intelligence,AI)是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术,该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中,计算机视觉(Computer Vision,CV)是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。比如,图像着色、图像描边提取等图像处理技术。
在本实施例中,提供了一种涉及人工智能的基于计算机视觉的图像生成方法,如图1b所示,该图像生成方法的具体流程可以如下:
101、获取目标对象的真实生物识别图像。
目标对象指某一对象,该对象可以为完整个体,也可以为组成该完整个体的某部分。例如,对象可以为人、人脸、手掌、手指、虹膜、唇部、耳朵等等。在本申请实施例中,可以为目标对象赋一身份标识(ID,identification)用于表示或证明该对象。例如,为每根手指赋一编号,该编号指代了某人的某一根手指。
生物识别图像是指使用生物特征来验证或识别对象的身份的图像,例如人的全身照、面部图像、掌纹图像、指纹图像、虹膜图像、指静脉图像、耳朵图像、皮肤纹理图像、唇纹图像等等。
在本申请实施例中,获取目标对象的真实生物识别图像的方式有多种,例如,通过采集设备对目标对象采集得到,采集设备包括但不限于光学传感器、高分辨率相机、扫描仪、摄像头等;例如,通过从图像数据服务器中获取,等等。
102、对真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像。
镜头特效是改变镜头参数所产生的视觉效果,例如,改变镜头的拍摄角度、光圈大小、镜头遮挡、焦距、光晕光斑、运动晃动、颜色校正等等。需要注意的是,镜头特效与美颜特效不同的点在于,镜头特效不改变图像中目标对象的身份特征,只会增加图中非身份特征,即添加新的视觉效果,因此,添加镜头特效不会对图像身份识别的准确性产生影响。
在一些实施例中,镜头特效可以包括角度变换特效,该角度变换特效可以用于模仿镜头的角度变换;在一些实施例中,镜头特效可以包括光照变换特效,该光照变换特效用于模仿镜头收光照的变换;在一些实施例中,镜头特效可以包括局部遮挡特效,该局部遮挡特效用于模仿镜头被遮挡物遮挡的效果,例如镜头被手部遮挡等;在一些实施例中,镜头特效可以包括模糊特效,模糊特效用于模仿镜头成像模糊的情况等。
103、对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征。
其中,图像特征提取的方式有多种,例如,可以通过传统算子、主成分分析(PCA)、自动编码器(Autoencoders)、局部二值模式(Local Binary Patterns,LBP)、方向梯度直方图(Histogram of Oriented Gradients,HOG)、卷积神经网络(Convolutional NeuralNetworks,CNN)、傅里叶变换(Fourier Transform)、滤波器等方法来实现。
在一些实施例中,可以采用编码器来执行步骤103。其中,为了解决训练阶段编码器的梯度传播、减轻过拟合、提高编码器的表示能力等问题,可以将编码器设计为包括k个串联的残差块,残差块(Residual Block)用于解决深层网络训练中的梯度消失和梯度爆炸问题,包括卷积层(Convolution Layer)、标准化层(Normalization Layer)和激活函数(Activation Function),k为正整数。
其中,卷积层用于提取图像特征;标准化层用于减小深度神经网络中的内部协变量偏移、加速训练过程;激活函数用于引入非线性性性质到神经网络中。
其中,卷积层有多种,例如标准卷积层(Standard Convolutional Layer)、深度可分离卷积层(Depthwise Separable Convolutional Layer)、膨胀卷积层(DilatedConvolutional Layer)、逆卷积层(Transpose Convolutional Layer)、空洞卷积层(Atrous Convolutional Layer)等。
其中,标准化层有多种,例如批量标准化(Batch Normalization,BN)、层标准化(Layer Normalization)、组标准化(Group Normalization)等。
其中,标准化层有多种,例如修正线性单元(Rectified Linear Unit,ReLU)、Sigmoid、双曲正切激活函数(Hyperbolic Tangent,Tanh)、Leaky ReLU、参数化ReLU(Parametric ReLU,PReLU)、指数线性单元(Exponential Linear Unit,ELU)等。
104、基于特效图像的图像特征生成目标对象的总体特征。
总体特征指所有特效图像的图像特征的总体,该总体特征可以概况多种不同的镜头特效下该目标对象所表现出的具有共性的视觉特征,即与镜头特效无关、只与目标对象有关的视觉特征,因此,该总体特征与目标对象的身份的视觉表现高度相关。
其中,获取特效图像的图像特征的总体特征的方式具有多种,例如,通过特征相加(Feature Addition)、特征平均(Feature Averaging)、特征加权融合(Feature WeightedFusion)、特征映射(Feature Mapping)等等。
在一些实施例中,可以采用特征平均的方式计算总体特征,总体特征包括平均特征,步骤104可以包括如下步骤:
对所有图像特征进行取平均处理,得到图像特征的平均特征。
105、对总体特征与特效图像的图像特征进行融合处理,得到融合特征。
其中,融合特征可以体现总体特征与所有特效图像的图像特征,在一些实施例中,有多种将总体特征与所有特效图像的图像特征融合为融合特征的方法。例如,通过特征拼接(Feature Concatenation)、特征加权融合(Feature Weighted Fusion)、特征交叉(Feature Cross)、特征堆叠(Feature Stacking)、特征降维(Feature DimensionalityReduction)等实现特征融合。
在一些实施例中,特效图像的图像特征既包括镜头特效的视觉特征,也包括目标对象的视觉特征,因此,在融合处理之前,可以在进行一次特征提取,从而剔除图像特征中目标对象的视觉特征,只保留镜头特效在特效图像中所表现的视觉特征,因此,步骤105可以包括如下步骤:
A.对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征;
B.对总体特征与特效图像的视觉特效特征进行融合处理,得到融合特征。
其中,视觉特效特征是与目标对象无关、只与镜头特效有关的视觉特征。
其中,视觉特效特征提取的方式有多种,例如,通过深度学习特效分割模型、特效特征分析、特效合成分析、多层感知机(MLP)等实现视觉特效特征提取。
例如,可以通过多层感知机实现视觉特效特征提取。
在一些实施例中,为了实现对镜头特效的编辑,可以为每种镜头特效设计对应的噪声分布,从而使得视觉特效特征的特征分布与该噪声分布一致。
其中,预设噪声分布可以包括高斯分布、均匀分布、椒盐分布、泊松分布等等。
在一些实施例中,可以为所有镜头特效都对应同一种噪声分布,且每种镜头特效的噪声分布的参数不同。
例如,在一些实施例中,特效图像的视觉特效特征包括调整特征,步骤A可以包括如下步骤:
a.采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与预设噪声分布一致。
在一些实施例中,为了实现步骤a,需要提前训练多层感知机,使得多层感知机所提取的视觉特效特征的特征分布与预设噪声分布一致。因此,在步骤a之前还可以包括如下的MLP训练步骤:
获取训练样本,训练样本包括每种镜头特效对应的特效图像的视觉特效特征;
确定每种镜头特效对应的预设噪声分布;
对于每种镜头特效,计算对应的预设噪声分布与对应的视觉特效特征的特征分布之间的分布差异损失;
基于分布差异损失调整多层感知机的参数,以使多层感知机收敛。
其中,分布差异损失包括均值差异(Mean Difference)、方差差异(VarianceDifference)、卡方分布差异(Chi-Square Difference)、Kullback-Leibler 散度(Kullback-Leibler Divergence,KL散度)、JS 散度(Jensen-Shannon Divergence)等等。
在一些实施例中,分布差异损失包括相对熵,即KL散度,步骤“对于每种镜头特效,计算对应的预设噪声分布与对应的视觉特效特征的特征分布之间的分布差异损失”可以包括如下步骤:
对于每种镜头特效,将对应的预设噪声分布除以对应的视觉特效特征的特征分布,得到镜头特效的商;
对于镜头特效,将对应的视觉特效特征的特征分布与商的对数相乘,得到镜头特效的差异;
将所有镜头特效的差异之和取负数,得到相对熵。
因此,相对熵公式如下:
其中,一共有N种镜头特效,对于镜头特效i,其对应的预设噪声分布可以为设计为高斯分布gaussiannoisei,其视觉特效特征featureattributesi的分布为f(featureattributesi)。
在一些实施例中,为了加入随机性从而保证生成图像的丰富自然,同时保证视觉特效特征的特征分布与随机噪声分布一致,在推理阶段可以对高斯噪声进行随机采样。故步骤a可以包括如下步骤:
对预设噪声分布进行随机采样处理,得到随机噪声分布;
采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与随机噪声分布一致。
106、基于融合特征,生成目标对象的拟真生物识别图像。
在一些实施例中,步骤103采用编码器实现特征提取,因此相应地,设计一种该编码器对应的解码器来实现步骤106。
因此,在一些实施例中,步骤106可以包括如下步骤:
采用解码器步骤106,其中,解码器包括k个串联的反卷积,反卷积用于上采样。
其中,反卷积(Deconvolution)用于将特征图的空间维度扩大,从而实现上采样,使得将融合特征恢复到原始输入图像的分辨率,还原图像的细节。
在一些实施例中,最终生成的拟真生物识别图像可能会因为训练阶段模型训练不到位、训练过度等问题,使得拟真生物识别图像中所展现的内容并不是目标对象,因此,为了辨别拟真生物识别图像中所展现的对象是否与步骤101中真实生物识别图像中的目标对象一致,步骤106之后还可以包括如下步骤:
计算真实生物识别图像与拟真生物识别图像之间的图像相似度;
当图像相似度属于预设范围时,将拟真生物识别图像所属的对象确定为目标对象;
当图像相似度不属于预设范围时,确定拟真生物识别图像所属的对象不是目标对象。
在一些实施例中,若拟真生物识别图像所属的对象不是目标对象,则可以删除该拟真生物识别图像。
本申请实施例可以获取目标对象的真实生物识别图像;对真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征;基于特效图像的图像特征生成目标对象的总体特征;对总体特征与特效图像的图像特征进行融合处理,得到融合特征;基于融合特征,生成目标对象的拟真生物识别图像。由上可知,本申请实施例可以通过对多种与目标对象无关的镜头特效进行解耦学习,使得这些镜头特效可编辑,从而解决现有的图像生成方法依赖大量训练数据的局限,提升极少训练数据下图像的生成效果。由此本方案可以本方案可以提升图像生成方法的效率。
根据上述实施例所描述的方法,以下将作进一步详细说明。
在本实施例中,将以1~2张样本的情况下的掌纹识别为例,对本申请实施例的方法进行详细说明。
如图2a所示,一种训练阶段的图像生成方法具体流程如下:
在本实施例中,可以通过传感器采集目标手掌的掌纹图像x。该目标手掌可以具有一身份ID。
参考图2a,本实施例可以训练图像生成模型用于对掌纹图像x添加多种镜头特效,得到每种镜头特效对应的特效图像,并采用编码器对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征,再基于特效图像的图像特征得到平均特征和视觉特效特征,从而将其融合并通过解码器对融合特征上采样,生成拟真掌纹图像。
其中,镜头特效可以包括随机仿射变换(模仿角度变换)、随机亮度变换(模仿光照变化)、随机黑块遮挡(模仿手部被遮挡的情况)、随机高斯模糊(模仿摄像头成像模糊的情况)等等。
例如,对于添加角度变换特效effect_1的掌纹图像x可得特效图像x1,x1= effect_1(x);对于添加亮度变换特效effect_2的掌纹图像x可得特效图像x2,x2= effect_2(x);对于添加遮挡特效effect_3的掌纹图像x可得特效图像x3,x3= effect_3(x);对于添加模糊特效effect_4的掌纹图像x可得特效图像x4,x4= effect_4(x)。
其中,添加了镜头特效i的掌纹图像x即特效图像xi,编码器Encoder可以提取该特效图像xi的图像特征featurei=Encoder(xi),其中,i∈N,N为镜头特效的总数。
在一些实施例中,编码器可以由三个串联的残差块构成,每个残差块由卷积层,batchnormalization层和relu层构成。
在一些实施例中,训练阶段的编码器可以采用arcface函数作为损失函数,应用阶段可以去掉LossID部分的全连接层。
参考图2a,可以采用一个三层的MLP生成视觉特效特征featureattributesi:
featureattributesi=MLP(featurei)
视觉特效特征与目标手掌无关,只与镜头特效变换有关。
参考图2b,可以对图像特征featurei取平均得到平均特征feature_id_i:
feature_id_i=mean(featurei,i∈(1,N))
平均特征与镜头特效变换无关,只与目标手掌有关。
在一些实施例中,参考图2a,为了实现对镜头特效编辑的目标,本实施例可以对变换后图像的特征进行约束,使其与高斯噪声分布一致,使得应用阶段可以通过在高斯噪声分布上随机采样,实现镜头特效的编辑。
在一些实施例中,具体的约束方式可以为使用KL散度约束变换后图像特征分布和高斯噪声分布之间差异LossKL:
参考图2a,将视觉特效特征与平均特征进行拼接处理,得到拼接特征concat(feature_id_i,featureattributesi)。
参考图2b,采用解码器Decoder可以将融合特征上采样为新图像Generated_palmi:
Generated_palmi=Decoder(concat(feature_id_i,featureattributesi))
在一些实施例中,为了保证生成图像与目标id图像具有同样的身份信息 ,这里使用一个预训练好的掌纹识别模型Model_Rec提取目标id图像和生成图像的特征,计算两者特征之间的余弦相似度,并计算LossID:
LossID=1-cosine(Model_Rec(Generated_palmi),Model_Rec(xi))
至此训练阶段结束。
参考图2b,在应用阶段,可以采集目标手掌的单张掌纹图像;采用编码器提取该掌纹图像的特效图像的图像特征;计算平均特征与视觉特效特征;将平均特征与视觉特效特征拼接融合;采用解码器生成新图像。
由上可知,本发明通过设计一种巧妙的镜头特效编辑方式,即通过添加镜头特效如角度、光照等,生成同一只手在多种不同镜头情景下的图像,从而生成该手更多数据,以便基于这些数据生成该手的拟真掌纹图,实现了小样本下多新掌纹图像的生成,解决了现有生成方法依赖大量现有数据的问题,提高了图像生成效率。
为了更好地实施以上方法,本申请实施例还提供一种图像生成装置,该图像生成装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以图像生成装置具体集成在服务器中为例,对本申请实施例的方法进行详细说明。
例如,如图3所示,该图像生成装置可以包括获取单元301、特效单元302、特征单元303、总体单元304、融合单元305以及生成单元306,如下:
(一)获取单元301。
获取单元301用于获取目标对象的真实生物识别图像。
在一些实施例中,目标对象的真实生物识别图像包括手掌的掌纹图像、手指的指纹图像、瞳孔的虹膜图像、人的面部图像。
(二)特效单元302。
特效单元302用于对所述真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像。
在一些实施例中,镜头特效包括角度变换特效、光照变换特效、局部遮挡特效、模糊特效。
在一些实施例中,特效单元302,用于:
采用编码器分别对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征,其中,编码器包括k个串联的残差块,残差块包括卷积层、标准化层和激活函数,k为正整数。
(三)特征单元303。
特征单元303用于对所述每种图像特效对应的特效图像进行特征提取,得到所述特效图像的图像特征。
(四)总体单元304。
总体单元304用于基于所述特效图像的图像特征生成所述目标对象的总体特征。
在一些实施例中,总体特征包括平均特征,总体单元304,用于:
对所有图像特征进行取平均处理,得到图像特征的平均特征。
(五)融合单元305。
融合单元305用于对所述总体特征与所述特效图像的图像特征进行融合处理,得到融合特征。
在一些实施例中,融合单元305,包括:
视觉子单元,用于对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征;
融合子单元,用于对总体特征与特效图像的视觉特效特征进行融合处理,得到融合特征。
在一些实施例中,特效图像的视觉特效特征包括调整特征,视觉子单元,用于:
采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与预设噪声分布一致。
在一些实施例中,视觉子单元之前,还包括训练子单元,训练子单元包括:
样本子模块,用于获取训练样本,训练样本包括每种镜头特效对应的特效图像的视觉特效特征;
预设子模块,用于确定每种镜头特效对应的预设噪声分布;
损失子模块,用于对于每种镜头特效,计算对应的预设噪声分布与对应的视觉特效特征的特征分布之间的分布差异损失;
收敛子模块,用于基于分布差异损失调整多层感知机的参数,以使多层感知机收敛。
在一些实施例中,分布差异损失包括相对熵,损失子模块,用于:
对于每种镜头特效,将对应的预设噪声分布除以对应的视觉特效特征的特征分布,得到镜头特效的商;
对于镜头特效,将对应的视觉特效特征的特征分布与商的对数相乘,得到镜头特效的差异;
将所有镜头特效的差异之和取负数,得到相对熵。
在一些实施例中,采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与预设噪声分布一致,包括:
对预设噪声分布进行随机采样处理,得到随机噪声分布;
采用多层感知机对特效图像的图像特征进行视觉特效特征提取,得到特效图像的视觉特效特征,视觉特效特征的特征分布与随机噪声分布一致。
(六)生成单元306。
生成单元306用于基于所述融合特征,生成所述目标对象的拟真生物识别图像。
在一些实施例中,生成单元306,用于:
采用解码器基于融合特征,生成目标对象的拟真生物识别图像,其中,解码器包括k个串联的反卷积,反卷积用于上采样。
在一些实施例中,生成单元306,还用于:
计算真实生物识别图像与拟真生物识别图像之间的图像相似度;
当图像相似度属于预设范围时,将拟真生物识别图像所属的对象确定为目标对象;
当图像相似度不属于预设范围时,确定拟真生物识别图像所属的对象不是目标对象。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的图像生成装置由获取单元获取目标对象的真实生物识别图像;由特效单元对所述真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;由特征单元对所述每种图像特效对应的特效图像进行特征提取,得到所述特效图像的图像特征;由总体单元基于所述特效图像的图像特征生成所述目标对象的总体特征;由融合单元对所述总体特征与所述特效图像的图像特征进行融合处理,得到融合特征;由生成单元基于所述融合特征,生成所述目标对象的拟真生物识别图像。
由此,本申请实施例可以提升图像生成方法的效率
本申请实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
在一些实施例中,该图像生成装置还可以集成在多个电子设备中,比如,图像生成装置可以集成在多个服务器中,由多个服务器来实现本申请的图像生成方法。
在本实施例中,将以本实施例的电子设备是服务器为例进行详细描述,比如,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体检测。在一些实施例中,处理器401可包括一个或多个处理核心;在一些实施例中,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,在一些实施例中,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入模块404,该输入模块404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可包括通信模块405,在一些实施例中通信模块405可以包括无线模块,电子设备可以通过该通信模块405的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取目标对象的真实生物识别图像;
对真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;
对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征;
基于特效图像的图像特征生成目标对象的总体特征;
对总体特征与特效图像的图像特征进行融合处理,得到融合特征;
基于融合特征,生成目标对象的拟真生物识别图像。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本申请实施例可以提升图像生成方法的效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种图像生成方法中的步骤。例如,该指令可以执行如下步骤:
获取目标对象的真实生物识别图像;
对真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;
对每种图像特效对应的特效图像进行特征提取,得到特效图像的图像特征;
基于特效图像的图像特征生成目标对象的总体特征;
对总体特征与特效图像的图像特征进行融合处理,得到融合特征;
基于融合特征,生成目标对象的拟真生物识别图像。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中提供的图像生成方面或者身份识别方面的各种可选实现方式中提供的方法。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种图像生成方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像生成方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种图像生成方法、装置、电子设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像生成方法,其特征在于,包括:
获取目标对象的真实生物识别图像;
对所述真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;
对所述每种图像特效对应的特效图像进行特征提取,得到所述特效图像的图像特征;
基于所述特效图像的图像特征生成所述目标对象的总体特征;
对所述总体特征与所述特效图像的图像特征进行融合处理,得到融合特征;
基于所述融合特征,生成所述目标对象的拟真生物识别图像;
所述对所述总体特征与所述特效图像的图像特征进行融合处理,得到融合特征,包括:
获取训练样本,所述训练样本包括每种镜头特效对应的特效图像的视觉特效特征;
确定所述每种镜头特效对应的预设噪声分布;
对于每种镜头特效,计算所述对应的预设噪声分布与所述对应的视觉特效特征的特征分布之间的分布差异损失;
基于所述分布差异损失调整多层感知机的参数,以使所述多层感知机收敛;
采用所述多层感知机对所述特效图像的图像特征进行视觉特效特征提取,得到所述特效图像的视觉特效特征,所述视觉特效特征的特征分布与预设噪声分布一致;
对所述总体特征与所述特效图像的视觉特效特征进行融合处理,得到融合特征。
2.如权利要求1所述的图像生成方法,其特征在于,所述分布差异损失包括相对熵,所述对于每种镜头特效,所述计算所述对应的预设噪声分布与所述对应的视觉特效特征的特征分布之间的分布差异损失,包括:
对于每种镜头特效,将所述对应的预设噪声分布除以所述对应的视觉特效特征的特征分布,得到所述镜头特效的商;
对于所述镜头特效,将所述对应的视觉特效特征的特征分布与所述商的对数相乘,得到所述镜头特效的差异;
将所有所述镜头特效的差异之和取负数,得到相对熵。
3.如权利要求2所述的图像生成方法,其特征在于,所述采用所述多层感知机对所述特效图像的图像特征进行视觉特效特征提取,得到所述特效图像的视觉特效特征,所述视觉特效特征的特征分布与预设噪声分布一致,包括:
对所述预设噪声分布进行随机采样处理,得到随机噪声分布;
采用多层感知机对所述特效图像的图像特征进行视觉特效特征提取,得到所述特效图像的视觉特效特征,所述视觉特效特征的特征分布与所述随机噪声分布一致。
4.如权利要求1所述的图像生成方法,其特征在于,所述基于所述融合特征,生成所述目标对象的拟真生物识别图像之后,还包括:
计算所述真实生物识别图像与所述拟真生物识别图像之间的图像相似度;
当所述图像相似度属于预设范围时,将所述拟真生物识别图像所属的对象确定为所述目标对象;
当所述图像相似度不属于预设范围时,确定所述拟真生物识别图像所属的对象不是所述目标对象。
5.如权利要求1所述的图像生成方法,其特征在于,所述总体特征包括平均特征,所述基于所述特效图像的图像特征生成所述目标对象的总体特征,包括:
对所有所述图像特征进行取平均处理,得到所述图像特征的平均特征。
6.如权利要求1所述的图像生成方法,其特征在于,所述镜头特效包括角度变换特效、光照变换特效、局部遮挡特效、模糊特效。
7.如权利要求1所述的图像生成方法,其特征在于,所述对所述每种图像特效对应的特效图像进行特征提取,得到所述特效图像的图像特征,包括:
采用编码器分别对所述每种图像特效对应的特效图像进行特征提取,得到所述特效图像的图像特征,其中,所述编码器包括k个串联的残差块,所述残差块包括卷积层、标准化层和激活函数,所述k为正整数。
8.如权利要求7所述的图像生成方法,其特征在于,所述基于所述融合特征,生成所述目标对象的拟真生物识别图像,包括:
采用解码器基于所述融合特征,生成所述目标对象的拟真生物识别图像,其中,所述解码器包括k个串联的反卷积,所述反卷积用于上采样。
9.如权利要求1所述的图像生成方法,其特征在于,所述目标对象的真实生物识别图像包括手掌的掌纹图像、手指的指纹图像、瞳孔的虹膜图像、人的面部图像。
10.一种图像生成装置,其特征在于,包括:
获取单元,用于获取目标对象的真实生物识别图像;
特效单元,用于对所述真实生物识别图像添加多种镜头特效,得到每种镜头特效对应的特效图像;
特征单元,用于对所述每种图像特效对应的特效图像进行特征提取,得到所述特效图像的图像特征;
总体单元,用于基于所述特效图像的图像特征生成所述目标对象的总体特征;
融合单元,用于对所述总体特征与所述特效图像的图像特征进行融合处理,得到融合特征;
生成单元,用于基于所述融合特征,生成所述目标对象的拟真生物识别图像;
所述融合单元,用于:
获取训练样本,所述训练样本包括每种镜头特效对应的特效图像的视觉特效特征;
确定所述每种镜头特效对应的预设噪声分布;
对于每种镜头特效,计算所述对应的预设噪声分布与所述对应的视觉特效特征的特征分布之间的分布差异损失;
基于所述分布差异损失调整多层感知机的参数,以使所述多层感知机收敛;
采用所述多层感知机对所述特效图像的图像特征进行视觉特效特征提取,得到所述特效图像的视觉特效特征,所述视觉特效特征的特征分布与预设噪声分布一致;
对所述总体特征与所述特效图像的视觉特效特征进行融合处理,得到融合特征。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1~9任一项所述的图像生成方法中的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1~9任一项所述的图像生成方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311475037.5A CN117274761B (zh) | 2023-11-08 | 2023-11-08 | 图像生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311475037.5A CN117274761B (zh) | 2023-11-08 | 2023-11-08 | 图像生成方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117274761A CN117274761A (zh) | 2023-12-22 |
CN117274761B true CN117274761B (zh) | 2024-03-12 |
Family
ID=89204355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311475037.5A Active CN117274761B (zh) | 2023-11-08 | 2023-11-08 | 图像生成方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117274761B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000270225A (ja) * | 1999-03-17 | 2000-09-29 | Canon Inc | 画像処理方法及び装置 |
CN108460414A (zh) * | 2018-02-27 | 2018-08-28 | 北京三快在线科技有限公司 | 训练样本图像的生成方法、装置及电子设备 |
CN109359559A (zh) * | 2018-09-27 | 2019-02-19 | 天津师范大学 | 一种基于动态遮挡样本的行人再识别方法 |
CN110087003A (zh) * | 2019-04-30 | 2019-08-02 | 深圳市华星光电技术有限公司 | 多曝光图像融合方法 |
CN111242229A (zh) * | 2020-01-17 | 2020-06-05 | 南京航空航天大学 | 一种基于两阶段信息融合的图像识别方法 |
CN116342452A (zh) * | 2023-03-29 | 2023-06-27 | 合肥国家实验室 | 图像生成方法和融合成像系统 |
CN116524609A (zh) * | 2023-04-20 | 2023-08-01 | 支付宝(杭州)信息技术有限公司 | 活体检测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10788836B2 (en) * | 2016-02-29 | 2020-09-29 | AI Incorporated | Obstacle recognition method for autonomous robots |
-
2023
- 2023-11-08 CN CN202311475037.5A patent/CN117274761B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000270225A (ja) * | 1999-03-17 | 2000-09-29 | Canon Inc | 画像処理方法及び装置 |
CN108460414A (zh) * | 2018-02-27 | 2018-08-28 | 北京三快在线科技有限公司 | 训练样本图像的生成方法、装置及电子设备 |
CN109359559A (zh) * | 2018-09-27 | 2019-02-19 | 天津师范大学 | 一种基于动态遮挡样本的行人再识别方法 |
CN110087003A (zh) * | 2019-04-30 | 2019-08-02 | 深圳市华星光电技术有限公司 | 多曝光图像融合方法 |
CN111242229A (zh) * | 2020-01-17 | 2020-06-05 | 南京航空航天大学 | 一种基于两阶段信息融合的图像识别方法 |
CN116342452A (zh) * | 2023-03-29 | 2023-06-27 | 合肥国家实验室 | 图像生成方法和融合成像系统 |
CN116524609A (zh) * | 2023-04-20 | 2023-08-01 | 支付宝(杭州)信息技术有限公司 | 活体检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117274761A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Uncertainty inspired RGB-D saliency detection | |
CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
JP7476428B2 (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
CN105917353B (zh) | 用于生物认证的特征提取及匹配以及模板更新 | |
CN112801057B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
US11816880B2 (en) | Face recognition method and apparatus, computer device, and storage medium | |
CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
CN111414946B (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
CN111583399B (zh) | 图像处理方法、装置、设备、介质和电子设备 | |
CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
CN106991364B (zh) | 人脸识别处理方法、装置以及移动终端 | |
CN110163111A (zh) | 基于人脸识别的叫号方法、装置、电子设备及存储介质 | |
CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
CN111695462A (zh) | 一种人脸识别方法、装置、存储介质和服务器 | |
Raut | Facial emotion recognition using machine learning | |
CN112330624A (zh) | 医学图像处理方法和装置 | |
CN113298018A (zh) | 基于光流场和脸部肌肉运动的假脸视频检测方法及装置 | |
CN114972016A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
CN117115900B (zh) | 一种图像分割方法、装置、设备及存储介质 | |
Nawaz et al. | Convolutional long short-term memory-based approach for deepfakes detection from videos | |
CN114898447B (zh) | 一种基于自注意力机制的个性化注视点检测方法及装置 | |
CN117274761B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
CN113012030A (zh) | 图像拼接方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |