CN116542846A - 用户账号图标生成方法、装置、计算机设备及存储介质 - Google Patents

用户账号图标生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116542846A
CN116542846A CN202310814097.9A CN202310814097A CN116542846A CN 116542846 A CN116542846 A CN 116542846A CN 202310814097 A CN202310814097 A CN 202310814097A CN 116542846 A CN116542846 A CN 116542846A
Authority
CN
China
Prior art keywords
target
image
images
descriptor
icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310814097.9A
Other languages
English (en)
Other versions
CN116542846B (zh
Inventor
黄婷婷
周星
何理达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Rabbit Exhibition Intelligent Technology Co ltd
Original Assignee
Shenzhen Rabbit Exhibition Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Rabbit Exhibition Intelligent Technology Co ltd filed Critical Shenzhen Rabbit Exhibition Intelligent Technology Co ltd
Priority to CN202310814097.9A priority Critical patent/CN116542846B/zh
Publication of CN116542846A publication Critical patent/CN116542846A/zh
Application granted granted Critical
Publication of CN116542846B publication Critical patent/CN116542846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用户账号图标生成方法、装置、计算机设备及存储介质,方法包括:对用户输入的多个真实图像进行图像描述物识别得到目标描述物,确定目标描述物对应的多个描述物标准图标模型,进而确定风格符合用户需求的目标图标模型;基于多个真实图像对目标描述物进行形状构造识别,得到形状构造数据;对多个真实图像进行描述物特征提取,得到包含目标描述物纹理信息的描述物特征图;基于描述物特征图和形状构造数据对目标图标模型进行调整,生成账号图标;使得账号图标能够与真实图像相适配,既提高了账号图标与目标描述物的相似度,又保留了标准图标模型的设计特性,从而提高了账号图标的个性化展示效果,满足了用户的个性化需求。

Description

用户账号图标生成方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种用户账号图标生成方法、装置、计算机设备及存储介质。
背景技术
随着网络社交媒体的流行和大数据时代的到来,当下越来越多产品的相关活动由原来的线下改到线上进行。相关的业务人员用户在线上进行产品营销服务活动时,需要切换不同身份为不同类型的客户群体进行交互,如即时通讯会话。为了区分不同用户账号,业务人员需要设置不同的账号图标(如用户头像)等信息,以起到标识不同用户账号的作用,同时还可以展现业务人员的形象、个性或兴趣爱好等信息。
目前,账号图标的生成方式通常是提供多种预先设置的图标模板给用户(如业务人员),用户选择提供的图标模板作为账号的账号图标,该方式直接使用模板图标,账号图标缺乏多样性,难以有效区分不同用户,导致账号图标展示效果不佳,用户使用体验较差。
发明内容
本发明提供一种用户账号图标生成方法、装置、计算机设备及存储介质,以解决现有账号图标缺乏多样性,难以有效区分不同用户,用户使用体验较差的问题。
针对上述问题,提供一种用户账号图标生成方法,包括:
通过用户终端获取用户输入的多个真实图像,对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物,多个真实图像包括目标描述物不同姿态的图像;
确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型;
基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,形状构造数据用于描绘目标描述物各个部分的形状轮廓;
对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图;
基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。
可选地,基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标,包括:
根据形状构造数据对目标图标模型进行形状轮廓调整,得到目标描述物模型;
基于描述物特征图进行智能图像生成,得到初始特征贴图,并基于目标图标模型对初始特征贴图进行风格迁移,得到目标纹理贴图;
依据目标纹理贴图对目标描述物模型进行渲染,得到账号图标。
可选地,通过用户终端获取用户输入的多个真实图像,包括:
在通过用户终端接收到用户的实时图像采集指令时,确定用户终端是否安装有光强图像采集装置和深度图像采集装置;
若用户终端安装有光强图像采集装置和深度图像采集装置,则通过光强图像采集装置和深度图像采集装置,分别采集目标描述物在同一姿态下的光强图像和深度图像,作为一组真实图像;
通过用户终端提示用户进行姿态变换,直至采集到不同姿态下的多个真实图像。
可选地,多个真实图像包括目标描述物在不同姿态下的真实图像,基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,包括:
确定多个真实图像是否包括光强图像和深度图像;
若多个真实图像仅包括光强图像或仅包括深度图像,则基于不同姿态下的多个真实图像,对目标描述物的形状轮廓进行多视角的三维重建,得到三维轮廓模型,并将三维轮廓模型作为形状构造数据。
可选地,确定多个真实图像是否包括光强图像和深度图像之后,该方法还包括:
若包括光强图像和深度图像,则对多个真实图像进行姿态识别,得到不同姿态下的光强图像和对应的深度图像;
基于深度图像对同一姿态下的光强图像进行轮廓增强,得到图像增强数据;
基于图像增强数据对目标描述物进行三维重建,得到三维轮廓模型,作为形状构造数据。
可选地,基于所述深度图像对同一姿态下的光强图像进行轮廓增强,得到图像增强数据,包括:
分别对某一姿态下的深度图像和光强图像进行特征提取,得到同一姿态下的深度特征和光强特征;
对同一姿态下的深度特征和光强特征进行相似度计算,得到相似度关系数据,并基于相似度关系数据对同一姿态下的深度特征和光强特征进行增强融合,得到融合特征图;
遍历所有姿态下的深度图像和光强图像,直至得到不同姿态下的多个融合特征图,并将不同姿态下的多个融合特征图记为图像增强数据。
可选地,多个真实图像包括目标描述物在不同姿态下的真实图像,对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图,包括:
当确定多个真实图像中包括光强图像和深度图像时,对多个真实图像进行分类,得到不同姿态下的多个真实图像组,每一真实图像组包括目标描述物的光强图像和同一姿态下的深度图像;
基于深度图像对同一姿态下的光强图像进行图像增强,得到同一姿态下的增强图;
对每一姿态下的增强图进行图特征提取,得到不同姿态下的纹理特征图,并根据不同姿态下的纹理特征图的位姿信息对目标描述物进行多视角特征拼接,得到描述物特征图。
提供一种用户账号图标生成装置,包括:
第一识别模块,用于通过用户终端获取用户输入的多个真实图像,对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物,多个真实图像包括目标描述物不同姿态的图像;
确定模块,用于确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型;
第二识别模块,用于基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,形状构造数据用于描绘目标描述物各个部分的形状轮廓;
提取模块,用于对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图;
调整模块,用于基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。
提供一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述用户账号图标生成方法的步骤。
提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述用户账号图标生成方法的步骤。
上述用户账号图标生成方法、装置、计算机设备及存储介质所提供的一个方案中,通过对用户输入的多个真实图像进行图像描述物识别,确定真实图像中的目标描述物;确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型;基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据;对多个真实图像进行描述物特征提取,得到外观纹理信息的描述物特征图;基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。在账号图标生成过程中,识别出用户输入图像的目标描述物,目标描述物不局限于人物形象,然后基于真实图像提取目标描述物真实的形状构造和纹理特征,进而基于真实的形状构造和纹理特征,对符合用户需求的目标图标模型进行调整得到账号图标,使得生成的账号图标能够与真实图像相适配,既可以提高用户账号图标的多样性,又提高了账号图标与目标描述物的相似度,可以从实物外观的角度有效区分不同用户的账号图标,提高了账号图标的展示效果,从而提高了用户账号图标的使用体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中用户账号图标生成方法的一应用环境示意图;
图2是本发明一实施例中用户账号图标生成方法的一流程图;
图3是图2中步骤S30的一实现流程图;
图4是图2中步骤S30的另一实现流程图;
图5是图2中步骤S50的一实现流程图;
图6是本发明一实施例中用户账号图标生成装置的一结构示意图;
图7是本发明一实施例中计算机设备的一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的用户账号图标生成方法,可应用在如图1的应用环境中,其中,用户终端通过网络与服务器进行通信。当用户使用用户终端注册/登录某个互联网平台(如编辑平台、营销平台),并需要生成用户在该互联网平台的账号图标时,用户先通过用户终端先上传或采集多个真实图像,该多个真实图像包括目标描述物在不同姿态下的真实图像;然后该互联网平台的服务器获取用户通过用户终端输入的多个真实图像,并对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物;然后确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型;再基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据;同时对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图;最后基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。在账号图标生成过程中,服务器识别出用户输入图像的目标描述物,其中,目标描述物不局限于人物形象,然后服务器基于输入的真实图像提取目标描述物真实的形状构造和纹理特征,进而基于目标描述物真实的形状构造和纹理特征,对符合用户需求的目标图标模型进行调整从而得到账号图标,使得生成的账号图标能够与真实图像相适配,可以提高用户账号图标的多样性,同时既提高了账号图标与目标描述物的相似度,又保留了用户选取的标准图标模型的设计特性,以从实物外观的角度有效区分不同用户账号图标的同时,还满足了账户图标的个性化设计需求,以提高账号图标的展示效果,从而提高了用户账号图标的使用体验。
其中,用户终端是指用户使用的终端设备,用户终端与服务器相对应, 用户终端上安装有对应的互联网程序,从而能够为用户提供本地服务。用户终端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种用户账号图标生成方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
S10:通过用户终端获取用户输入的多个真实图像,对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物。
当用户使用用户终端注册/登录某个互联网平台,并需要生成用户在该互联网平台的账号图标时,用户先通过用户终端先上传或采集多个真实图像,然后,该互联网平台的服务器获取用户通过用户终端输入的多个真实图像,对不同姿态的多个真实图像进行图像描述物识别,确定真实图像中的目标描述物。
本实施例中,目标描述物可以是在现实生活中真实存在的其他物体,如人类、植物、动物、微生物、人工制造物品、自然物和虚拟形象等,以满足不同用户的图标展示需求,如人员形象、个性或兴趣爱好等信息的展示,实现个性化图标生成需求。在其他实施例中,目标描述物还可以是人类的某一身体部位,如用户的头补、脸部、手部、眼睛、嘴巴、腿等身体部位。
其中,该多个真实图像可以是包括真实图像中目标描述物不同姿态的图像。例如,该多个真实图像可以是用户从用户终端的相册上直接拉取并上传的、目标描述物在不同姿态的真实图像。该多个真实图像也可以是用户通过用户终端直接进行实时采集得到的、目标描述物在不同姿态下的真实图像。
以多个真实图像是通过用户终端实时采集得到标描述物在不同姿态下的真实图像为例,用户终端为安装有图像采集装置的终端设备,通过用户终端获取用户输入的多个真实图像,具体包括:服务器确定是否接收到用户通过用户终端发送的实时图像采集指令,若接收到用户的实时图像采集指令,则服务器控制用户终端的图像采集装置打开,并提示用户将用户终端的图像采集装置对准目标描述物,以在检测到目标描述物的姿态符合要求时,采集目标描述物在当前姿态下的真实图像;采集成功后,服务器向用户终端发送姿态变换指令,以通过用户终端提示用户进行姿态变换,直至采集到不同姿态下的多个真实图像。本实施例中,通过用户终端采集目标描述物在不同姿态下的多个真实图像,首先能够获得不同姿态下图像,为后续进行数据处理提供了准确的基础,其次通过实时采集满足姿态要求的图像,进一步增加了真实图像的标准性,有助于后续提取到目标描述物准确的形状轮廓、描述物特征图等数据。
在获取多个真实图像之后,服务器需要对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物。具体地,可以选取任一真实图像,通过预先训练好的物体识别模型对该真实图像进中的描述物进行识别,得到真实图像中的描述物,并记为目标描述物。在其他实施例中,还可以将多个真实图像依次输入预先训练好的物体识别模型,通过物体识别模型识别出每一真实图像中的描述物,然后将出现最多的描述物记为目标描述物,可以提高目标描述物的识别准确性。
S20:确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型。
在确定真实图像中的目标描述物之后,服务器还需要获取模型数据库,模型数据库中存储有不同描述物的标准图标模型。其中,在确定目标描述物之后,服务器可以在模型数据库中拉取目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型。
其中,描述物标准图标模型为预先依据为该目标描述物构建的、描述该目标描述物特征的标准图标模型。多个描述物标准图标模型为不同风格的标准图标模型,不同风格的标准图标模型具有不同的个性化设计感和表现特征,例如风格可以是动漫、仙侠、写实、漫画、古典、废土、机械等等。
本实施例中,互联网平台可以预先为不同的生命体、生命体部位和物品构建标准的模型,作为该生命体、生命体部位或物品对应的标准图标模型。例如,为不同长相、性别和人构建标准图标模型,为不同的动植物、物品构建标准图标模型,标准图标模型可以细化到具体的分类和名称,可以提高标准图标模型的准确性;标准图标模型也可以是按照大类提取生命体、生命体部位或物品等的特征构建的模型,减少模型构建量和存储数据量,从而减少服务器负载。
S30:基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据。
在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型之后,服务器需要基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据。 其中,形状构造数据用于描绘目标描述物各个部分的形状轮廓,例如,目标描述物为人脸,则其形状构造数据用于描绘头部中耳、鼻、口、眼、眉、下巴、脸颊、额头以及整个脸部的形状轮廓;目标描述物为猫科动物。
具体地,服务器可以对每一真实图像进行目标描述物的形状构造识别,得到每一真实图像中的描述物形状构造,然后将多个真实图像对应的描述物形状构造按照该目标描述物的位姿进行拼接,得到较为完整的目标描述物的二维/三维形状构造图,作为目标描述物的形状构造数据。
例如,目标描述物为猫科动物,则服务器依次对多个真实图像进行目标描述物的形状构造识别,其中,第一个真实图像是猫科动物的正面图像,可以识别得到该猫科动物的头部正面轮廓和头部构造(即头部的细节部位轮廓,包括鼻子、嘴巴、眼睛和尾巴等构造);第二个真实图像是猫科动物的侧面图像,可以识别得到该猫科动物的头部侧面轮廓、身体轮廓、四肢轮廓、尾巴轮廓,以及对应部位的细节构造;第三个真实图像……,然后将几个真实图像的中的描述物形状构造按照每个真实图像中该目标描述物的位姿进行拼接,得到该目标描述物(即猫科动物)的形状构造数据。通过分别对每一真实图像进行形状构造识别,然后依据位姿信息进行目标描述物的形状构造拼接合成得到形状构造数据,简单方便且具有一定的准确性。
在其他实施例中,目标描述物的形状构造数据还可以通过其他方式得到,在此不再赘述。
S40:对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图。
在获取多个真实图像之后,服务器还需要对多个真实图像进行描述物特征提取,得到包含目标描述物的外观纹理信息的描述物特征图。
具体地,服务器需要依次对每个真实图像进行描述物特征提取,得到每个真实图像的特征图,也即得到包含每个真实图像中目标描述物的外观纹理信息的特征图;然后按照每个真实图像中目标描述物的位姿对每个真实图像的特征图进行拼接,得到描述物特征图。先进行特征提取,再按照位姿信息对每个真实图像的特征图拼接得到描述物特征图,可以减少先拼接图像后再进行特征提取导致的信息丢失,能够得到每个真实图像的准确特征图,进而基于位姿信息得到更为完整的描述物特征图,提高了描述物特征图的准确性。
S50:基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。
在得到目标描述物的形状构造数据和描述物特征图之后,服务器则基于目标描述物的描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。
例如,可以获取预先训练得到的图标生成模型,该图标生成的训练数据为多个训练数据对,每一训练数据对均包括某描述物的描述物特征图、形状构造数据和对应的标准图标模型;然后将标描述物的描述物特征图、形状构造数据和目标图标模型,输入调整模型进行图标生成,输出得到用户的账号图标;其中,在进行图标生成时,目标描述物的形状构造数据用于对目标图标模型的形状轮廓、构造等数据进行迁移,目标描述物的描述物特征图用于对目标图标模型的外观纹理进行迁移和渲染,从而得到描述物的形状、构造、纹理和风格均符合用户要求的账号图标,提高账号图标的个性化。本实施例中,基于描述物特征图、形状构造数据、目标图标模型,使用图标生成模型进行图标生成,简单方便且准确性较高。
在其他实施例中,还可以先基于形状构造数据对目标图标模型的形状轮廓、构造进行调整,然后再基于描述物特征图对调整后的目标图标模型进行外观纹理渲染,得到用户的账号图标,使得账号图标保留了目标图标模型的风格,又将目标描述物的实际形状构造和外观纹理等信息迁移至账号图标,保证了账号图标展示信息的真实性和多样性,提高了用户图标的个性化展示效果。
本实施例中,通过先对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物,然后确定风格符合用户需求的目标图标模型,并基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据;对多个真实图像进行描述物特征提取,得到包含目标描述物纹理信息的描述物特征图;基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。在账号图标生成过程中,识别出用户输入图像的目标描述物,然后基于输入图像提取目标描述物真实的形状构造和纹理特征,进而基于真实的形状构造和纹理特征,对符合用户需求的目标图标模型进行调整得到账号图标,使得生成的账号图标能够与真实图像相适配,可以提高用户账号图标的多样性,同时既提高了账号图标与目标描述物的相似度,又保留了用户选取的标准图标模型的设计特性,以从实物外观的角度有效区分不同用户账号图标的同时,还满足了账户图标的个性化设计需求,以提高账号图标的展示效果,从而提高了用户账号图标的使用体验。
在一实施例中,步骤S10中,即通过用户终端获取用户输入的多个真实图像,具体包括如下步骤:
S11:在通过用户终端接收到用户的实时图像采集指令时,确定用户终端是否安装有光强图像采集装置和深度图像采集装置。
当用户需要生成用户在该互联网平台的账号图标时,用户可以根据需要选择是从用户终端的相册上传多个真实图像,也可以选择启用图像实时采集功能,以通过用户终端对目标描述物进行实时图像采集得到多个真实图像。其中,在用户启用图像实时采集功能时,用户可以通过用户终端向服务器发送实时图像采集指令,然后服务器在通过用户终端接收到用户的实时图像采集指令时,需要确定用户终端是否安装有光强图像采集装置和深度图像采集装置,以根据用户终端具体配置的图像执行不同的图像采集过程,从而获得不同来源和类型的真实图像。
若确定用户终端仅安装有光强图像采集装置或深度图像采集装置,则服务器控制用户终端的光强图像采集装置或深度图像采集装置打开,并提示用户将用户终端的光强图像采集装置或深度图像采集装置对准目标描述物,以在检测到目标描述物的姿态符合要求时,采集目标描述物在当前姿态下的真实图像;采集成功后,服务器向用户终端发送姿态变换指令,以通过用户终端提示用户需要进行姿态变换(若目标描述物为用户本人及其相关部位,则用户进行姿态变换;若目标描述物不是用户及其相关部位,则通过提示用户达到变换其他生命体或者物品姿态的目的),直至采集到目标描述物不同姿态下的多个真实图像。本实施例中,通过用户终端的光强图像采集装置或深度图像采集装置采集目标描述物在不同姿态下的多个真实图像,为后续进行数据处理提供了准确的基础。
S12:若用户终端安装有光强图像采集装置和深度图像采集装置,则通过光强图像采集装置和深度图像采集装置,分别采集目标描述物在同一姿态下的光强图像和深度图像,作为一组真实图像。
若用户终端安装有光强图像采集装置和深度图像采集装置,则服务器通过光强图像采集装置和深度图像采集装置,分别采集目标描述物在同一姿态下的光强图像和深度图像,作为一组真实图像,即该组真实图像包括光强图像和深度图像两个图像。
具体地,服务器先控制用户终端的光强图像采集装置和深度图像采集装置打开,并提示用户将用户终端的光强图像采集装置和深度图像采集装置对准目标描述物,以在检测到目标描述物的姿态符合要求时,通过光强图像采集装置采集目标描述物在当前姿态下的光强图像,并通过深度图像采集装置采集目标描述物在当前姿态下的深度图像,然后将目标描述物在当前姿态下的光强图像和深度图像作为一组真实图像,即得到同一姿态下的两个真实图像。
S13:通过用户终端提示用户进行姿态变换,直至采集到不同姿态下的多个真实图像。
然后,服务器通过用户终端提示用户进行姿态变换,直至采集到不同姿态下的多组真实图像,即不同姿态下的多个真实图像。具体地,在采集到当前姿态下的光强图像和深度图像后,服务器向用户终端发送姿态变换指令,以通过用户终端提示用户进行姿态变换,并在检测到目标描述物的变换姿态符合要求时,分别控制光强图像采集装置和深度图像采集装置进行图像采集,直至采集到不同姿态下的多组真实图像。本实施例中,通过用户终端的光强图像采集装置和深度图像采集装置采集目标描述物在相同姿态下的多个类光学图像,异构的多个真实图像能够提取到不同的视觉特征,增加了真实图像的多样性,为后续进行形状构造提取和描述物特征图提取提供了更加准确的数据基础。
本实施例中,在通过用户终端接收到用户的实时图像采集指令时,确定用户终端是否安装有光强图像采集装置和深度图像采集装置,若用户终端安装有光强图像采集装置和深度图像采集装置,则通过光强图像采集装置和深度图像采集装置,分别采集目标描述物在同一姿态下的光强图像和深度图像,作为一组真实图像,然后通过用户终端提示用户进行姿态变换,直至采集到不同姿态下的多组真实图像。该过程明确了通过用户终端获取用户输入的多个真实图像的具体步骤,通过实时采集满足姿态要求的图像,增加了真实图像的标准性,有助于后续提取到目标描述物准确的形状轮廓、描述物特征图等数据;此外,通过光强图像采集装置和深度图像采集装置采集目标描述物在相同姿态下的多个类光学图像,能够提取到不同的视觉特征,增加了真实图像的多样性,进一步为后续进行数据处理提供了准确的数据基础。
在一实施例中,如图3所示,步骤S30中,即基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,具体包括如下步骤:
S31:确定多个真实图像是否包括光强图像和深度图像。
本实施例中,多个真实图像包括目标描述物在不同姿态下的多个真实图像。其中,当多个真实图像是通过用户终端设备采集到的,若该用户终端包括光强图像采集装置和深度图像采集装置,参照前文所述,则该多个真实图像包括目标描述物在不同姿态下的多组真实图像,每组真实图像包括目标描述物在同一姿态下的光强图像和深度图像。
因此,在服务器接收到多个真实图像,并基于多个真实图像对目标描述物进行形状构造识别时,服务器需要先确定多个真实图像是否包括光强图像和深度图像,以根据确定结果执行不同的形状构造识别过程。
S32:若多个真实图像仅包括光强图像或仅包括深度图像,则基于不同姿态下的多个真实图像,对目标描述物的形状轮廓进行多视角的三维重建,得到三维轮廓模型,并作为形状构造数据。
在确定多个真实图像是否包括光强图像和深度图像之后,若确定多个真实图像仅包括光强图像或仅包括深度图像,即多个真实图像仅由不同姿态下的单一类型光学图像组成,则服务器基于不同姿态下的多个真实图像,对目标描述物的形状轮廓进行多视角的三维重建,得到三维轮廓模型,并将三维轮廓模型作为形状构造数据。进行三维重建时,可以采用三维重建技术对目标描述物的形状轮廓进行多视角的三维重建。三维重建技术是指根据单视图或者多视图的图像重建三维信息的过程,多视图的三维重建方法是先对图像采集装置进行标定, 即计算出图像采集装置的图像坐标系与世界坐标系的关系,然后利用多个二维图像中的信息重建出三维信息,其具体过程不在赘述。
在其他实施例中,若多个真实图像仅包括光强图像或仅包括深度图像,则服务器还对多个真实图像进行形状轮廓识别,得到对目标描述物的形状轮廓描述最完整的目标真实图像,然后基于目标真实图像,采用三维重建技术对目标描述物的形状轮廓进行三维重建,得到三维轮廓模型,并将三维轮廓模型作为形状构造数据。由于单视图的信息不完全,因此三维重建需要利用经验知识进行重建,即需要获取目标描述物的标准三维模型。
基于目标真实图像,采用三维重建技术对目标描述物的形状轮廓进行三维重建,得到三维轮廓模型,包括:先获取预先为目标描述物构建好的标准三维模型,该标准三维模型的模型参数包括形状轮廓特征参数、外观纹理特征参数和环境渲染参数(即影响成像效果的参数,如图像旋转角度、光照强度、图像对比度等),唯一的一组模型参数可以唯一确定一个对应二维图像;控制标准三维模型的模型参数进行变化迭代,每迭代一次则输出当前三维模型对应的二维图像,并计算得到当前二维图像与目标真实图像之后的损失值(误差),然后基于损失值反向传播调整模型参数,不断迭代,直至迭代次数达到预设次数或者损失值小于预设值,确定模型收敛,则将收敛的模型输出为三维轮廓模型。无需获取图像采集装置的位置等参数,即可通过目标描述物构建好的标准三维模型,及形状轮廓描述最完整的目标真实图像进行三维重建,能够快速得到准确的三维轮廓模型,从而得到准确的形状构造数据。
本实施例中,通过确定多个真实图像是否包括光强图像和深度图像,若多个真实图像仅包括光强图像或仅包括深度图像,则若多个真实图像仅包括光强图像或仅包括深度图像,则基于不同姿态下的多个真实图像,对目标描述物的形状轮廓进行多视角的三维重建,得到三维轮廓模型,并将三维轮廓模型作为形状构造数据,明确了基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据的具体步骤。在多个真实图像仅包括光强图像或仅包括深度图像时,基于不同姿态下的多个真实图像,对目标描述物的形状轮廓进行多视角的三维重建,并将得到的三维轮廓模型作为形状构造数据,提高了形状构造数据的准确性,且可以基于三维轮廓模型生成更为准确的、三维的账号图标,进一步提高了账号图标的展示效果,彰显个性化。
在一实施例中,如图4所示,步骤S30中,即基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,具体还包括如下步骤:
S31:确定多个真实图像是否包括光强图像和深度图像。
本实施例中,多个真实图像包括目标描述物在不同姿态下的多个真实图像,其中,当多个真实图像是通过用户终端设备采集到的,若该用户终端包括光强图像采集装置和深度图像采集装置,参照前文所述,则该多个真实图像包括目标描述物在不同姿态下的多组真实图像,每组真实图像包括目标描述物在同一姿态下的光强图像和深度图像。
因此,在服务器接收到多个真实图像,需要基于多个真实图像对目标描述物进行形状构造识别时,服务器需要先确定多个真实图像是否包括光强图像和深度图像,以根据确定结果执行不同的形状构造识别过程。
S33:若包括光强图像和深度图像,则对多个真实图像进行姿态识别,得到不同姿态下的光强图像和对应的深度图像。
在确定多个真实图像是否包括光强图像和深度图像之后,若多个真实图像包括光强图像和深度图像,则服务器需要对多个真实图像进行姿态识别,得到不同姿态下的光强图像和对应的深度图像,即根据各真实图像中目标描述物的姿态对多个真实图像进行分组,分为不同姿态下的多组真实图像,每组真实图像包括同一姿态下的光强图像和深度图像。
S34:基于深度图像对同一姿态下的光强图像进行轮廓增强,得到图像增强数据。
S35:基于图像增强数据对目标描述物进行三维重建,得到三维轮廓模型,作为形状构造数据。
本实施例中,服务器还需要基于深度图像对同一姿态下的光强图像进行轮廓增强,得到该姿态下的增强数据,然后遍历所有姿态下的深度图像和对应的光强图像,得到不同姿态下的多个增强数据,进而将不同姿态下的多个增强数据作为图像增强数据;最后,可以基于图像增强数据对目标描述物进行三维重建,得到三维轮廓模型,作为形状构造数据。例如,可以直接对某一姿态下的深度图像和同一姿态下的光强图像进行图像融合,得到该姿态下的融合图像,作为姿态下的增强数据;然后遍历所有姿态下的深度图像和对应的光强图像,得到不同姿态下的多个增强数据;最后基于不同姿态下的多个增强数据(融合图像)对目标描述物的形状轮廓、构造进行多视角的三维重建,得到三维轮廓模型。
在其他实施例中。若目标描述物为人脸或头脸,为了减少数据处理量,还可以在多组真实图像中选取姿态最正的一组真实图像(即能展示目标描述物最多形状构造信息的真实图像),作为目标真实图像组,该目标真实图像组包括姿态最正的深度图像和同一姿态下的光强图像;然后基于姿态最正的深度图像对同一姿态下的光强图像进行轮廓增强,得到目标的增强数据,并将该增强数据记为图像增强数据;最后,基于图像增强数据,采用三维可变形人脸模型(3D Morphable models,3DMM)对目标描述物的形状轮廓进行三维重建,得到三维轮廓模型。三维可变形人脸模型是一个通用的三维人脸模型,它用固定的点数来表示人脸。它的核心思想就是人脸可以在三维空间中进行一一匹配,并且可以由其他许多幅人脸正交基加权线性相加而来。每一个三维人脸,可以由一个数据库中的所有人脸组成的基向量空间进行表示,而求解任意三维人脸的模型,实际上等价于求解各个基向量的系数的问题。
本实施例中,通过确定多个真实图像是否包括光强图像和深度图像,若包括光强图像和深度图像,则对多个真实图像进行姿态识别,得到不同姿态下的光强图像和对应的深度图像,然后基于深度图像对同一姿态下的光强图像进行轮廓增强,得到图像增强数据,再基于图像增强数据对目标描述物进行三维重建,得到三维轮廓模型,作为形状构造数据,明确了基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据的具体步骤。在该过程中,基于异构多源的光学数据(光强数据和深度数据)进行轮廓增强,可以有效增强不同姿态下目标描述物的真实形状轮廓,然后基于此进行三维重建,能够得到更为准确的三维轮廓模型,为后续进行图标生成提高了更为真实、准确的数据基础。
在一实施例中,为提高轮廓增强结果的增强效果,从而提高三维轮廓模型的准确性,除了直接将深度图像和同一姿态的光强图像融合外,还可以采用其他方式对进行轮廓增强。具体地,步骤S35中,基于深度图像对同一姿态下的光强图像进行轮廓增强,得到图像增强数据,包括:
S351:分别对某一姿态下的深度图像和光强图像进行特征提取,得到同一姿态下的深度特征和光强特征。
在得到不同姿态下的光强图像和对应的深度图像之后,分别对某一姿态下的深度图像和光强图像进行特征提取,得到同一姿态下的深度特征和光强特征。具体地,先获取深度特征提取模型和光强特征提取模型,然后采用深度特征提取模型对某一姿态下的深度图像进行特征提取,得到该姿态下的深度特征,并采用光强特征提取模型对同一姿态下的光强图像进行特征提取,得到该姿态下的光强特征。在其他实施例中,还可以采用相同的特征提取模型分别对深度图像和光强图像进行特征提取,得到同一姿态下的深度特征和光强特征,减少模型存储量和训练量,减少服务器负载。
S352:对同一姿态下的深度特征和光强特征进行相似度计算,得到相似度关系数据,并基于该相似度关系数据对同一姿态下的深度特征和光强特征进行增强融合,得到该姿态下的融合特征图。
在得到某一姿态下的深度特征和光强特征之后,服务器需要对同一姿态下的深度特征和光强特征进行相似度计算,得到相似度关系数据,并基于该相似度关系数据对同一姿态下的深度特征和光强特征进行增强融合,得到该姿态下的融合特征图。
其中,相似度关系数据可以是同一姿态下的深度特征和光强特征进行相似度计算得到相似度矩阵,在得到相似度矩阵之后,即得到相似度关系数据之后,采用激活函数对相似度关系数据(即相似度矩阵)进行激活,得到目标权重值,并将目标权重值与光强特征相乘,得到该姿态下的融合特征图。其中,为提高目标权重值及后续得到的融合特征图的准确性,激活函数可以是非线性函数,例如sigmoid函数。本实施例中,在基于深度特征对光强特征进行轮廓增强的过程,将深度特征和光强特征的相似度关系转换为权重值,然后赋予至光强特征的各个特征点,实现对图像特征的全家自适应激活,为各个特征点进行特征增强,从而实现多源光学信息的有效融合与特征增强,显著增大了同一姿态下目标描述物的不同区域的特征差异,从而提升了对目标描述物形状的形状轮廓特征的提取能力。
S353:遍历所有姿态下的深度图像和光强图像,直至得到不同姿态下的多个融合特征图,并将不同姿态下的多个融合特征图记为图像增强数据。
在得到某一姿态下的融合特征图之后,服务器需要遍历所有姿态下的深度图像和光强图像,直至得到不同姿态下的多个融合特征图,并将不同姿态下的多个融合特征图记为图像增强数据。
本实施例中,若图像增强数据包括不同姿态下的多个融合特征图,则基于图像增强数据对目标描述物进行三维重建,得到三维轮廓模型,包括:先对不同姿态下的多个融合特征图进行立体匹配,得到立体匹配数据:立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系,也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来;在进行匹配时要注意场景中一些因素的干扰,比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素。然后再基于立体匹配数据进行三维重建,得到三维轮廓模型。有了比较精确的匹配结果就可以对目标描述物进行精确的三维构建。由于三维重建精度受匹配精度,摄像机的内外参数误差等因素的影响,为保证精度,还可以结合摄像机标定的内外参数,恢复出三维场景信息,从而得到更为准确的三维轮廓模型。
本实施例中,通过分别对某一姿态下的深度图像和光强图像进行特征提取,得到同一姿态下的深度特征和光强特征,然后对同一姿态下的深度特征和光强特征进行相似度计算,得到相似度关系数据,并基于相似度关系数据对同一姿态下的深度特征和光强特征进行增强融合,得到融合特征图,再遍历所有姿态下的深度图像和光强图像,直至得到不同姿态下的多个融合特征图,并将不同姿态下的多个融合特征图记为图像增强数据,明确了基于所述深度图像对同一姿态下的所述光强图像进行轮廓增强,得到图像增强数据的具体过程。在该过程中,通过计算不同类型的光学数据间的相似度关系,实现多源光学信息的有效融合,可以显著增大目标描述物不同区域间的差异,可以突出目标描述物的形状轮廓、构造表达,达到形状轮廓增强的作用。
在一实施例中,步骤S40中,即对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图,具体包括如下步骤:
S41:当确定多个真实图像中包括光强图像和深度图像时,对多个真实图像进行分类,得到不同姿态下的多个真实图像组,每一真实图像组包括目标描述物的光强图像和同一姿态下的深度图像。
本实施例中,多个真实图像包括目标描述物在不同姿态下的多个真实图像,其中,若多个真实图像为通过用户终端设备采集到的,参照前文所述,则该多个真实图像包括目标描述物在不同姿态下的多组真实图像,每组真实图像包括目标描述物在同一姿态下的光强图像和深度图像。
在获得不同姿态下的多个真实图像之后,服务器需要确定多个真实图像中包括光强图像和深度图像,当确定多个真实图像中仅包括不同姿态下的光强图像,或仅包括不同姿态下的深度图像时,则服务器采用预先训练好的特征提取模型,依次对每一真实图像进行特征提取,得到每一真实图像的纹理特征图,然后根据不同姿态下的纹理特征图的位姿信息对目标描述物进行多视角特征拼接,得到描述物特征图。通过特征提取模型进行图像特征提取,简单便捷,进而依据各真实图像的位姿信息,对各真实图像的纹理特征图进行多视角拼接得到描述物特征图,能够得到准确、完整的描述物特征图。
当确定多个真实图像中包括光强图像和深度图像时,表示真实图像由异构多源的光学图像组成,因此服务器需要对多个真实图像进行分类,得到不同姿态下的多个真实图像组,每一真实图像组包括目标描述物的光强图像和同一姿态下的深度图像。
S42:基于深度图像对同一姿态下的光强图像进行图像增强,得到同一姿态下的增强图。
在得到不同姿态下的多个真实图像组之后,服务器需要基于深度图像对同一姿态下的光强图像进行图像增强,得到同一姿态下的增强图,遍历所有姿态下的深度图像和光强图像,得到不同姿态下的增强图。
S43:对每一姿态下的增强图进行图特征提取,得到不同姿态下的纹理特征图,并根据不同姿态下的纹理特征图的位姿信息对目标描述物进行多视角特征拼接,得到描述物特征图。
之后,服务器采用特征提取模型对每一姿态下的增强图进行图特征提取,得到不同姿态下的纹理特征图,并根据不同姿态下的纹理特征图的位姿信息对目标描述物进行多视角特征拼接,得到描述物特征图。
本实施例中,当确定多个真实图像中包括光强图像和深度图像时,对多个真实图像进行分类,得到不同姿态下的多个真实图像组,每一真实图像组包括目标描述物的光强图像和同一姿态下的深度图像,然后基于深度图像对同一姿态下的光强图像进行图像增强,得到同一姿态下的增强图,再对每一姿态下的增强图进行图特征提取,得到不同姿态下的纹理特征图,并根据不同姿态下的纹理特征图的位姿信息对目标描述物进行多视角特征拼接,得到描述物特征图,明确了对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图的具体步骤。在该过程中,基于不同类型的光学数据,于深度图像对同一姿态下的光强图像进行图像增强,能够得到更为准确的增强图,进而提取到更为准确的纹理特征图,使得后续进行多视角拼接得到准确、完整的描述物特征图,为后续账号图标生成提供的准确的数据基础。
在一实施例中,如图5所示,步骤S50中,即基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。具体包括如下步骤:
S51:根据形状构造数据对目标图标模型进行形状轮廓调整,得到目标描述物模型。
在得到目标描述物的形状构造数据之后,服务器需要先根据目标描述物的形状构造数据对目标图标模型进行形状轮廓调整,得到目标描述物模型。
具体地,可以先确定目标描述物的形状构造数据与目标图标模型的形状构造直接的对应关系,即确定目标描述物的各部位形状轮廓与目标图标模型中各部位形状轮廓的对应关系,然后依据形状构造数据中对目标图标模型中对应部位的形状轮廓进行调整,使得调整后的该部位与目标描述物中对应部位的形状轮廓相同或相似,依次调整各部位,直至得到目标描述物模型,以使目标描述物模型的形状构造更接近用户上传真实图像中的目标描述物的形状构造。
S52:基于描述物特征图进行智能图像生成,得到初始特征贴图,并基于目标图标模型对初始特征贴图进行风格迁移,得到目标纹理贴图。
在得到目标描述物的描述物特征图之后,服务器需要基于描述物特征图进行智能图像生成,得到初始特征贴图。本实施例中,目标描述物的描述物特征图为表征目标描述物纹理、形状构造和各像素空间关系的特征图,依据该描述物特征图可以生成用于描述整个目标描述物视觉信息的初始特征贴图,包括视觉信息包括目标描述物的外观纹理(包括皮肤纹理、毛发纹理、植物各部分纹理)、颜色等。初始特征贴图可以直接与目标图标模型进行接入、融合,得到对应的账号图标。
本实施例中,目标图标模型为符合要求的、具有个性化风格特征的标准图标模型,因此在得到初始特征贴图之后,服务器还需要基于目标图标模型对初始特征贴图进行风格迁移,得到目标纹理贴图。
具体地,可以依据多个真实图像对目标描述物进行形状构造重建,得到能够完整展示目标描述物的形状构造的描述物模型,该描述物模型可以是三维模型或者二维模型,具体依据目标图标模型的展示形式确定,例如若目标图标模型为三维模型,则描述物模型为三维模型;然后服务器可以基于目标图标模型与描述物模型中各区域的对应关系,对初始特征贴图各区域进行风格迁移变换,得到目标纹理贴图。本实施例中,为了减少处理数量成本,可以将描述物模型作为形状构造数据。
S53:依据目标纹理贴图对目标描述物模型进行渲染,得到账号图标。
在得到目标纹理贴图之后,服务器依据目标纹理贴图对目标描述物模型进行渲染,得到账号图标。具体地,可以采用图标渲染工具,将依据目标纹理贴图渲染至目标描述物模型中,得到用户的账号图标,使得目标纹理贴图能够与目标描述物模型完全贴合,并在形状轮廓、纹理、颜色等方面接近目标描述物的真实状态,提高账号图标的展示效果。此外,本实施例先基于形状构造数据生成形状构造与目标描述物相同的目标描述物模型,再依据描述物特征图生成便于渲染的目标纹理贴图,以便后续可以直接进行贴图渲染得到账号图标,在保证图标真实性和个性化展示效果的基础上,还可以提高模型对目标描述物外观纹理的接入效率,确保贴图和模型完美结合,进一步提高了账号图标的展示效果。
本实施例中,根据形状构造数据对目标图标模型进行形状轮廓调整,得到目标描述物模型,然后基于描述物特征图进行智能图像生成,得到初始特征贴图,并基于目标图标模型对初始特征贴图进行风格迁移,得到目标纹理贴图,最后依据目标纹理贴图对目标描述物模型进行渲染,得到账号图标,明确了基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标的具体步骤,在在保证图标真实性和个性化展示效果的基础上,还可以提高模型对目标描述物外观纹理的接入效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种用户账号图标生成装置,该用户账号图标生成装置与上述实施例中用户账号图标生成方法一一对应。如图6所示,该用户账号图标生成装置包括第一识别模块601、确定模块602、第二识别模块603、提取模块604和调整模块605。各功能模块详细说明如下:
第一识别模块601,用于通过用户终端获取用户输入的多个真实图像,对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物,多个真实图像包括目标描述物不同姿态的图像;
确定模块602,用于确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型;
第二识别模块603,用于基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,形状构造数据用于描绘目标描述物各个部分的形状轮廓;
提取模块604,用于对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图;
调整模块605,用于基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。
可选地,调整模块605具体用于:
根据形状构造数据对目标图标模型进行形状轮廓调整,得到目标描述物模型;
基于描述物特征图进行智能图像生成,得到初始特征贴图,并基于目标图标模型对初始特征贴图进行风格迁移,得到目标纹理贴图;
依据目标纹理贴图对目标描述物模型进行渲染,得到账号图标。
可选地,第一识别模块601具体用于:
在通过用户终端接收到用户的实时图像采集指令时,确定用户终端是否安装有光强图像采集装置和深度图像采集装置;
若用户终端安装有光强图像采集装置和深度图像采集装置,则通过光强图像采集装置和深度图像采集装置,分别采集目标描述物在同一姿态下的光强图像和深度图像,作为一组真实图像;
通过用户终端提示用户进行姿态变换,直至采集到不同姿态下的多组真实图像。
可选地,多个真实图像包括目标描述物在不同姿态下的真实图像,第二识别模块603具体用于:
确定多个真实图像是否包括光强图像和深度图像;
若多个真实图像仅包括光强图像或仅包括深度图像,则基于不同姿态下的多个真实图像,对目标描述物的形状轮廓进行多视角的三维重建,得到三维轮廓模型,并将三维轮廓模型作为形状构造数据。
可选地,确定多个真实图像是否包括光强图像和深度图像之后,第二识别模块603具体还用于:
若包括光强图像和深度图像,则对多个真实图像进行姿态识别,得到不同姿态下的光强图像和对应的深度图像;
基于深度图像对同一姿态下的光强图像进行轮廓增强,得到图像增强数据;
基于图像增强数据对目标描述物进行三维重建,得到三维轮廓模型,作为形状构造数据。
可选地,第二识别模块603具体还用于:
分别对某一姿态下的所述深度图像和所述光强图像进行特征提取,得到同一姿态下的深度特征和光强特征;
对同一姿态下的深度特征和光强特征进行相似度计算,得到相似度关系数据,并基于相似度关系数据对同一姿态下的深度特征和光强特征进行增强融合,得到融合特征图;
遍历所有姿态下的深度图像和光强图像,直至得到不同姿态下的多个融合特征图,并将不同姿态下的多个融合特征图记为图像增强数据。
可选地,多个真实图像包括目标描述物在不同姿态下的真实图像,提取模块604具体用于:
当确定多个真实图像中包括光强图像和深度图像时,对多个真实图像进行分类,得到不同姿态下的多个真实图像组,每一真实图像组包括目标描述物的光强图像和同一姿态下的深度图像;
基于深度图像对同一姿态下的光强图像进行图像增强,得到同一姿态下的增强图;
对每一姿态下的增强图进行图特征提取,得到不同姿态下的纹理特征图,并根据不同姿态下的纹理特征图的位姿信息对目标描述物进行多视角特征拼接,得到描述物特征图。
关于用户账号图标生成装置的具体限定可以参见上文中对用户账号图标生成方法的限定,在此不再赘述。上述用户账号图标生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储一种用户账号图标生成方法所用到、生成的数据,包括描述物标准模型、多个真实图像、账号图标等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用户账号图标生成方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
通过用户终端获取用户输入的多个真实图像,对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物,多个真实图像包括目标描述物不同姿态的图像;
确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型;
基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,形状构造数据用于描绘目标描述物各个部分的形状轮廓;
对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图;
基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
通过用户终端获取用户输入的多个真实图像,对多个真实图像进行图像描述物识别,确定真实图像中的目标描述物,多个真实图像包括目标描述物不同姿态的图像;
确定目标描述物对应的多个描述物标准图标模型,并在多个描述物标准图标模型中确定风格符合用户需求的目标图标模型;
基于多个真实图像对目标描述物进行形状构造识别,得到目标描述物的形状构造数据,形状构造数据用于描绘目标描述物各个部分的形状轮廓;
对多个真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图;
基于描述物特征图和形状构造数据对目标图标模型进行调整,生成用户的账号图标。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户账号图标生成方法,其特征在于,包括:
通过用户终端获取用户输入的多个真实图像,对多个所述真实图像进行图像描述物识别,确定所述真实图像中的目标描述物;
确定所述目标描述物对应的多个描述物标准图标模型,并在多个所述描述物标准图标模型中确定风格符合用户需求的目标图标模型;
基于多个所述真实图像对所述目标描述物进行形状构造识别,得到所述目标描述物的形状构造数据;
对多个所述真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图;
基于所述描述物特征图和所述形状构造数据对所述目标图标模型进行调整,生成所述用户的账号图标。
2.如权利要求1所述的用户账号图标生成方法,其特征在于,所述基于所述描述物特征图和所述形状构造数据对所述目标图标模型进行调整,生成所述用户的账号图标,包括:
根据所述形状构造数据对所述目标图标模型进行形状轮廓调整,得到目标描述物模型;
基于所述描述物特征图进行智能图像生成,得到初始特征贴图,并基于所述目标图标模型对所述初始特征贴图进行风格迁移,得到目标纹理贴图;
依据所述目标纹理贴图对所述目标描述物模型进行渲染,得到所述账号图标。
3.如权利要求1所述的用户账号图标生成方法,其特征在于,所述通过用户终端获取用户输入的多个真实图像,包括:
在通过所述用户终端接收到所述用户的实时图像采集指令时,确定所述用户终端是否安装有光强图像采集装置和深度图像采集装置;
若所述用户终端安装有所述光强图像采集装置和深度图像采集装置,则通过所述光强图像采集装置和所述深度图像采集装置,分别采集所述目标描述物在同一姿态下的光强图像和深度图像,作为一组所述真实图像;
通过所述用户终端提示所述用户进行姿态变换,直至采集到不同姿态下的多个所述真实图像。
4.如权利要求1所述的用户账号图标生成方法,其特征在于,多个所述真实图像包括所述目标描述物在不同姿态下的所述真实图像,所述基于多个所述真实图像对所述目标描述物进行形状构造识别,得到所述目标描述物的形状构造数据,包括:
确定多个所述真实图像是否包括光强图像和深度图像;
若多个所述真实图像仅包括所述光强图像或仅包括所述深度图像,则基于不同姿态下的多个所述真实图像,对所述目标描述物的形状轮廓进行多视角的三维重建,得到三维轮廓模型,并将所述三维轮廓模型作为所述形状构造数据。
5.如权利要求4所述的用户账号图标生成方法,其特征在于,所述确定多个所述真实图像是否包括光强图像和深度图像之后,所述方法还包括:
若包括所述光强图像和深度图像,则对多个所述真实图像进行姿态识别,得到不同姿态下的所述光强图像和对应的所述深度图像;
基于所述深度图像对同一姿态下的所述光强图像进行轮廓增强,得到图像增强数据;
基于所述图像增强数据对所述目标描述物进行三维重建,得到所述三维轮廓模型。
6.如权利要求5所述的用户账号图标生成方法,其特征在于,所述基于所述深度图像对同一姿态下的所述光强图像进行轮廓增强,得到图像增强数据,包括:
分别对某一姿态下的所述深度图像和所述光强图像进行特征提取,得到同一姿态下的深度特征和光强特征;
对同一姿态下的所述深度特征和所述光强特征进行相似度计算,得到相似度关系数据,并基于所述相似度关系数据对同一姿态下的所述深度特征和所述光强特征进行增强融合,得到融合特征图;
遍历所有姿态下的所述深度图像和所述光强图像,直至得到不同姿态下的多个所述融合特征图,并将不同姿态下的多个所述融合特征图记为所述图像增强数据。
7.如权利要求1-6任一项所述的用户账号图标生成方法,其特征在于,多个所述真实图像包括所述目标描述物在不同姿态下的所述真实图像,所述对多个所述真实图像进行描述物特征提取,得到包含外观纹理信息的描述物特征图,包括:
当确定多个所述真实图像中包括光强图像和深度图像时,对多个所述真实图像进行分类,得到不同姿态下的多个真实图像组,每一真实图像组包括所述目标描述物的光强图像和同一姿态下的深度图像;
基于所述深度图像对同一姿态下的光强图像进行图像增强,得到同一姿态下的增强图;
对每一姿态下的增强图进行图特征提取,得到不同姿态下的纹理特征图,并根据不同姿态下的所述纹理特征图的位姿信息对所述目标描述物进行多视角特征拼接,得到所述描述物特征图。
8.一种用户账号图标生成装置,其特征在于,包括:
第一识别模块,用于通过用户终端获取用户输入的多个真实图像,对多个所述真实图像进行图像描述物识别,确定所述真实图像中的目标描述物;
确定模块,用于确定所述目标描述物对应的多个描述物标准图标模型,并在多个所述描述物标准图标模型中确定风格符合用户需求的目标图标模型;
第二识别模块,用于基于多个所述真实图像对所述目标描述物进行形状构造识别,得到所述目标描述物的形状构造数据;
提取模块,用于对多个所述真实图像进行描述物特征提取,得到包含所述目标描述物纹理信息的描述物特征图;
调整模块,用于基于所述描述物特征图和所述形状构造数据对所述目标图标模型进行调整,生成所述用户的账号图标。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述用户账号图标生成方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述用户账号图标生成方法的步骤。
CN202310814097.9A 2023-07-05 2023-07-05 用户账号图标生成方法、装置、计算机设备及存储介质 Active CN116542846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310814097.9A CN116542846B (zh) 2023-07-05 2023-07-05 用户账号图标生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310814097.9A CN116542846B (zh) 2023-07-05 2023-07-05 用户账号图标生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116542846A true CN116542846A (zh) 2023-08-04
CN116542846B CN116542846B (zh) 2024-04-26

Family

ID=87451010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310814097.9A Active CN116542846B (zh) 2023-07-05 2023-07-05 用户账号图标生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116542846B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110248992A1 (en) * 2010-04-07 2011-10-13 Apple Inc. Avatar editing environment
US20150193388A1 (en) * 2009-11-18 2015-07-09 Manu Cornet Dynamic image generation for customizable user interfaces
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106952336A (zh) * 2017-03-13 2017-07-14 武汉山骁科技有限公司 一种保特征的人类三维头像生产方法
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN111754622A (zh) * 2020-07-13 2020-10-09 腾讯科技(深圳)有限公司 脸部三维图像生成方法及相关设备
CN112148404A (zh) * 2020-09-24 2020-12-29 游艺星际(北京)科技有限公司 头像生成方法、装置、设备以及存储介质
CN113096235A (zh) * 2021-03-09 2021-07-09 北京达佳互联信息技术有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN113284229A (zh) * 2021-05-28 2021-08-20 上海星阑信息科技有限公司 三维人脸模型生成方法、装置、设备及存储介质
CN113723317A (zh) * 2021-09-01 2021-11-30 京东科技控股股份有限公司 3d人脸的重建方法、装置、电子设备和存储介质
US20220253202A1 (en) * 2019-05-13 2022-08-11 Microsoft Technology Licensing, Llc Automatic generation of stylized icons
CN115345980A (zh) * 2022-10-18 2022-11-15 北京百度网讯科技有限公司 个性化纹理贴图的生成方法及装置
US20220405986A1 (en) * 2019-10-31 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Virtual image generation method, device, terminal and storage medium
CN115546271A (zh) * 2022-09-29 2022-12-30 锋睿领创(珠海)科技有限公司 基于深度联合表征的视觉分析方法、装置、设备及介质
CN116030181A (zh) * 2021-10-22 2023-04-28 华为技术有限公司 3d虚拟形象生成方法与装置
CN116109798A (zh) * 2023-04-04 2023-05-12 腾讯科技(深圳)有限公司 图像数据处理方法、装置、设备及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193388A1 (en) * 2009-11-18 2015-07-09 Manu Cornet Dynamic image generation for customizable user interfaces
US20110248992A1 (en) * 2010-04-07 2011-10-13 Apple Inc. Avatar editing environment
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106952336A (zh) * 2017-03-13 2017-07-14 武汉山骁科技有限公司 一种保特征的人类三维头像生产方法
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
US20220253202A1 (en) * 2019-05-13 2022-08-11 Microsoft Technology Licensing, Llc Automatic generation of stylized icons
US20220405986A1 (en) * 2019-10-31 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Virtual image generation method, device, terminal and storage medium
CN111754622A (zh) * 2020-07-13 2020-10-09 腾讯科技(深圳)有限公司 脸部三维图像生成方法及相关设备
CN112148404A (zh) * 2020-09-24 2020-12-29 游艺星际(北京)科技有限公司 头像生成方法、装置、设备以及存储介质
CN113096235A (zh) * 2021-03-09 2021-07-09 北京达佳互联信息技术有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN113284229A (zh) * 2021-05-28 2021-08-20 上海星阑信息科技有限公司 三维人脸模型生成方法、装置、设备及存储介质
CN113723317A (zh) * 2021-09-01 2021-11-30 京东科技控股股份有限公司 3d人脸的重建方法、装置、电子设备和存储介质
CN116030181A (zh) * 2021-10-22 2023-04-28 华为技术有限公司 3d虚拟形象生成方法与装置
CN115546271A (zh) * 2022-09-29 2022-12-30 锋睿领创(珠海)科技有限公司 基于深度联合表征的视觉分析方法、装置、设备及介质
CN115345980A (zh) * 2022-10-18 2022-11-15 北京百度网讯科技有限公司 个性化纹理贴图的生成方法及装置
CN116109798A (zh) * 2023-04-04 2023-05-12 腾讯科技(深圳)有限公司 图像数据处理方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y WANG ET AL: "A graph-based joint bilateral approach for depth enhancement", 2014 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), 31 December 2014 (2014-12-31), pages 885 - 889 *

Also Published As

Publication number Publication date
CN116542846B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
Song et al. Geometry-aware face completion and editing
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
CN108305312B (zh) 3d虚拟形象的生成方法和装置
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
CN111260754B (zh) 人脸图像编辑方法、装置和存储介质
US11995703B2 (en) Image-to-image translation using unpaired data for supervised learning
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
US9202312B1 (en) Hair simulation method
CN111369428B (zh) 虚拟头像生成方法和装置
JP2024501986A (ja) 3次元顔再構築の方法、3次元顔再構築の装置、デバイスおよび記憶媒体
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
Liu et al. Psgan++: Robust detail-preserving makeup transfer and removal
CN111815768B (zh) 三维人脸重建方法和装置
KR102229061B1 (ko) 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
WO2019098872A1 (ru) Способ отображения трехмерного лица объекта и устройство для него
CN116542846B (zh) 用户账号图标生成方法、装置、计算机设备及存储介质
TW202016881A (zh) 程式、資訊處理裝置、定量化方法及資訊處理系統
US20220277586A1 (en) Modeling method, device, and system for three-dimensional head model, and storage medium
WO2020193972A1 (en) Facial analysis
CN114820907A (zh) 人脸图像卡通化处理方法、装置、计算机设备和存储介质
CN116452703B (zh) 用户头像生成方法、装置、计算机设备及存储介质
CN117557688B (zh) 肖像生成模型训练方法、装置、计算机设备和存储介质
US20240013500A1 (en) Method and apparatus for generating expression model, device, and medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant