CN114612600B - 虚拟形象生成方法、装置、电子设备和存储介质 - Google Patents
虚拟形象生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114612600B CN114612600B CN202210244262.7A CN202210244262A CN114612600B CN 114612600 B CN114612600 B CN 114612600B CN 202210244262 A CN202210244262 A CN 202210244262A CN 114612600 B CN114612600 B CN 114612600B
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- point data
- virtual image
- determining
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种虚拟形象生成方法,涉及人工智能技术领域,尤其涉及计算机视觉、虚拟/增强现实和元宇宙技术领域。具体实现方案为:将初始三维虚拟形象的多个点数据转换到频域,得到多个频域点数据;对多个频域点数据进行渲染,生成第一三维虚拟形象;确定第一三维虚拟形象的感知特征;以及根据感知特征与预定风格特征之间的差异,生成第二三维虚拟形象。本公开还提供了一种虚拟形象生成装置、电子设备和存储介质。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及计算机视觉、虚拟/增强现实 和元宇宙技术领域,可应用于图像处理场景下。更具体地,本公开提供了 一种虚拟形象生成方法、装置、电子设备和存储介质。
背景技术
虚拟形象在元宇宙、社交、直播或游戏等场景中具有广泛的应用。可 以基于人工的方式生成虚拟形象。
发明内容
本公开提供了一种虚拟形象生成方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种虚拟信息生成方法,该方法包括: 将初始三维虚拟形象的多个点数据转换到频域,得到多个频域点数据;对 所述多个频域点数据进行调整,得到多个调整后的点数据;对所述多个调 整后的点数据进行渲染,生成第一三维虚拟形象;确定所述第一三维虚拟 形象的感知特征;以及根据所述感知特征与预定风格特征之间的差异,生 成第二三维虚拟形象。
根据本公开的另一方面,提供了一种虚拟形象生成装置,该装置包括: 转换模块,用于将初始三维虚拟形象的多个点数据转换到频域,得到多个 频域点数据;渲染模块,用于对所述多个频域点数据进行渲染,生成第一 三维虚拟形象;第一确定模块,用于确定所述第一三维虚拟形象的感知特 征;以及生成模块,用于根据所述感知特征与预定风格特征之间的差异, 生成第二三维虚拟形象。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理 器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被 至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个 处理器能够执行根据本公开提供的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算 机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程 序,所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键 或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下 的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开的一个实施例的可以应用虚拟形象生成方法和装置 的示例性系统架构示意图;
图2是根据本公开的一个实施例的虚拟形象生成方法的流程图;
图3是根据本公开的一个实施例的虚拟形象生成方法的流程图;
图4是根据本公开的一个实施例的虚拟形象生成方法的流程图;
图5是根据本公开的一个实施例的虚拟形象生成装置的框图;以及
图6是根据本公开的一个实施例的可以应用虚拟形象生成方法的电子 设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实 施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本 领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和 修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的 描述中省略了对公知功能和结构的描述。
虚拟形象可以包括虚拟的身体。可以基于人工的方式对一个虚拟形象 进行设计、生成和优化,需要较高的时间成本。而且,基于人工的方式生 成的虚拟形象风格较为单一。
图1是根据本公开一个实施例的可以应用虚拟形象生成方法和装置的 示例性系统架构示意图。需要注意的是,图1所示仅为可以应用本公开实 施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容, 但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、 102、103,网络104和服务器105。网络104用以在终端设备101、102、 103和服务器105之间提供通信链路的介质。网络104可以包括各种连接 类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交 互,以接收或发送消息等。终端设备101、102、103可以是具有显示屏并 且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝 上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备 101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。 后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处 理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给 终端设备。
需要说明的是,本公开实施例所提供的虚拟形象生成方法一般可以由 服务器105执行。相应地,本公开实施例所提供的虚拟形象生成装置一般 可以设置于服务器105中。本公开实施例所提供的虚拟形象生成方法也可 以由不同于服务器105且能够与终端设备101、102、103和/或服务器105 通信的服务器或服务器集群执行。相应地,本公开实施例所提供的虚拟形 象生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的虚拟形象生成方法的流程图。
如图2所示,该方法200可以包括操作S210~操作S240。
在操作S210,将初始三维虚拟形象的多个点数据转换到频域,得到 多个频域点数据。
例如,初始三维虚拟形象可以是一个预设的三维虚拟形象。
例如,可以对初始三维虚拟形象上的多个点数据进行傅立叶变换,以 将多个点数据转换到频域。
在操作S220,对多个频域点数据进行渲染,生成第一三维虚拟形象。
例如,可以利用各种渲染器对多个频域点数据进行渲染。在一个示例 中,可以利用Pytorch3D渲染器对多个频域点数据进行渲染。
在操作S230,确定第一三维虚拟形象的感知特征。
例如,可以根据各种特征提取模型确定第一三维虚拟学习的感知特征。
在操作S240,根据感知特征与预定风格特征之间的差异,生成第二 三维虚拟形象。
例如,可以利用各种特征提取模型对获取的风格描述信息进行特征特 征提取,得到预定风格特征。
例如,可以利用各种损失函数确定感知特征和预定风格特征之间的差 异值。在一个示例中,可以根据L2损失函数确定感知特征和预定风格特 征之间的差异值。若该差异值满足预定条件,可以将上文所述第一三维虚 拟形象作为第二三维虚拟形象。若该差异值不满足预定条件,可以对上文 所述第一三维虚拟形象进行调整,直到感知特征和预定风格特征之间的差 异满足预定条件。例如,预定条件可以是该差异值小于预定阈值。
通过本公开实施例,可以生成一个与预定风格特征匹配的三维虚拟形 象。
在一些实施例中,可以利用对比图文预训练模型处理第一三维虚拟形 象,得到第一三维虚拟形象的感知特征。
例如,对比图文预训练(Contrastive Language-Image Pre-training,CLIP) 模型可以提取文本的特征,也可以提取图像的特征。对比图文预训练模型 是一种开源通用模型,即连接文本和图像。对比图文预训练模型需要完成 的任务是:识别图像中的各种视觉信息,并将该信息与海量图片中的一个 相关联。
在一个示例中,可以在显示有第一三维虚拟形象的显示屏上,执行截 屏操作,得到一个截屏图像。利用对比图文预训练模型处理该截屏图像, 以得到感知特征。
在一些实施例中,利用对比图文预训练模型,根据风格描述信息确定 预定风格特征。
例如,可以获取一个由目标对象输入的文本,将该文本作为一个风格 描述信息。接下来,可以利用上文所述的对比图文预训练模型处理该风格 描述信息,以确定预定风格特征。在一个示例中,风格描述信息例如可以 是包括“可爱”、“酷”等关键字的文本。对比图文预训练模型可以高效 地确定图和文本是否匹配。此外,预定风格特征和感知特征可以由同一个 对比图文预训练模型确定,在调整二者之间的差异之后,可以使得二者更 加匹配,以便生成更加符合风格描述信息的三维虚拟形象。
在一些实施例中,将初始三维虚拟形象的多个点数据转换到频域,以 便利用各种3D工具基于多个频域点数据进行处理。例如,3D工具可以是 Unity 3D工具。
在一些实施例中,上文所述的预定条件可以是差异值收敛。
图3是根据本公开的另一个实施例的虚拟形象生成方法的流程图。
如图3所示,该方法300可以包括操作S310~操作S330,以及操作 S341~操作S344。
在操作S310,将初始三维虚拟形象的多个点数据转换到频域,得到 多个频域点数据。
例如,操作S310与上文所述操作S210相同或类似,本公开在此不再 赘述。
在操作S320,对多个频域点数据进行渲染,生成第一三维虚拟形象。
例如,操作S320与上文所述操作S220相同或类似,本公开在此不再 赘述。
在操作S330,确定第一三维虚拟形象的感知特征。
例如,可以利用上文所述的对比图文预训练模型确定第一三维虚拟形 象的感知特征。
在操作S341,确定感知特征与预定风格特征之间的差异值。
例如,预定风格特征是利用上文所述的对比图文预训练模型根据风格 描述信息确定的。
例如,可以利用L2损失函数确定感知特征和预定风格特征之间的差 异值。L2损失函数也被称为最小平方误差(Least Square Error,LSE)损 失函数。
在操作S342,确定差异值是否收敛。
在本公开实施例中,在确定差异值收敛的情况下,执行操作S343。
例如,在确定第n个差异值小于或等于预定差异阈值之后,若再确定 第n个差异值之后的i个差异值均小于或等于预定差异阈值,可以确定差 异值收敛。在一个示例中,n为大于或等于1的整数,i为大于或等于1 的整数。比如,i为预设值,i=1。
在本公开实施例中,在确定差异值不收敛的情况下,执行操作S344, 再返回至操作S320。
例如,在确定第m个差异值小于或等于预定差异阈值之后,若再确定 第m个差异值之后的j个差异值中的任一个差异值大于预设差异阈值,可 以确定差异值不收敛,可以执行操作S344。在执行操作S344之后,可以 返回至操作S320。在一个示例中,m为大于或等于1的整数,j为大于或 等于1的整数。比如,j为预设值,j=1。
在操作S343,将当前第一三维虚拟形象作为第二三维虚拟形象
例如,如上文所述,在确定差异值收敛之后,可以将与第n个差异值 对应的第一三维虚拟形象Vir_n作为第二三维虚拟形象。
在操作S344,对多个频域点数据进行调整。
例如,如上文所述,在确定差异值不收敛之后,可以将与第m+j个差 异值对应的多个频域点数据进行调整,得到多个调整后的频域点数据。基 于多个调整后的频域点数据,返回至操作S320,对多个调整后的频域点数 据进行渲染,生成第m+j+1个第一三维虚拟形象。再执行后续操作。
例如,点数据包括点坐标数据和颜色数据。在一个示例中,频域点数 据包括频域点坐标数据和频域颜色数据。
通过本公开实施例,在差异值不收敛的情况下,对频域点数据进行调 整,至差异值收敛,使得第二三维虚拟形象的感知特征与预定风格特征匹 配,提高用户体验。
在一些实施例中,与方法300不同之处在于,可以将差异值与预设差 异阈值进行比较,以确定差异值是否收敛。
例如,在第n个差异值小于或等于预设阈值的情况下,确定差异值收 敛。
又例如,在第n个差异值大于预设差异阈值的情况下,确定差异值不 收敛。
图4是根据本公开的另一个实施例的虚拟形象生成方法的流程图。
如图4所示,该方法444可以对多个频域点数据进行调整,下面将结 合操作S4441~操作S4442进行详细说明。
在操作S4441,针对多个频域点数据中的每个频域点数据,确定每个 频域点数据的点法线。
例如,可以利用Unity 3D工具根据多个频域点数据,确定一个网格 (Mesh)模型Model_Mesh_k。该网格模型Model_Mesh_k中包含多个三 角形平面片子模型。在一个示例中,一个三角形平面片子模型可以与一个 频域点数据对应。在一个示例中,根据网格模型Model_Mesh_k,进行渲 染,可以得到一个三维虚拟形象。
在操作S4442,沿点法线延伸的方向调整每个频域点数据。
例如,如上文所述,频域点数据包括频域点坐标数据和频域点颜色数 据。可以沿点法线延伸的方向调整频域点坐标数据的数值。
例如,在沿点法线延伸的方向调整点坐标数据的数值之后,可以得到 一个调整后的网格模型Model_Mesh_k+1。k为大于或等于1的整数。
在一个示例中,利用渲染器对网格模型Model_Mesh_k+1进行渲染, 可以得到第k+1次调整后的第一三维虚拟形象。沿点法线延伸的方向进行 调整,可以确保每个频域点在一定的范围内移动,以便调整后的频域点数 据分布更加均匀。
在一些实施例中,对多个频域点数据进行调整可以包括:对每个频域 颜色数据的数值进行调整。
在一些实施例中,网格模型的数据结构可以是一个图结构。相应地, 网格模型可以包括多个点、多个边和多个面。
例如,网格模型的数据结构可以是一个有向图结构。又例如,网格模 型的数据结构可以是一个无向图结构。
在一些实施例中,点法线可以是顶点法线。
例如,可以对三角形平面片的顶点的面领域法线进行加权平均,以得 到顶点法线。
在一些实施例中,与方法400不同,对多个频域点数据进行调整包括: 根据多个频域点数据,确定面点法线;沿面点法线延伸的方向调整多个频 域点数据。
例如,一个面可以是根据至少一个三角形平面片确定的。面点法线可 以表征面内的顶点,而不是网格模型的顶点。面点法线与网格顶点之间的 关系是多对一的关系。例如,对于正方体网格模型中的一个角点,该角点 具有三个垂直的相邻面。面点法线可以根据这三个垂直的相邻面确定。
图5是根据本公开的一个实施例的虚拟形象生成装置的框图。
如图5所示,该装置500可以包括转换模块510、渲染模块520、第 一确定模块530和生成模块540。
转换模块510,用于将初始三维虚拟形象的多个点数据转换到频域, 得到多个频域点数据。在一个示例中,该转换模块510可以用于执行例如 图2中的操作S210。
渲染模块520,用于对所述多个频域点数据进行渲染,生成第一三维 虚拟形象。在一个示例中,该渲染模块520可以用于执行例如图2中的操 作S220。
第一确定模块530,用于确定所述第一三维虚拟形象的感知特征。在 一个示例中,该第一确定模块530可以用于执行例如图2中的操作S230。
生成模块540,用于根据所述感知特征与预定风格特征之间的差异, 生成第二三维虚拟形象。在一个示例中,该生成模块540可以用于执行例 如图2中的操作S240。
在一些实施例中,所述生成模块包括:第一确定子模块,用于确定所 述感知特征与预定风格特征之间的差异值;第二确定子模块,用于确定所 述差异值是否收敛;获得子模块,用于在确定所述差异值收敛的情况下, 将当前第一三维虚拟形象作为所述第二三维虚拟形象;以及调整子模块, 用于在确定所述差异值不收敛的情况下,对所述多个频域点数据进行调整, 并返回所述对所述多个频域点数据进行渲染的操作。
在一些实施例中,所述点数据包括点坐标数据和颜色数据。
在一些实施例中,所述调整子模块包括:确定单元,用于针对所述多 个频域点数据中的每个频域点数据,确定所述每个频域点数据的点法线; 以及调整单元,用于沿所述点法线延伸的方向调整所述每个频域点数据。
在一些实施例中,所述第一确定模块包括:利用对比图文预训练模型 处理所述第一三维虚拟形象,得到所述第一三维虚拟形象的感知特征。
在一些实施例中,装置500还包括:第二确定模块,用于利用对比图 文预训练模型,根据风格描述信息确定所述预定风格特征。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、 加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背 公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储 介质和一种计算机程序产品。
例如,本公开还提供了一种电子设备,该电子设备包括:至少一个处 理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可 被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一 个处理器能够执行根据本公开提供的方法。
例如,本公开还提供了一种存储有计算机指令的非瞬时计算机可读存 储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
例如,本公开还提供了一种计算机程序产品,包括计算机程序,所述 计算机程序在被处理器执行时实现根据本公开提供的方法。下面将结合图 6进行详细说明。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意 性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、 台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算 机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸 如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算 装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示 例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存 储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存 储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在 RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O) 接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606, 例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等; 存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制 解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网 的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理 组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图 形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机 器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的 处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如虚拟形象生成方法。例如,在一些实施例中,虚拟形象生成 方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如 存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由 ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机 程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的虚 拟形象生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元 601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行 虚拟形象生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路 系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、 专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设 备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些 各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者 多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储 系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将 数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出 装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的 任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其 他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控 制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可 以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机 器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含 或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设 备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读 储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电 磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组 合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑 盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的 任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术, 该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线 管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠 标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算 机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的 反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉 反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如, 作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、 或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器 的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处 描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部 件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络 的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此 并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具 有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或 删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地 执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望 的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术 人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、 子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和 改进等,均应包含在本公开保护范围之内。
Claims (12)
1.一种虚拟形象生成方法,包括:
将初始三维虚拟形象的多个点数据转换到频域,得到多个频域点数据;
对所述多个频域点数据进行渲染,生成第一三维虚拟形象;
确定所述第一三维虚拟形象的感知特征;以及
根据所述感知特征与预定风格特征之间的差异,生成第二三维虚拟形象,
其中,所述根据所述感知特征与预定风格特征之间的差异,生成第二三维虚拟形象包括:
确定所述感知特征与预定风格特征之间的差异值;
确定所述差异值是否收敛;
在确定所述差异值不收敛的情况下,对所述多个频域点数据进行调整,并返回所述对所述多个频域点数据进行渲染的操作;
其中,所述对所述多个频域点数据进行调整包括:
针对所述多个频域点数据中的每个频域点数据,
确定所述每个频域点数据的点法线;以及
沿所述点法线延伸的方向调整所述每个频域点数据。
2.根据权利要求1所述的方法,其中,所述根据所述感知特征与预定风格特征之间的差异,生成第二三维虚拟形象还包括:
在确定所述差异值收敛的情况下,将当前第一三维虚拟形象作为所述第二三维虚拟形象。
3.根据权利要求1或2所述的方法,其中,所述点数据包括点坐标数据和颜色数据。
4.根据权利要求1所述的方法,其中,所述确定所述第一三维虚拟形象的感知特征包括:
利用对比图文预训练模型处理所述第一三维虚拟形象,得到所述第一三维虚拟形象的感知特征。
5.根据权利要求1所述的方法,还包括:
利用对比图文预训练模型,根据风格描述信息确定所述预定风格特征。
6.一种虚拟形象生成装置,包括:
转换模块,用于将初始三维虚拟形象的多个点数据转换到频域,得到多个频域点数据;
渲染模块,用于对所述多个频域点数据进行渲染,生成第一三维虚拟形象;
第一确定模块,用于确定所述第一三维虚拟形象的感知特征;以及
生成模块,用于根据所述感知特征与预定风格特征之间的差异,生成第二三维虚拟形象;
其中,所述生成模块包括:
第一确定子模块,用于确定所述感知特征与预定风格特征之间的差异值;
第二确定子模块,用于确定所述差异值是否收敛;
调整子模块,用于在确定所述差异值不收敛的情况下,对所述多个频域点数据进行调整,并返回所述对所述多个频域点数据进行渲染的操作;
所述调整子模块包括:
确定单元,用于针对所述多个频域点数据中的每个频域点数据,确定所述每个频域点数据的点法线;以及
调整单元,用于沿所述点法线延伸的方向调整所述每个频域点数据。
7.根据权利要求6所述的装置,其中,所述生成模块包括:
获得子模块,用于在确定所述差异值收敛的情况下,将当前第一三维虚拟形象作为所述第二三维虚拟形象。
8.根据权利要求6或7所述的装置,其中,所述点数据包括点坐标数据和颜色数据。
9.根据权利要求6所述的装置,其中,所述第一确定模块还用于:
利用对比图文预训练模型处理所述第一三维虚拟形象,得到所述第一三维虚拟形象的感知特征。
10.根据权利要求6所述的装置,还包括:
第二确定模块,用于利用对比图文预训练模型,根据风格描述信息确定所述预定风格特征。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至5中任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210244262.7A CN114612600B (zh) | 2022-03-11 | 2022-03-11 | 虚拟形象生成方法、装置、电子设备和存储介质 |
KR1020220155155A KR20220161233A (ko) | 2022-03-11 | 2022-11-18 | 가상 캐릭터 생성 방법, 가상 캐릭터 생성 장치, 전자장비, 저장매체 및 컴퓨터 프로그램 |
JP2022211477A JP2023026531A (ja) | 2022-03-11 | 2022-12-28 | バーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
US18/181,371 US20230206578A1 (en) | 2022-03-11 | 2023-03-09 | Method for generating virtual character, electronic device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210244262.7A CN114612600B (zh) | 2022-03-11 | 2022-03-11 | 虚拟形象生成方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114612600A CN114612600A (zh) | 2022-06-10 |
CN114612600B true CN114612600B (zh) | 2023-02-17 |
Family
ID=81863540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210244262.7A Active CN114612600B (zh) | 2022-03-11 | 2022-03-11 | 虚拟形象生成方法、装置、电子设备和存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230206578A1 (zh) |
JP (1) | JP2023026531A (zh) |
KR (1) | KR20220161233A (zh) |
CN (1) | CN114612600B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820908B (zh) * | 2022-06-24 | 2022-11-01 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、电子设备和存储介质 |
CN114792355B (zh) * | 2022-06-24 | 2023-02-24 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、电子设备和存储介质 |
CN115359220B (zh) * | 2022-08-16 | 2024-05-07 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的虚拟形象更新方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8890931B2 (en) * | 2010-08-26 | 2014-11-18 | City University Of Hong Kong | Fast generation of holograms |
CN107330966A (zh) * | 2017-06-21 | 2017-11-07 | 杭州群核信息技术有限公司 | 一种渲染方法和装置 |
CN110531860A (zh) * | 2019-09-02 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9520101B2 (en) * | 2011-08-31 | 2016-12-13 | Microsoft Technology Licensing, Llc | Image rendering filter creation |
CN109427088B (zh) * | 2017-08-18 | 2023-02-03 | 腾讯科技(深圳)有限公司 | 一种模拟光照的渲染方法及终端 |
CN113643412B (zh) * | 2021-07-14 | 2022-07-22 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
-
2022
- 2022-03-11 CN CN202210244262.7A patent/CN114612600B/zh active Active
- 2022-11-18 KR KR1020220155155A patent/KR20220161233A/ko unknown
- 2022-12-28 JP JP2022211477A patent/JP2023026531A/ja active Pending
-
2023
- 2023-03-09 US US18/181,371 patent/US20230206578A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8890931B2 (en) * | 2010-08-26 | 2014-11-18 | City University Of Hong Kong | Fast generation of holograms |
CN107330966A (zh) * | 2017-06-21 | 2017-11-07 | 杭州群核信息技术有限公司 | 一种渲染方法和装置 |
CN110531860A (zh) * | 2019-09-02 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
Non-Patent Citations (3)
Title |
---|
Simulation of combined head and room impulse response based on sound ray tracing in frequency domain;Junwei He;《IET International Conference on Smart and Sustainable City 2013 (ICSSC 2013)》;20140213;全文 * |
单幅正视灰度图像三维重建及伪彩处理的研究与实现;厉为;《信息科技》;20120815(第8期);全文 * |
飞行模拟器中的虚拟声音建模与实时渲染技术;杨新颖等;《航空学报》;20090725(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114612600A (zh) | 2022-06-10 |
KR20220161233A (ko) | 2022-12-06 |
JP2023026531A (ja) | 2023-02-24 |
US20230206578A1 (en) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114612600B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN115147265B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN113407850B (zh) | 一种虚拟形象的确定和获取方法、装置以及电子设备 | |
CN113052962B (zh) | 模型训练、信息输出方法,装置,设备以及存储介质 | |
CN114120414B (zh) | 图像处理方法、装置、电子设备和介质 | |
CN114549710A (zh) | 一种虚拟形象的生成方法、装置、电子设备及存储介质 | |
CN114708374A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN112258619A (zh) | 一种图像处理方法和装置 | |
CN113870399A (zh) | 表情驱动方法、装置、电子设备及存储介质 | |
CN113421335B (zh) | 图像处理方法、图像处理装置、电子设备和存储介质 | |
CN112562043A (zh) | 图像处理方法、装置和电子设备 | |
CN112529161A (zh) | 生成对抗网络训练方法、生成对抗网络、人脸图像翻译方法和装置 | |
CN110288523B (zh) | 图像生成方法和装置 | |
CN114065784B (zh) | 训练方法、译文方法、装置、电子设备以及存储介质 | |
CN115861510A (zh) | 对象渲染方法、装置、电子设备、存储介质及程序产品 | |
CN115880506A (zh) | 图像生成方法、模型的训练方法、装置及电子设备 | |
CN115147306A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN114926322A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
CN114078184A (zh) | 数据处理方法、装置、电子设备和介质 | |
CN113887435A (zh) | 人脸图像处理方法、装置、设备、存储介质及程序产品 | |
CN114820908B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN116363331B (zh) | 图像生成方法、装置、设备以及存储介质 | |
CN113610992B (zh) | 骨骼驱动系数确定方法、装置、电子设备及可读存储介质 | |
CN113608615B (zh) | 对象数据处理方法、处理装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |