CN117853622A - 一种用于创建头像的系统和方法 - Google Patents
一种用于创建头像的系统和方法 Download PDFInfo
- Publication number
- CN117853622A CN117853622A CN202310756163.1A CN202310756163A CN117853622A CN 117853622 A CN117853622 A CN 117853622A CN 202310756163 A CN202310756163 A CN 202310756163A CN 117853622 A CN117853622 A CN 117853622A
- Authority
- CN
- China
- Prior art keywords
- model
- user
- avatar
- customized
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004891 communication Methods 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims description 45
- 230000033001 locomotion Effects 0.000 description 64
- 210000003128 head Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003694 hair properties Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Abstract
一种用于创建头像的系统和方法,该系统包括:计算设备,包括处理器和存储器单元,所述处理器与所述存储器单元电子通信,用户界面,其被配置为从用户接收输入,显示器,其被配置为显示数据,所述处理器与所述用户界面和所述显示器电子通信,所述计算设备被配置为:通过所述用户界面接收输入以创建头像,通过所述用户界面接收选择基础3D模型的选择,基于一个或多个用户输入定制所述基础3D模型,通过所述显示器呈现定制的3D模型,其中所述定制的3D模型是与所述用户相关联的头像。
Description
技术领域
本发明涉及一种用于创建头像的系统和方法,尤其是,虽然不仅限于此,本发明涉及创建数字头像。
背景技术
计算机使用各种数据点生成虚拟现实和增强现实环境(即数字环境)。数字环境的使用正在增加。数字环境即虚拟环境是视频游戏、在线市场和其他应用程序常见的。
头像(即数字角色)在数字环境中越来越常见,如虚拟现实和增强现实应用程序。头像(即数字角色)用于在数字环境中代表电子设备的用户。头像可以代表用户的外观。
发明内容
许多人有想象力和创造内容的动力,但很多人缺乏技术技能或资源来执行创建内容的操作。几个当前的头像(即数字角色)创建平台具有挑战性。这些当前平台中的许多要求用户即人必须具备3D建模和动画技能。其中几个平台也很难使用。因此,这些平台通常被艺术家或数字专家使用。头像创建可能不太容易接近想要创建头像并创建内容的普通人。
本发明涉及一种用于创建头像的系统和方法。特别是,本发明涉及一种用于创建数字头像(即数字角色)的系统和方法。本发明还涉及一种用于编辑头像的系统和方法。该系统还被配置为使头像动画化。用于创建头像的系统提供了一种更用户友好、更易于使用的头像创建系统,特别是对于头像创建技能较少的人即用户。
根据本发明的第一个方面,提供了一种用于创建头像的系统,该系统包括:
计算设备,包括处理器和存储器单元,所述处理器与所述存储器单元电子通信,
用户界面,其被配置为从用户接收输入,
显示器,其被配置为显示数据,
所述处理器与所述用户界面和所述显示器电子通信,
所述计算设备被配置为:
通过所述用户界面接收输入以创建头像,
通过所述用户界面接收选择基础3D模型的选择,
基于一个或多个用户输入定制所述基础3D模型,
通过所述显示器呈现定制的3D模型,其中所述定制的3D模型是与所述用户相关联的头像。
在实施例中,所述计算设备进一步被配置为:
从图像捕获设备接收所述用户的图像,
所述图像至少包括图像中的用户脸部,
识别接收到的所述图像中的一个或多个面部特征,
修改所述基础3D模型以复制所述已识别的一个或多个面部特征到所述定制的3D模型的面部,使得所述定制的3D模型的面部包括一个或多个所述已识别的面部特征。
在实施例中,所述定制的3D模型的面部是基于复制所述一个或多个面部特征到所述定制的3D模型的面部的用户提供的面部数据的写实表示。
在实施例中,其中所述计算设备被配置为:
计算接收到的所述图像中的所述一个或多个面部特征相对于彼此的位置,
根据计算出的所述相对位置缩放所述一个或多个面部特征,并将所述一个或多个面部特征定位到所述定制的3D模型的面部,以使所述一个或多个面部特征对应于计算出的所述相对位置。
在实施例中,所述计算设备被配置为:
计算一个或多个所述面部特征相对于彼此的尺寸,并在将所述面部特征复制到所述定制的3D模型时根据相对尺寸缩放所述一个或多个面部特征。
在实施例中,所述计算设备被配置为:
从所述图像捕获设备接收所述用户的图像或视频流,
检测接收到的所述图像或所述视频流中的用户动作,
将检测到的动作应用于所述定制的3D模型,以使所述定制的3D模型复制检测到的所述用户的动作。
在实施例中,所述计算设备被配置为应用自动绑定过程到所述定制的3D模型,以使所述定制的3D模型复制检测到的所述动作。
在实施例中,所述计算设备被配置为实时将检测到的所述用户的动作应用于所述定制的3D模型,以使所述定制的3D模型在所述用户执行动作时复制所述用户的动作。
在实施例中,所述计算设备被配置为:
通过所述用户界面接收一个动作选择,其中所述动作选择包括预定义动作列表中的一个或多个所述定制的3D模型的动作,
通过所述自动绑定过程将一个或多个所述动作应用于所述定制的3D模型,以使所述定制的3D模型被配置为执行所选的一个或多个所述动作。
在实施例中,所述计算设备被配置为:
呈现可选择的歌曲音乐库给所述用户,
接收所述用户选择的一个或多个歌曲,
将所选的一个或多个所述歌曲与所述定制的3D模型相关联或将所选的一个或多个所述歌曲与所述定制的3D模型的一个所述动作相关联。
术语“图像”定义为由图像捕获设备(例如相机)捕获的主题的静态图像。该术语还定义并涵盖被图像捕获设备(例如相机)捕获的主题的视频流的帧。视频流包括多个帧,每个帧可以视为一个图像。帧和图像的术语可以在本说明书中互换使用。
术语“三维模型”(3D模型)表示头像。术语3D模型和头像可以指同一数字对象。头像还可以指用户定制的3D模型。
附图说明
现在将参考附图以举例的方式描述本发明的实施例,其中:
图1说明了创建头像的示例实施方式。
图2说明了由图1显示的系统实现的创建头像的方法的流程图。
图3至8说明了使用创建头像的系统创建头像的示例屏幕截图。
具体实施方式
本发明涉及一种用于创建头像的系统和方法。特别是,本发明涉及一种用于创建数字头像(即数字角色)的系统和方法。该系统和方法可用于编辑或修改创建的头像。创建头像的系统和方法允许用户创建自定义头像(custom avatar),即定制(customized)头像。用户可以定制头像的外观和动作。该系统还被配置为允许用户使用一个或多个动作使头像动画化。
用于创建头像的系统提供了一种更用户友好、更易于使用的头像创建系统,特别是对于头像创建技能较少的用户。
参考图1,说明了创建头像的系统10的示例实施方式。系统10的示例实施方式旨在提供创建头像的方法。
通常用于创建头像的系统包括计算机设备。计算机设备包括处理器和存储器单元。处理器与存储器单元电子通信。计算机设备还包括被配置为从用户接收输入的用户界面和被配置为显示数据的显示器。处理器与用户界面和显示电子通信。
该系统还包括图像捕获设备。图像捕获设备可以是相机或其他适当的图像捕获设备。图像捕获设备可以集成到计算机设备中。或者,图像捕获设备可以与计算机设备分离。图像捕获设备可以将图像传输到计算机设备,特别是可以将图像传输到处理器进行处理。
计算机设备被配置为:通过用户界面接收创建头像的输入,通过用户界面接收选择基本三维(3D)模型的选择,根据一个或多个用户输入定制基本3D模型,通过显示器呈现定制3D模型,其中定制3D模型是与用户相关联的头像。
计算机设备可以被配置为允许用户使用用户面部和一个或多个动作定制3D模型以创建定制的头像。计算机设备可以被配置为:从图像捕获设备接收用户的图像,其中图像包括图像中的至少一个用户面孔。计算机设备进一步被配置为识别接收到的图像中的一个或多个面部特征。计算机设备进一步被配置为修改基本3D模型以将识别的一个或多个面部特征复制到3D模型的面部上,使得定制的3D模型的面部包括一个或多个识别的面部特征。
该系统允许创建具有定制动作或运动的头像。计算机设备可以被配置为从图像捕获设备接收用户的图像或视频流,检测接收到的图像或视频流中的用户运动,将检测到的用户运动应用于3D模型,使得3D模型复制用户的检测到的运动。复制检测到的运动的3D模型是定制头像。
计算机设备100可以由任何计算机体系结构实现,包括便携式计算机、平板电脑、独立个人计算机(PC)、智能设备、物联网(IOT)设备、边缘计算设备、客户端/服务器体系结构、“哑终端/主机机”体系结构、基于云计算的体系结构或任何其他适当的体系结构。在所示的示例中,计算机设备100包括便携式计算机。
或者,计算机设备100可以由移动设备体系结构实现,包括例如智能手机、平板电脑、智能手表、手持式控制台、电子书阅读器、智能可穿戴设备例如智能眼镜或笔记本电脑。
计算设备100包括适当的组件,用于接收、存储和执行适当的计算机指令。这些组件可能包括处理器102,包括中央处理器(CPU)、数学协处理器、图形处理器(GPU)或张量处理器(TPU)用于张量或多维数组计算或操作。该设备100可能包括一个或多个存储器单元,例如只读存储器(ROM)104、随机存取存储器(RAM)106和输入/输出设备,例如磁盘驱动器108、输入设备110(例如以太网端口,USB端口等)、显示器112(例如液晶显示器、发光显示器或任何其他适当的显示器)和通信链接114。计算设备100可能包括在ROM 104、RAM 106或磁盘驱动器108中包含的指令,这些指令可以由处理器102即处理单元执行。
计算设备100包括用户界面118。用户界面118被配置为从用户接收指令。在所示示例中,用户界面118包括一个键盘。显示器112可能包括触摸屏。触摸屏可以作为显示器和用户界面118。触摸屏可以接收输入并向用户提供输出。
可以提供多个通信链接114,这些通信链接可以连接到一个或多个计算设备,例如服务器、个人计算机、终端、无线或手持计算设备、物联网(IoT)设备、智能设备、边缘计算设备。至少一个通信链接可能通过电话线或其他类型的通信链接连接到外部计算网络。
计算设备100可以包括存储设备,例如磁盘驱动器108,其中包括固态驱动器、硬盘驱动器、光驱、磁带驱动器或远程或基于云的存储设备。计算设备100可以使用单个磁盘驱动器或多个磁盘驱动器,或远程存储服务。计算设备100还可以具有适当的操作系统116,该操作系统驻留在计算设备100的磁盘驱动器或ROM中。
计算设备100包括软件应用程序120。软件应用程序存储在非易失性计算机可读介质中,例如在ROM 104中。软件应用程序120包括可执行指令,用于控制计算设备100的操作和功能。包含在应用程序120中的指令由处理器102执行。该应用程序120定义了一种创建化身的方法。系统10被配置为执行创建化身的方法。
计算设备100还包括多个数据库。计算设备100包括用户数据库122,该数据库被配置为存储有关注册用户的信息。已注册用户注册使用应用程序120。用户数据库122存储用户凭据。
计算设备100包括通用模型数据库124。通用模型数据库124存储多个基础3D模型,即通用(generic)3D模型。这些被认为是可以由用户稍后定制的基础(base)模型。用户可以从通用模型数据库124中选择通用化身即基础化身。
计算设备100包括面部模型数据库126。面部模型数据库存储多个可选择的面部。面部模型数据库126存储可应用于通用3D模型的多个面部。计算设备100还包括模型身体数据库128,该数据库存储多个用户可选择的身体类型。可以选择这些身体类型并应用于通用3D模型。计算设备100包括配件数据库130。配件数据库130包括一个或多个可以应用于3D模型的配件。配件可以由用户选择。配件是可以应用于3D模型以定制3D模型的数字配件。
计算设备100还包括移动数据库132。移动数据库132被被配置为存储多个用户选择的移动。可以将一个或多个用户选择的移动应用于3D模型,以定制3D模型以创建定制化身。移动可以定义为一个或多个肢体的移动。移动数据库132可能被被配置为存储一个或多个预定义操作,例如挥手、跳跃、竖起大拇指等。操作可以应用于3D模型。操作也可以与预定的触发(trigger)一起应用。触发导致定制化身执行该操作或其他移动。触发可能包括用户通过用户界面或口头命令或用户手势发出的命令等。
数据库122-132可能在计算设备100内部存储,例如在存储器单元104、106、108中。或者,数据库122-132可以在远程存储,例如在云系统或远程站点中存储。可以通过远程位置访问数据库。或者,某些数据库可能是本地存储的,而某些数据库可能是远程存储的,并且可以远程访问。
计算机或计算设备100还可以提供必要的计算能力,以操作或与机器学习网络(例如神经网络)进行接口,以提供各种功能和输出。神经网络可以在本地实现,也可以通过服务器或基于云的服务进行访问或部分访问。机器学习网络也可以未经训练、部分训练或完全训练,或者也可以随时间重新训练、适应或更新。
用于创建化身的系统10被配置为根据用户的指令创建化身。处理器102被配置为与存储器单元104、106电子通信。用户界面118被配置为从用户接收输入,而显示器112被配置为显示数据。处理器102被配置为与用户界面和显示器电子通信。计算设备100被被配置为:通过用户界面接收来自输入设备的输入以创建化身,通过用户界面接收选择基础三维(3D)模型的选择,基于一个或多个用户输入定制基础3D模型,并通过显示器呈现定制3D模型,其中定制3D模型是与用户相关联的化身。
定制3D模型即化身的面部是用户面部的写实表示(realistic representation),是基于将一个或多个面部特征复制到3D模型的面部上。计算设备被配置为从图像捕获设备101接收用户的图像。图像包括图像中的用户面部。如果面部不完全可见或存在阴影或障碍物,则计算设备可以通过显示器向用户显示错误消息。用户可能会被提示拍摄更多图像。可以在显示器112上呈现一些有用的提示,以帮助用户拍摄照片。
如果计算设备100是移动设备,则提示也可以包括有关如何持有计算设备以拍摄理想图像的信息。计算设备可以包括一个或多个传感器,例如加速度计和/或一个或多个陀螺仪。传感器可以用于确定相机和/或计算设备的方向。方向数据可以用于确定相机是否处于适当的位置以捕获图像。如果方向数据超出可接受的阈值,则会向用户显示警告消息。还可以呈现有关更正相机方向的有用提示,以帮助用户拍摄图像。
计算设备100被配置为识别接收到的图像中用户的一个或多个面部特征。计算设备100被被配置为修改基础3D模型,以将识别的一个或多个面部特征复制到3D模型的面部上,使得定制3D模型的面部包括一个或多个识别的面部特征。图像可以通过图像捕获设备进行捕获。或者,根据用户的指令,可以从存储器单元中访问图像。存储器可能包含存储在存储器单元中的多个图像。可选地,计算设备100可以从云服务或CDN或其他远程站点访问用户的图像。
用户图像中识别的面部特征被复制到3D模型上,以创建一个定制化身。计算设备100被配置为计算识别的一个或多个面部特征相对于图像中彼此的位置。可以基于叠加到图像上的坐标系来计算位置。或者,计算设备可以通过像素计算相对距离来计算特征之间的位置。
然后,计算设备被配置为缩放一个或多个特征并将一个或多个面部特征定位到3D模型的面部上,使得一个或多个面部特征对应于计算出的相对位置。通过这种方式,面部特征被复制到3D模型的面部上,并且看起来逼真/写实,并提供用户面部外观的近似值。这样,3D模型即化身看起来像用户。
为了改善化身,计算设备被配置为计算一个或多个面部特征的相对尺寸。这可以在像素中计算,也可以基于参考以毫米或厘米计算。当面部特征被复制到3D模型上时,计算设备也被配置为根据相对尺寸缩放一个或多个面部特征。用户可以定制3D模型以创建具有与用户相同脸部的定制化身,即化身的面部与用户的面部外观相同。
创建化身的系统10允许用户选择定制化身的动作或移动。计算设备100被配置为通过用户界面接收运动选择,其中该运动选择包括从预定义运动列表中选择的一个或多个3D模型的运动。预定义的运动列表可以存储在运动数据库132中。运动列表可以是列表(list),也可以是以任何其他适当格式存储的运动。可以将选定的运动应用于3D模型,以使化身动画化,即使3D模型执行所选运动或动作。
创建化身的系统10被配置为允许用户将定制移动应用于3D模型。更具体地说,系统10被配置为允许扫描用户的移动并将这些移动转换为3D模型,以使化身可以执行用户的移动。计算设备100可以从图像捕获设备或其他适当的扫描设备捕获用户的移动。计算设备100被配置为从图像捕获设备接收用户的图像或视频流,优选为捕获视频流。
用户可能会被提示使用图像捕捉设备101或其他适当的扫描设备记录动作。计算设备100进一步被配置为检测用户在接收到的图像或视频流中的动作。处理器102被配置为处理接收到的视频流,并对视频流应用动作识别算法。
处理器102被配置为使用动作识别算法检测一个或多个动作,例如挥手、竖起大拇指或任何其他动作。处理器102还可以根据动作识别算法处理视频流以识别用户的一般动作。计算设备100进一步被配置为将检测到的动作应用于3D模型,以使3D模型复制用户的检测到的动作。这导致了可以执行定制动作和动作的定制化头像。
然后,计算设备100被配置为通过自动绑定(auto rigging)过程将一个或多个动作应用于3D模型,以便3D模型被配置为执行一个或多个所选的动作。自动绑定过程可以作为算法或程序存储在内存单元104、106、108中,并且可以由处理器执行。
在一种自动绑定过程的例子中,由处理器执行,创建3D模型的骨架。骨架是代表骨骼的数字骨架。骨架最好是3D的。还创建了一个网格,即3D模型的表面表示。处理器102自动地将骨骼的运动与骨架运动对网格特定部分的影响相互关联。处理器根据骨架的运动对3D模型进行动画处理,以使模型根据骨骼运动和网格运动之间的关系适当地移动。这个绑定过程由处理器102和计算设备100自动执行,以便非职业的用户可以为动画角色设定动作。
可选地,系统10允许检测并实时应用动作于3D模型。计算设备100被配置为实时将用户检测到的动作应用于3D模型,以使3D模型在用户执行动作时复制用户的运动。
计算设备100还可以包括音乐数据库134。音乐数据库134存储可以被用户访问的多首歌曲。这些歌曲可以以合适的格式(如MP3)存储。音乐数据库134可以存储原创音乐、免版税音乐或授权音乐,也可以是这些的结合体。来自音乐数据库134的音乐可以在社交媒体或其他在线或离线平台上使用。一旦由用户创建并定制,头像也可以导出并在在线或离线平台上使用。例如,头像可以被导出并在元宇宙、在线游戏、虚拟会议等中使用。
计算设备100被配置为向用户呈现可选择歌曲的音乐库。音乐库可以链接到音乐数据库134。或者计算设备100可以链接到CDN或远程服务器,以提供音乐,例如连接到Spotify服务器或iTunes服务器。
计算设备100被配置为接收用户选择的一个或多个歌曲。设备100访问所选的歌曲。可以在选歌时选择提供有偿授权音乐。计算设备100进一步被配置为将一个或多个所选的歌曲与3D模型相关联,或将所选的一个或多个歌曲与3D模型的动作相关联。例如,用户可以将所选的歌曲与特定动作或动作相关联,以使头像在执行该动作或动作时播放所选的歌曲。
图2显示创建头像200的示例方法。创建头像200的方法由计算设备100执行。方法200可以被定义为包含在应用程序120中的可执行指令。
参考图2,一旦用户打开应用程序,方法200即被启动。方法200包括登录步骤。在登录步骤中,用户使用用户凭据登录。检查用户凭据,并允许用户访问创建头像。或者,要求用户创建帐户。
步骤202包括通过用户界面接收输入以创建头像。用户可以被呈现多个选项,用户可以选择创建头像。步骤204包括接收所选基本三维模型(3D模型)。基本3D模型是通用3D模型。在步骤202后,呈现了多个基本3D模型。这些3D模型是从通用模型数据库124中访问的。
步骤206包括呈现定制头像选项。如果选择NO,则选择通用3D模型并在步骤208中呈现为头像。如果选择YES,则用户的计算设备可以根据用户输入定制3D模型。如果用户选择YES,则该方法继续到210。
步骤210到216包括定制3D模型外观以创建具有定制外观的头像。特别是,步骤210到216定义了定制3D模型的面部外观,以使面部特征复制到3D模型的面部上,从而使定制3D模型的面部包括一个或多个已识别的面部特征。步骤216通过显示器112向用户呈现定制3D模型(即头像)。头像(即定制头像)具有与用户面部相当相似的面部。可以对身体特征采用类似的过程,使头像与用户相当相似。头像可以是缩小版本。定制头像提供了一个数字角色,类似于用户。
可以像之前描述的那样识别和复制面部特征。
可选地,用户可以使用预定义属性定制头像。例如,用户可以选择头发、眼睛、鼻子、耳朵、面部形状、性别、身体形状和其他可选择的属性。使用所选属性修改通用3D模型以创建定制头像。
方法200进一步允许用户定制头像的动作或运动。步骤218包括从图像捕捉设备接收视频流。或者,可以使用其他适当的全身扫描设备捕捉用户的运动。这些捕捉到的运动可以以视频流的形式捕捉并传输到处理器102进行处理。
步骤220包括检测视频流中用户的动作。计算设备100可以被配置为应用动作或运动识别算法以检测运动。运动识别算法可以包括将移动图像解析成骨架(skeleton),并确定每个关节和/或肢体的动作。自动绑定系统可以用于解析(resolve)用户的骨架运动。骨架可以是数字表示。
步骤222包括将检测到的动作应用于3D模型,使3D模型复制检测到的动作。3D模型可以以与检测到的运动相同的方式移动。在一个例子中,可能会识别特定的动作并应用于头像。例如,运动或动作可以与特定触发相关联。例如,头像可以根据输入(例如键盘输入)响应特定的动作或动作。其他触发可以是手势、听觉触发或任何其他适当的触发。
在另一种方法200中,可以从一组预定义的运动中选择运动或动作。定制头像的动作可能包括接收用户界面的运动选择。运动选择包括来自预定义列表(即预定义运动集)的3D模型的一个或多个运动。可以从运动数据库中访问这组运动。该方法可能包括将所选的运动应用于3D模型,以定制3D模型执行的运动。
计算设备被配置为将自动绑定过程应用于3D模型,以应用检测到的动作,使3D模型复制检测到的动作。从视频流中检测到的动作或从预定义列表中检测到的动作可以通过在显示器上呈现的简单动作界面应用于头像。
系统10还可以提供视频创建界面。界面可以呈现在显示器112上。视频创建界面可以包括拖放界面,可用于使用定制头像创建一个或多个视频剪辑。可以通过将头像动作拖放到视频创建界面中来创建视频或剪辑。该拖放方法使用户可以在不需要任何设计技能的情况下使用头像创建视频。
方法200还可以包括将音乐与头像相关联的附加、可选步骤。步骤224包括用户从歌曲库(即音乐数据库)中选择一个或多个歌曲。步骤226包括将所选音乐与头像相关联。所选音乐可以与头像的运动相关联。此外,用户可以将所选的音乐合并到用户使用视频创建界面创建的视频中。
图3到8说明了使用系统10和方法200创建头像的示例屏幕截图。图3到8说明了应用程序120的示例屏幕截图。应用程序120允许用户使用系统并执行方法200创建头像。图3说明了示例主屏幕300。用户完成登录后,主屏幕显示在显示器112上。主屏幕包括仪表板302。仪表板302呈现了三个选项。选项与相关联的图标呈现。
用户可以选择三个选项中的任何一个。在所示的示例中,三个选项分别为头像(Avatar)304、动态捕捉(Motion Capture/Mocap)306、歌曲(MP3)308。头像图标304允许用户创建头像。动态捕捉图标306允许用户执行动作捕捉,即捕捉用户的运动。动作捕捉可以通过图像捕捉设备或其他适当的全身扫描设备进行。歌曲图标308允许用户选择一首或多首歌曲。
用户可以选择头像图标304来创建定制头像。创建头像的方法可以包括向用户呈现多个屏幕。图4说明了选择通用3D模型的初始屏幕。如图4所示,呈现了一个性别选择屏幕400。在所示的示例中,3D模型可能是三种性别之一:男性、女性或中性。这些选项可以作为虚拟按钮呈现。
图5展示了男性3D模型500。如图5所示,可以呈现可修改的属性列表。属性列表502包括头发、眼睛、鼻子、嘴唇、衣服等属性,可以通过选择任何一个属性来修改。此外,也可以根据用户图像修改头像以复制用户的面部。
图6展示了另一个示例头像,即3D模型。3D模型600是一个女性模型。图6显示选择了头发属性602。正在修改模型的头发属性602。
图7展示了3D模型500被编程为具有动作。在视觉外观确定后,用户会被提示选择动作。可以从预定义的动作中选择动作。或者,也可以记录用户的动作来定制头像。如图7所示,头像500通过移动手臂执行了波浪动作。
图8展示了音乐选择屏幕。可以通过激活音乐选择按钮800来选择音乐。在所示例子中,选择了Garbage的“I am alive”。也可以选择其他声音,如讲座或录音或声音效果。
创建头像的系统和方法允许用户将定制头像与音乐和动作相结合以创建内容。创建头像的系统和方法允许进行多种定制选项。创建头像的系统和方法非常有优势,因为它允许不同的人使用定制的头像来创建内容。例如,表演者、教师或任何其他人都可以创建定制头像,并将此头像用于数字环境,例如元宇宙或虚拟教室等。
创建头像的系统和方法允许内容创作者克服技术困难,否则这些困难将阻碍他们的创作过程。创建头像的系统和方法允许普通人创建用于数字内容的定制头像。创建头像的系统和方法简化了头像的创建,并提供了更大的灵活性以创建定制头像。使用这些定制头像在教育中也特别有用,因为它可以允许学生创建自己的虚拟头像以带来更多的参与。此外,虚拟教师可以由定制头像表示,头像可以被编程具有动作、行为和声音,例如讲座。这使得教师可以提供按需内容,例如由教师的数字化肖像提供的按需讲座,而不需要加班工作。这是由于创建头像的系统和方法的存在而实现的。
创建头像的系统10和方法200允许用户通过复制用户的面部特征和/或身体特征到头像上来定制头像,从而允许人们创建自己的数字版本。本文所述的系统允许自动、快速且简单地执行此操作。此外,头像可以用用户的各种记录动作定制。这允许用户展示复杂的动作和运动,例如跳舞、运动、运动等,这些动作很难进行动画处理。此外,自动绑定系统还简化了将记录的动作应用于头像的过程。如本文所述的创建头像的系统和方法提供了几个优点,或至少为公众提供了有用的替代方案。
虽然不是必需的,但是可以将参考本文中的附图的实施方式实施为应用程序编程接口(API)或一系列库,以供开发人员使用,或包含在其他软件应用程序中,例如终端或个人计算机操作系统或便携式计算设备操作系统。通常,由于程序模块包括程序、对象、组件和数据文件来协助执行特定功能,因此技术人员将理解软件应用程序的功能可以分布在多个例程、对象或组件之间,以实现所述功能。
技术人员将理解,在本发明的方法和系统部分由计算机系统完全实施或部分由计算机系统实施时,可以利用任何适当的计算机系统架构。这将包括独立计算机、网络计算机和专用硬件设备。当使用“计算机系统”和“计算设备”这些术语时,这些术语旨在涵盖能够实现所述功能的计算机硬件的任何适当排列。
除非另有说明,本文所述的实施方式的任何参考并不意味着该信息是一般常识。
Claims (10)
1.一种用于创建头像的系统,包括:
计算设备,包括处理器和存储器单元,所述处理器与所述存储器单元电子通信,
用户界面,其被配置为从用户接收输入,
显示器,其被配置为显示数据,
所述处理器与所述用户界面和所述显示器电子通信,
所述计算设备被配置为:
通过所述用户界面接收输入以创建头像,
通过所述用户界面接收选择基础3D模型的选择,
基于一个或多个用户输入定制所述基础3D模型,
通过所述显示器呈现定制的3D模型,其中所述定制的3D模型是与所述用户相关联的头像。
2.根据权利要求1的用于创建头像的系统,其中所述计算设备进一步被配置为:
从图像捕获设备接收所述用户的图像,
所述图像至少包括图像中的用户脸部,
识别接收到的所述图像中的一个或多个面部特征,
修改所述基础3D模型以复制所述已识别的一个或多个面部特征到所述定制的3D模型的面部,使得所述定制的3D模型的面部包括一个或多个所述已识别的面部特征。
3.根据权利要求2的用于创建头像的系统,其中所述定制的3D模型的面部是基于复制所述一个或多个面部特征到所述定制的3D模型的面部的用户提供的面部数据的写实表示。
4.根据权利要求3的用于创建头像的系统,其中所述计算设备被配置为:
计算接收到的所述图像中的所述一个或多个面部特征相对于彼此的位置,
根据计算出的所述相对位置缩放所述一个或多个面部特征,并将所述一个或多个面部特征定位到所述定制的3D模型的面部,以使所述一个或多个面部特征对应于计算出的所述相对位置。
5.根据权利要求4的用于创建头像的系统,其中所述计算设备被配置为:
计算一个或多个所述面部特征相对于彼此的尺寸,并在将所述面部特征复制到所述定制的3D模型时根据相对尺寸缩放所述一个或多个面部特征。
6.根据权利要求5的用于创建头像的系统,其中所述计算设备被配置为:
从所述图像捕获设备接收所述用户的图像或视频流,
检测接收到的所述图像或所述视频流中的用户动作,
将检测到的动作应用于所述定制的3D模型,以使所述定制的3D模型复制检测到的所述用户的动作。
7.根据权利要求6的用于创建头像的系统,其中所述计算设备被配置为应用自动绑定过程到所述定制的3D模型,以使所述定制的3D模型复制检测到的所述动作。
8.根据权利要求7的用于创建头像的系统,其中所述计算设备被配置为实时将检测到的所述用户的动作应用于所述定制的3D模型,以使所述定制的3D模型在所述用户执行动作时复制所述用户的动作。
9.根据权利要求8的用于创建头像的系统,其中所述计算设备被配置为:
通过所述用户界面接收一个动作选择,其中所述动作选择包括预定义动作列表中的一个或多个所述定制的3D模型的动作,
通过所述自动绑定过程将一个或多个所述动作应用于所述定制的3D模型,以使所述定制的3D模型被配置为执行所选的一个或多个所述动作。
10.根据权利要求9的用于创建头像的系统,其中所述计算设备被配置为:
呈现可选择的歌曲音乐库给所述用户,
接收所述用户选择的一个或多个歌曲,
将所选的一个或多个所述歌曲与所述定制的3D模型相关联或将所选的一个或多个所述歌曲与所述定制的3D模型的一个所述动作相关联。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
HK32022061737 | 2022-10-06 | ||
HK32022061737.9 | 2022-10-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117853622A true CN117853622A (zh) | 2024-04-09 |
Family
ID=90566518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310756163.1A Pending CN117853622A (zh) | 2022-10-06 | 2023-06-26 | 一种用于创建头像的系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117853622A (zh) |
-
2023
- 2023-06-26 CN CN202310756163.1A patent/CN117853622A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230274511A1 (en) | Displaying virtual content in augmented reality using a map of the world | |
US20240069628A1 (en) | Rendering location specific virtual content in any location | |
US20240005808A1 (en) | Individual viewing in a shared space | |
US20200005138A1 (en) | Methods and systems for interpolation of disparate inputs | |
Linowes | Unity virtual reality projects: Learn virtual reality by developing more than 10 engaging projects with unity 2018 | |
Lomas | Cellular forms: an artistic exploration of morphogenesis. | |
JP2022500795A (ja) | アバターアニメーション | |
US11219815B2 (en) | Physiological response management using computer-implemented activities | |
US20240054712A1 (en) | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters | |
CN115244495A (zh) | 针对虚拟环境运动的实时式样 | |
Glover et al. | Complete Virtual Reality and Augmented Reality Development with Unity: Leverage the power of Unity and become a pro at creating mixed reality applications | |
Chen et al. | Virtual, Augmented and Mixed Reality: Interaction, Navigation, Visualization, Embodiment, and Simulation: 10th International Conference, VAMR 2018, Held as Part of HCI International 2018, Las Vegas, NV, USA, July 15-20, 2018, Proceedings, Part I | |
CN111383313A (zh) | 一种虚拟模型渲染方法、装置、设备及可读存储介质 | |
CN117853622A (zh) | 一种用于创建头像的系统和方法 | |
JP6892478B2 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
Gholap et al. | Past, present, and future of the augmented reality (ar)-enhanced interactive techniques: A survey | |
Seligmann | Creating a mobile VR interactive tour guide | |
US20240104870A1 (en) | AR Interactions and Experiences | |
US20220118358A1 (en) | Computer-readable recording medium, and image generation system | |
TWI814318B (zh) | 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維(3d)影像擷取來產生遊戲角色之臉部表情之標籤值之方法 | |
Lenders | Physical Perception of a VR Handshake | |
EP4288173A2 (en) | Computer-implemented method for controlling a virtual avatar | |
WO2020261341A1 (ja) | グラフィックゲームプログラム | |
KR20220105354A (ko) | Ar 교육 콘텐츠 체험 서비스 제공 방법 및 시스템 | |
Albertini | New approaches to scientific visualization in virtual immersive environments for science and humanities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |