CN116977030A - 一种基于人工智能的虚拟现实人体模型生成及交互方法 - Google Patents
一种基于人工智能的虚拟现实人体模型生成及交互方法 Download PDFInfo
- Publication number
- CN116977030A CN116977030A CN202311030148.5A CN202311030148A CN116977030A CN 116977030 A CN116977030 A CN 116977030A CN 202311030148 A CN202311030148 A CN 202311030148A CN 116977030 A CN116977030 A CN 116977030A
- Authority
- CN
- China
- Prior art keywords
- virtual
- user
- interaction
- information
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 25
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 abstract description 6
- 238000004088 simulation Methods 0.000 abstract description 6
- 238000007654 immersion Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Geometry (AREA)
- Economics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及虚拟现实领域,公开了一种基于人工智能的虚拟现实人体模型生成及交互方法,包括以下步骤:S1、对佩戴者进行面部信息捕捉及外部身体信息捕捉;S2、将扫描所得信息创建虚拟形象;S3、虚拟形象与人体动作同步;S4、生成虚拟人物;S5、实时显示生成的虚拟人物信息;S6、实时显示的虚拟人物与储存的其他虚拟人物或使用者进行交互。本发明通过面部信息和身体信息的捕捉与同步,提供更加逼真的虚拟人物模拟效果,增强用户的沉浸感和参与感;同时使用设备显示器进行实时显示生成的虚拟人物信息,且支持与储存的其他虚拟人物或使用者进行实时交互,使得用户可以立即看到虚拟人物的变化,并与其进行即时交互,增强了沟通和互动的效果。
Description
技术领域
本发明涉及虚拟现实技术领域,具体为一种基于人工智能的虚拟现实人体模型生成及交互方法。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的虚拟仿真系统,它利用虚拟现实交互设备生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。
但是,现有的虚拟现实技术中,虚拟人类往往都是通过人类根据自己的认知构建出来的,并通过预先设置好的话术或者动作进行重复作业,因此虚拟人类的智能化水平要远远低于真实人类本身的水平,使得使用者与之交互时体验较差;另一方面,如何使得真实人类以一定的智慧存在于网络之中一直是人们所向往的。
发明内容
针对现有技术的不足,本发明提供了一种基于人工智能的虚拟现实人体模型生成及交互方法,解决了传统虚拟现实技术中使用者与虚拟模型交互时体验较差的问题。
为实现以上目的,本发明通过以下技术方案予以实现:一种基于人工智能的虚拟现实人体模型生成及交互方法,包括以下步骤:
S1、通过虚拟现实交互设备对佩戴者进行面部信息捕捉及外部身体信息捕捉;
S2、利用AI将内外部扫描所得信息进行组合同步,创建出使用者的虚拟形象,并进行储存;
S3、由AI通过对身体进行动态智能捕捉或添加空间锚点同步捕捉来实现虚拟形象与人体动作同步,再由实时面部扫描将面部表情与虚拟形象同步;
S4、根据储存的使用者虚拟形象信息,生成虚拟人物;
S5、在设备显示器上实时显示生成的虚拟人物信息详情;
S6、实时显示的虚拟人物与储存的其他虚拟人物或使用者进行交互。
优选的,所述方法还包括:通过设备的听觉输入设备接收来自使用者的语音输入,并通过AI对接收到的语音输入进行识别和解析,再合成到虚拟人物的语音回应。
优选的,步骤S5中,使用者在与设备屏幕实时显示的虚拟人物进行互动过程中,使用机器学习或深度学习模型持续优化虚拟形象的响应和行为特性。
优选的,所述设备屏幕实时显示的虚拟人物包括不同使用者的虚拟形象。
优选的,所述方法还包括:通过虚拟服装模型与用户的身体模型进行实时融合显示,实现虚拟试衣。
优选的,所述虚拟服装模型包括样式库内的服装模型以及交互设备捕捉的服装模型。
本发明提供一种基于人工智能的虚拟现实人体模型生成及交互系统,包括:
采集模块,用于采集使用者的面部信息和身体信息的扫描;
图像处理同步模块,用于创建并储存使用者的虚拟形象;
行为特征捕捉模块,用于捕捉并储存使用者的行为特征;
实时定位模块,用于设定空间锚点,动态捕捉和建模使用者形象;
虚拟人物生成模块,用于根据储存的使用者虚拟形象和行为特征生成虚拟人物;
显示模块,用于实时显示由AI处理和生成的虚拟人物;
交互模块,用于实现虚拟人物与其他虚拟人物或实际用户之间的交互。
优选的,所述系统还包括:
听觉输入设备,用于接收来自使用者的语音输入;
识别解析模块,用于识别和解析接收到的语音输入;
语音合成模块,用于生成虚拟人物的语音回应。
优选的,所述系统还包括:
持续优化模块,用于使用机器学习或深度学习模型持续优化虚拟形象的响应和行为特性。
优选的,所述系统还包括:
服装融合模块,用于通过虚拟服装模型与用户的身体模型进行实时融合显示,实现虚拟试衣。
本发明提供了一种基于人工智能的虚拟现实人体模型生成及交互方法。
具备以下有益效果:
1、本发明通过面部信息和身体信息的捕捉与同步,以及实时面部扫描的应用,虚拟形象与使用者的外貌和表情保持同步,提供更加逼真的虚拟人物模拟效果,增强用户的沉浸感和参与感;同时使用设备显示器进行实时显示生成的虚拟人物信息,且支持与储存的其他虚拟人物或使用者进行实时交互,使得用户可以立即看到虚拟人物的变化,并与其进行即时交互,增强了沟通和互动的效果。
2、本发明通过虚拟服装模型与用户的身体模型进行实时融合显示,实现虚拟试衣,使用户可以在虚拟现实环境中体验虚拟试衣的感觉,避免了传统试衣的限制,提供了更加便捷和沉浸式的试衣体验,同时,虚拟试衣可以帮助用户更好地选择合适的衣服款式和尺码,提供个性化的购物建议,提供了全新的虚拟试衣体验。
附图说明
图1为本发明的方法流程示意图;
图2为本发明的系统架构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅附图1-附图2,本发明实施例提供一种基于人工智能的虚拟现实人体模型生成及交互方法,包括以下步骤:
S1、通过虚拟现实交互设备对佩戴者进行面部信息捕捉及外部身体信息捕捉;
在这一步骤中,虚拟现实交互设备(如头戴式显示器、定位跟踪设备等)用于捕捉佩戴者的面部信息和外部身体信息。面部信息可以包括微笑、眨眼等表情,戴上虚拟现实设备后,内置摄像头捕捉面部表情,外部身体信息可以包括身体姿势、肢体运动等。这些信息的捕捉可以通过传感器、摄像头等设备进行;
具体的,虚拟现实交互设备对外界信息接受传感器为途径,获得外界反射肢体信息,如,镜子,外接接摄像头,外接录制设备等方式,通过用虚拟现实交互设备捕捉镜面中佩戴者的肢体反应将其与捕捉的面部反应进行组合,实时更新动作,实现将现实世界人物完全投影至虚拟世界中;
具体而言,以下是一种实现方案:
传感器:使用外接的接摄像头或其他合适的传感器,以捕捉用户的肢体动作和姿态。这些传感器可以放置在使用者身边或虚拟现实设备附近。
镜子和反射:虚拟现实设备可以配备一面镜子或反射面,用于捕捉用户在虚拟环境中的镜像。
肢体反应捕捉:通过镜面或反射面,虚拟现实设备可以捕捉用户的镜像中的肢体反应。这可以包括手臂的动作、身体姿势的变化等。
面部反应捕捉:虚拟现实设备可以使用内置摄像头或其他面部跟踪技术,捕捉用户的面部表情和动作。
动作组合和更新:将捕捉到的镜像中的肢体反应和面部反应进行组合,并实时更新用户在虚拟世界中的动作。这可以通过算法和软件技术来实现。
投影至虚拟世界:经过组合和更新后,将用户在现实世界中的肢体和面部动作投影到虚拟世界中的角色或虚拟人物上。这样,当使用者在现实世界中移动或做出动作时,虚拟角色也会相应地做出相似的动作。
S2、利用AI将内外部扫描所得信息进行组合同步,创建出使用者的虚拟形象,并进行储存;
在这一步骤中,借助人工智能算法,将内部和外部捕捉到的信息进行处理和同步。内部信息可以是面部信息,外部信息可以是身体姿态信息。通过将这些信息与使用者的虚拟形象进行组合,可以生成一个与佩戴者外貌和动作同步的虚拟形象。该虚拟形象可以被储存下来以供后续使用。
S3、由AI通过对身体进行动态智能捕捉或添加空间锚点同步捕捉来实现虚拟形象与人体动作同步,再由实时面部扫描将面部表情与虚拟形象同步;
在这一步骤中,通过人工智能算法对使用者的身体进行动态智能捕捉,或者通过添加空间锚点来同步捕捉使用者的动作。这样可以确保虚拟形象与佩戴者的动作保持同步和一致。另外,如果有实时面部扫描的功能,可以将佩戴者的面部表情与虚拟形象进行同步,提高交互的真实感和表现力。
S4、根据储存的使用者虚拟形象信息,生成虚拟人物;
在这一步骤中,通过之前储存的使用者虚拟形象信息,可以根据需要生成虚拟人物。虚拟人物可以具备类似于使用者的外貌和动作,或者根据特定需求进行自定义。
S5、在设备显示器上实时显示生成的虚拟人物信息详情;
在这一步骤中,生成的虚拟人物信息可以通过设备显示器实时显示,让佩戴者可以直观地观察到虚拟人物的外貌和动作。这种实时显示可以增加交互的即时性和沉浸感。
S6、实时显示的虚拟人物与储存的其他虚拟人物或使用者进行交互;
在这一步骤中,通过虚拟现实交互设备,佩戴者可以与实时显示的虚拟人物以及其他储存的虚拟人物进行交互。这种交互可以包括语音交流、姿势控制、手势识别等方式,使得虚拟人物能够对佩戴者的行为做出响应。
总的来说,本发明通过面部信息和身体信息的捕捉与同步,以及实时面部扫描的应用,虚拟形象与使用者的外貌和表情保持同步,提供更加逼真的虚拟人物模拟效果,增强用户的沉浸感和参与感;同时使用设备显示器进行实时显示生成的虚拟人物信息,且支持与储存的其他虚拟人物或使用者进行实时交互,使得用户可以立即看到虚拟人物的变化,并与其进行即时交互,增强了沟通和互动的效果。
另外,通过储存使用者的虚拟形象信息,可以生成其他虚拟人物,可以满足个性化需求,例如在虚拟现实游戏中创建自己的角色,或者在虚拟会议中以个性化形象呈现自己,这种自定义能力增加了用户的自主性和创造性。
在一些实施例中,通过将使用者的虚拟形象储存下来,可以保留和传承佩戴者的数字遗产,这样,即使在其不在世后,家人和朋友仍可以与其虚拟形象进行交互,保留记忆和情感联系。
在一些实施例中,使用者的虚拟形象可以成为虚拟现实环境中的亲友角色,与其他用户进行交互和沟通,这为那些远离家人和亲友的人提供了一种新的方式来感受他们的存在和陪伴。
在一些实施例中,通过将使用者的虚拟形象复制到虚拟现实游戏、培训或模拟环境中,可以提供更加个性化和沉浸式的体验,增强用户的参与感和真实感。
一个实施例中,方法还包括:通过设备的听觉输入设备接收来自使用者的语音输入,并通过AI对接收到的语音输入进行识别和解析,再合成到虚拟人物的语音回应;
本实施例中,这一步骤的实施可以使虚拟人物具备语音交互的能力,进一步增强了与使用者的互动体验。具体的步骤可以如下:
听觉输入设备接收语音输入:使用设备的麦克风或其他听觉输入设备,接收使用者发出的语音输入。
语音识别和解析:通过A I语音识别技术对接收到的语音输入进行识别和解析,将语音转换为可理解的文字或命令。这涉及使用机器学习算法和语音处理技术来识别和理解不同语音指令和语音内容。
虚拟人物的语音回应合成:根据语音识别和解析的结果,使用相关的自然语言生成技术和语音合成技术,将虚拟人物的回应转换为语音回应。这包括生成适当的语音内容和语调,并通过声音合成技术转化为可听的语音。
输出语音回应:将合成的语音回应通过设备的音频输出设备,如扬声器或耳机,播放给使用者。使用者可以通过听觉感知听到虚拟人物的语音回应。
通过上述步骤,使用者可以通过语音与虚拟人物进行双向的交互,产生更加自然和沉浸式的体验。这种语音交互的方式可以扩展虚拟人物的功能,例如回答问题、提供指导、进行对话等,使用户与虚拟人物之间的交流更加便捷和直观。
一个实施例中,步骤S5中,使用者在与设备屏幕实时显示的虚拟人物进行互动过程中,使用机器学习或深度学习模型持续优化虚拟形象的响应和行为特性;
本实施例中,机器学习或深度学习模型被应用于不断优化虚拟人物的响应和行为特性。涉及以下过程:
数据收集和标注:收集用户与虚拟人物的交互数据,包括用户的输入和虚拟人物的响应。这些数据需要进行标注,指示什么样的用户输入对应着什么样的虚拟人物行为。
模型训练:使用收集到的标注数据,构建并训练机器学习或深度学习模型。模型可以根据用户输入来预测虚拟人物的下一步行为,或者根据虚拟人物的当前状态来生成最佳响应。
模型优化和迭代:使用训练好的模型对虚拟人物的响应和行为进行优化。观察交互结果并收集反馈数据,用于改进模型的性能和准确度。这个过程可以是一个迭代的过程,以不断改进虚拟人物的交互能力。
通过使用机器学习或深度学习模型,虚拟人物可以逐渐学习和适应用户的行为模式和需求,提供更加个性化和符合用户期望的响应。模型的优化可以使虚拟人物具备更加智能和自然的交互能力,增强用户体验的感知和参与感。
一个实施例中,设备屏幕实时显示的虚拟人物包括不同使用者的虚拟形象;
本实施例中,设备屏幕实时显示的虚拟人物可以是多用户的,每个用户可以拥有自己的个性化虚拟形象,不同的使用者可以在同一个设备屏幕上享受个性化的虚拟人物交互。每个使用者可以看到和与自己的虚拟形象进行实时交互,提供更加个性化和沉浸式的体验。这种多用户的虚拟形象展示可以在多个场景中应用,如教育、娱乐、虚拟会议等。
一个实施例中,方法还包括:通过虚拟服装模型与用户的身体模型进行实时融合显示,实现虚拟试衣;
本实施例中,通过虚拟现实技术实现了虚拟试衣的功能。具体的步骤如下:
用户身体模型捕捉:使用虚拟现实设备或其他身体追踪技术,对用户的身体进行实时捕捉和跟踪,以获取用户的身体模型数据。
虚拟服装模型创建:为不同的服装设计和产品创建虚拟模型。这些虚拟服装模型包括各种款式、尺码和颜色的服装。
实时融合显示:将用户的身体模型与选定的虚拟服装模型进行实时融合显示。这可以通过使用三维图形处理和渲染技术来实现,确保虚拟服装与用户的身体模型保持一致并在屏幕上进行实时显示。
用户交互和试衣体验:用户可以通过虚拟现实设备的操控或手势输入来选择不同的虚拟服装,将其实时显示在自己的身体模型上,并进行试衣体验。用户可以观察虚拟服装在自己身上的效果,调整尺寸、款式、颜色等,并在虚拟试衣的过程中与虚拟服装进行交互。
通过这种方法,用户可以在虚拟现实环境中体验虚拟试衣的感觉,避免了传统试衣的限制,提供了更加便捷和沉浸式的试衣体验。同时,虚拟试衣可以帮助用户更好地选择合适的衣服款式和尺码,提供个性化的购物建议。
进一步的,虚拟服装模型包括样式库内的服装模型以及交互设备捕捉的服装模型;
本实施例中,虚拟服装模型由两部分组成:样式库内的服装模型和通过交互设备捕捉的服装模型。具体的步骤如下:
样式库内的服装模型:创建并导入包含各种款式、尺码和颜色的服装模型到虚拟试衣系统的样式库中。这些服装模型可以是由设计师设计的虚拟服装模型,或者是基于现有的服装设计进行建模和渲染得到的。
交互设备捕捉的服装模型:通过交互设备,如深度摄像头或其他传感器,对实际物理服装进行捕捉和建模,生成捕捉到的服装模型。这需要使用计算机视觉和图像处理技术,将物理服装的外观特征和纹理转化为虚拟模型。
虚拟服装的选择和展示:当用户进行虚拟试衣时,可以从样式库中选择服装模型,也可以使用交互设备捕捉的服装模型进行试衣。用户的选择会触发对应的服装模型在虚拟试衣系统中的展示和应用。
实时融合显示和交互:根据用户的身体模型和所选的虚拟服装模型,进行实时融合显示,确保虚拟服装与用户的身体模型相符并展示在屏幕上。用户可以通过虚拟现实设备的操控或手势输入进行调整和交互,改变服装的尺寸、款式、颜色等。
该实施例中的虚拟服装模型的组成允许用户通过样式库内的服装模型选择经过设计和建模的服装,同时也提供了通过交互设备捕捉的实际物理服装模型,以更贴近用户的个性化需求。
其中,样式库内的服装模型提供了广泛的选择和设计,可以满足用户的不同偏好和风格要求。而通过交互设备捕捉的服装模型则能够将实际物理服装的特征转化为虚拟模型,使用户可以在虚拟试衣过程中更加贴近实际的试衣体验。
这种组合的虚拟服装模型能够为用户提供更加丰富和真实的虚拟试衣体验,帮助用户更准确地评估和选择适合自己的服装款式。同时,它也为服装设计师和品牌提供了一种展示和推广的方式,使用户能够在虚拟环境中与服装进行互动和体验。
本发明提供一种基于人工智能的虚拟现实人体模型生成及交互系统,包括:
采集模块:用于采集使用者的面部信息和身体信息的扫描。这可以通过使用摄像头或其他传感器来实现,以获取使用者的面部表情和身体姿势等数据,通过深度学习和图像处理技术,将采集到的数据转化为数字化的面部和身体特征描述。
图像处理同步模块:用于创建并储存使用者的虚拟形象。通过将面部信息和身体信息与预先设计的虚拟人体模型进行融合,生成与使用者相对应的虚拟形象,并将其储存起来备用。
行为特征捕捉模块:用于捕捉并储存使用者的行为特征。通过分析使用者的动作轨迹、姿态变化等,记录并存储使用者的行为特征,以便后续的虚拟人物生成和交互。
实时定位模块:用于设定空间锚点,并动态捕捉和建模使用者的形象。使用虚拟现实设备中的传感器,如光学或惯性测量单元,对使用者的位置和动作进行实时追踪,并以此动态更新使用者的虚拟形象。
虚拟人物生成模块:根据储存的使用者虚拟形象和行为特征,生成虚拟人物。通过深度学习和生成模型,将使用者的面部特征、身体特征和行为特征融合在一起,生成具有相应外貌和行为特征的虚拟人物。
显示模块:用于实时显示通过人工智能处理和生成的虚拟人物。显示模块确保虚拟人物的图像能够在设备屏幕上实时显示,提供真实感和沉浸感的虚拟现实体验。
交互模块:用于实现虚拟人物与其他虚拟人物或实际用户之间的交互。交互模块允许用户与虚拟人物进行自然语言交流、手势控制等形式的交互,增强用户与虚拟环境的互动性和沉浸感。
总的来说,这个基于人工智能的虚拟现实人体模型生成及交互系统通过融合图像处理、人工智能和虚拟现实等技术,提供了个性化、沉浸式的虚拟现实体验和互动,为用户带来更加逼真、丰富和互动性的体验。
一个实施例中,系统还包括:
听觉输入设备:这是一种设备,用于接收来自使用者的语音输入。它可以是话筒或其他类型的麦克风,用于捕捉使用者的语音信号。
识别解析模块:这个模块用于识别和解析接收到的语音输入。它利用语音识别技术将使用者的语音信号转换为文本形式,以便系统能够理解和处理使用者的意图和指令。
语音合成模块:这个模块用于生成虚拟人物的语音回应。它将系统经过处理和分析后得到的文本信息转化为可听的语音输出,使虚拟人物能够以自然的语音方式与使用者进行交流。
本实施例中,当用户通过听觉输入设备提供语音输入时,识别解析模块会对语音进行识别,将其转换为文本形式。然后,该文本经过处理和逻辑分析,系统可以根据用户的语音指令和意图,与虚拟人物进行交互和回应。
通过语音合成模块,系统可以将生成的文本信息转化为自然语音输出,并以虚拟人物的语音形式回应用户的请求或提供所需的信息。这种语音交互使得用户能够以口头方式与虚拟人物进行沟通,拓展了系统与用户之间的交互方式。
这样的语音输入和语音合成模块的加入,为系统增加了自然的人机交互方式,提供了更加直观和方便的用户体验。用户可以通过语音与虚拟人物进行对话,提出问题、请求信息或执行指令,从而增加了系统的灵活性和可操作性。这对于虚拟试衣、个人助手、虚拟教学等场景都具有很大的实际应用潜力。
一个实施例中,系统还包括:
持续优化模块,用于使用机器学习或深度学习模型持续优化虚拟形象的响应和行为特性;
本实施例中,该持续优化模块的作用是通过分析用户的交互数据和反馈,利用机器学习或深度学习算法进行模型的训练和优化,以提高虚拟形象的表现和行为特性;通过持续优化模块,系统可以根据用户的实际反馈情况和使用习惯,自动调整虚拟形象的表现和行为,使其更符合用户的期望和需求。这样的优化过程可以不断改进系统的性能和用户体验,并使虚拟形象更加智能和自然。
一个实施例中,系统还包括:
服装融合模块,用于通过虚拟服装模型与用户的身体模型进行实时融合显示,实现虚拟试衣;
本实施例中,该服装融合模块的主要目的是让用户能够在虚拟现实环境中尝试不同的服装款式和尺寸,以评估其外观和适合度;通过服装融合模块的实现,用户可以在虚拟现实环境中进行虚拟试衣,无需实际穿上服装即可预览不同款式和尺寸的服装效果。这为用户提供了更加便捷和个性化的购物体验,节省了试穿实物的时间和精力,并增强了购物决策的准确性,提供了全新的虚拟试衣体验。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于人工智能的虚拟现实人体模型生成及交互方法,其特征在于,包括以下步骤:
S1、通过虚拟现实交互设备对佩戴者进行面部信息捕捉及外部身体信息捕捉;
S2、利用AI将内外部扫描所得信息进行组合同步,创建出使用者的虚拟形象,并进行储存;
S3、由AI通过对身体进行动态智能捕捉或添加空间锚点同步捕捉来实现虚拟形象与人体动作同步,再由实时面部扫描将面部表情与虚拟形象同步;
S4、根据储存的使用者虚拟形象信息,生成虚拟人物;
S5、在设备显示器上实时显示生成的虚拟人物信息详情;
S6、实时显示的虚拟人物与储存的其他虚拟人物或使用者进行交互。
2.根据权利要求1所述的一种基于人工智能的虚拟现实人体模型生成及交互方法,其特征在于,所述方法还包括:通过设备的听觉输入设备接收来自使用者的语音输入,并通过AI对接收到的语音输入进行识别和解析,再合成到虚拟人物的语音回应。
3.根据权利要求2所述的一种基于人工智能的虚拟现实人体模型生成及交互方法,其特征在于,步骤S5中,使用者在与设备屏幕实时显示的虚拟人物进行互动过程中,使用机器学习或深度学习模型持续优化虚拟形象的响应和行为特性。
4.根据权利要求3所述的一种基于人工智能的虚拟现实人体模型生成及交互方法,其特征在于,所述设备屏幕实时显示的虚拟人物包括不同使用者的虚拟形象。
5.根据权利要求1所述的一种基于人工智能的虚拟现实人体模型生成及交互方法,其特征在于,所述方法还包括:通过虚拟服装模型与用户的身体模型进行实时融合显示,实现虚拟试衣。
6.根据权利要求5所述的一种基于人工智能的虚拟现实人体模型生成及交互方法,其特征在于,所述虚拟服装模型包括样式库内的服装模型以及交互设备捕捉的服装模型。
7.一种基于人工智能的虚拟现实人体模型生成及交互系统,用于实施如根据权利要求1-6任一项所述的一种基于人工智能的虚拟现实人体模型生成及交互方法,其特征在于,包括:
采集模块,用于采集使用者的面部信息和身体信息的扫描;
图像处理同步模块,用于创建并储存使用者的虚拟形象;
行为特征捕捉模块,用于捕捉并储存使用者的行为特征;
实时定位模块,用于设定空间锚点,动态捕捉和建模使用者形象;
虚拟人物生成模块,用于根据储存的使用者虚拟形象和行为特征生成虚拟人物;
显示模块,用于实时显示由AI处理和生成的虚拟人物;
交互模块,用于实现虚拟人物与其他虚拟人物或实际用户之间的交互。
8.根据权利要求7所述的一种基于人工智能的虚拟现实人体模型生成及交互系统,其特征在于,还包括:
听觉输入设备,用于接收来自使用者的语音输入;
识别解析模块,用于识别和解析接收到的语音输入;
语音合成模块,用于生成虚拟人物的语音回应。
9.根据权利要求7所述的一种基于人工智能的虚拟现实人体模型生成及交互系统,其特征在于,还包括:
持续优化模块,用于使用机器学习或深度学习模型持续优化虚拟形象的响应和行为特性。
10.根据权利要求7所述的一种基于人工智能的虚拟现实人体模型生成及交互系统,其特征在于,还包括:
服装融合模块,用于通过虚拟服装模型与用户的身体模型进行实时融合显示,实现虚拟试衣。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311030148.5A CN116977030A (zh) | 2023-08-15 | 2023-08-15 | 一种基于人工智能的虚拟现实人体模型生成及交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311030148.5A CN116977030A (zh) | 2023-08-15 | 2023-08-15 | 一种基于人工智能的虚拟现实人体模型生成及交互方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116977030A true CN116977030A (zh) | 2023-10-31 |
Family
ID=88479605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311030148.5A Pending CN116977030A (zh) | 2023-08-15 | 2023-08-15 | 一种基于人工智能的虚拟现实人体模型生成及交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977030A (zh) |
-
2023
- 2023-08-15 CN CN202311030148.5A patent/CN116977030A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7408048B2 (ja) | 人工知能に基づくアニメキャラクター駆動方法及び関連装置 | |
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
EP3381175B1 (en) | Apparatus and method for operating personal agent | |
KR101306221B1 (ko) | 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 | |
KR101894573B1 (ko) | 3d 디지털 액터형 스마트폰 인터페이스 운용시스템 | |
US20120130717A1 (en) | Real-time Animation for an Expressive Avatar | |
US20080165195A1 (en) | Method, apparatus, and software for animated self-portraits | |
JP7193015B2 (ja) | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム | |
JP7227395B2 (ja) | インタラクティブ対象の駆動方法、装置、デバイス、及び記憶媒体 | |
CN114144790A (zh) | 具有三维骨架正则化和表示性身体姿势的个性化语音到视频 | |
KR20110008059A (ko) | 이용자 명령에 기초하여 리프리젠테이션을 수정하기 위한 방법 | |
KR20180071833A (ko) | 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템 | |
CN112673400A (zh) | 化身动画 | |
US20210312167A1 (en) | Server device, terminal device, and display method for controlling facial expressions of a virtual character | |
WO2023246163A1 (zh) | 一种虚拟数字人驱动方法、装置、设备和介质 | |
CN117523088A (zh) | 一种个性化的三维数字人全息互动形成系统及方法 | |
CN115631287A (zh) | 一种虚拟舞台人物数字化展现系统 | |
CN116977030A (zh) | 一种基于人工智能的虚拟现实人体模型生成及交互方法 | |
CN117370605A (zh) | 一种虚拟数字人驱动方法、装置、设备和介质 | |
CN110166844B (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
Luerssen et al. | Head x: Customizable audiovisual synthesis for a multi-purpose virtual head | |
KR102659886B1 (ko) | 가상 현실 및 ai 인식 영어 학습 시스템 | |
JP6935531B1 (ja) | 情報処理プログラムおよび情報処理システム | |
KR100965622B1 (ko) | 감성형 캐릭터 및 애니메이션 생성 방법 및 장치 | |
CN118394215A (zh) | 一种基于虚拟数字人技术的民族舞蹈数字化传播方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |