CN113298938A - 一种辅助建模方法、系统、可穿戴智能设备及vr设备 - Google Patents
一种辅助建模方法、系统、可穿戴智能设备及vr设备 Download PDFInfo
- Publication number
- CN113298938A CN113298938A CN202110697152.1A CN202110697152A CN113298938A CN 113298938 A CN113298938 A CN 113298938A CN 202110697152 A CN202110697152 A CN 202110697152A CN 113298938 A CN113298938 A CN 113298938A
- Authority
- CN
- China
- Prior art keywords
- image information
- information
- wearer
- dimensional
- target points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 30
- 230000009471 action Effects 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 18
- 230000006399 behavior Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Toys (AREA)
Abstract
本发明提供了一种辅助建模方法、系统、可穿戴智能设备及VR设备,其方法包括步骤:获取VR设备发送的预设空间环境的第一图像信息;根据所述第一图像信息生成三维环境模型;获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息;根据所述第二图像信息进行穿戴者的行为判断,控制3D建模人偶在所述三维环境模型中进行VR交互。该方案能够实现真人和3D虚拟形象的跟随交互,从而提高用户在使用VR设备时的沉浸式体验感。
Description
技术领域
本发明涉及VR技术领域,尤指一种辅助建模方法、系统、可穿戴智能设备及VR设备。
背景技术
VR技术集成计算机图形技术、计算机仿真技术、传感技术、网络并行处理等技术,是在计算机上生成的、可交互的三维环境中提供沉浸体验的技术,其中,在计算机中生成的、可交互的三维环境称之为虚拟环境。基于VR技术的设备(如VR穿戴设备)能够提供各种VR应用,在VR应用中输出给用户以沉浸式体验的虚拟环境。
TOF(Time Of Flight)3D成像技术,是通过特定空间目标物发射连续的特定波长的红外光线脉冲,再由特定传感器接收待测物体传回的光信号,计算光线往返的飞行时间或相位差,从而获取特定空间目标物体的深度信息。
在实际体验过程中,VR应用常常缺少与用户之间的交互,用户通常是通过操控VR穿戴设备来体验,未能提供很强的沉浸式体验感。因此,需要一种能够实现真人和3D虚拟形象跟随交互,提高用户沉浸式体验感的辅助建模方法。
发明内容
本发明的目的是提供一种辅助建模方法、系统、可穿戴智能设备及VR设备,实现真人和3D虚拟形象的跟随交互,从而提高用户在使用VR设备时的沉浸式体验感。
本发明提供的技术方案如下:
本发明提供一种辅助建模方法,包括步骤:
获取VR设备发送的预设空间环境的第一图像信息;
根据所述第一图像信息生成三维环境模型;
获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息;
根据所述第二图像信息进行穿戴者的行为判断,控制3D建模人偶在所述三维环境模型中进行VR交互。
通过获取VR设备发送的预设空间环境的第一图像信息,能够根据第一图像信息生成三维环境模型,再通过获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息,能够根据第二图像信息进行穿戴者的行为判断,从而控制3D建模人偶在三维环境模型中进行VR交互,实现真人和3D虚拟形象的跟随交互,有利于提高用户在使用VR设备时的沉浸式体验感。
具体的,在用户进行VR应用时,VR设备能够拍摄预设空间环境的第一图像信息,通过对第一图像信息进行解析,能够生成对应的三维环境模型。在本实施例中,通过TOF摄像头采集预设空间环境的第一图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
另外,本方案在VR设备的基础上,新增一个可穿戴智能设备,可穿戴智能设备穿戴在进行VR活动的使用者身上,当用户进行VR应用时,伴随着用户肢体的运动,可穿戴智能设备能够拍摄穿戴者肢体与周围环境的第二图像信息,对第二图像信息进行解析,能够判断佩戴者的当前行为,进而控制3D建模人偶按照当前行为在三维环境模型中进行运动,从而实现佩戴者更逼真的VR体验。本实施例中,通过TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
进一步地,所述的根据所述第一图像信息生成三维环境模型,具体包括步骤:
根据所述第一图像信息获得预设空间环境的若干个第一目标点的三维尺寸和第一深度信息;
根据若干个所述第一目标点的三维尺寸和第一深度信息生成三维环境模型。
具体的,在生成三维环境模型时,可以根据第一图像信息获得预设空间环境下的若干个(记为N)第一目标点的三维尺寸和第一深度信息,第一目标点的数量根据实际情况进行调整,再根据若干个第一目标点的三维尺寸和第一深度信息,能够生成对应的三维环境模型。
进一步地,所述的根据所述第二图像信息进行穿戴者的行为判断,具体包括步骤:
根据所述第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息;
根据若干个所述第二目标点的第二深度信息对穿戴者的行为进行判断。
具体的,在判断用户的行为时,可以根据第二图像信息获得穿戴者肢体与周围环境的若干个(记为M)第二目标点的第二深度信息,第二目标点的数量根据实际情况进行调整,再根据若干个第二目标点的第二深度信息,能够对穿戴者的行为进行判断。
进一步地,所述的根据所述第二图像信息进行穿戴者的行为判断之前,还包括步骤:
在所述三维环境模型中预制所述3D建模人偶;
获取所述可穿戴智能设备发送的穿戴者的动作信息和声音信息;
根据所述动作信息和所述声音信息控制所述3D建模人偶进行动作。
另外,为了提高3D建模人偶的真实性,可以获取可穿戴智能设备发送的穿戴者的动作信息和声音信息,再根据这些动作信息和声音信息控制所述3D建模人偶进行动作。具体的,在获取佩戴者的动作信息和声音信息时,可以通过重力传感器、陀螺仪传感器、麦克风等采集穿戴者肢体与周围环境的动作信息、声音信息等。
另外,本发明还提供一种辅助建模系统,包括:
第一获取模块,用于获取VR设备发送的预设空间环境的第一图像信息;
生成模块,与所述第一获取模块连接,用于根据所述第一图像信息生成三维环境模型;
第二获取模块,用于获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息;
判断模块,与所述第二获取模块连接,用于根据所述第二图像信息进行穿戴者的行为判断;
控制模块,与所述生成模块和所述判断模块连接,用于控制3D建模人偶在所述三维环境模型中进行VR交互。
通过获取VR设备发送的预设空间环境的第一图像信息,能够根据第一图像信息生成三维环境模型,再通过获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息,能够根据第二图像信息进行穿戴者的行为判断,从而控制3D建模人偶在三维环境模型中进行VR交互,实现真人和3D虚拟形象的跟随交互,有利于提高用户在使用VR设备时的沉浸式体验感。
具体的,在用户进行VR应用时,VR设备能够拍摄预设空间环境的第一图像信息,通过对第一图像信息进行解析,能够生成对应的三维环境模型。在本实施例中,通过TOF摄像头采集预设空间环境的第一图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
另外,本方案在VR设备的基础上,新增一个可穿戴智能设备,可穿戴智能设备穿戴在进行VR活动的使用者身上,当用户进行VR应用时,伴随着用户肢体的运动,可穿戴智能设备能够拍摄穿戴者肢体与周围环境的第二图像信息,对第二图像信息进行解析,能够判断佩戴者的当前行为,进而控制3D建模人偶按照当前行为在三维环境模型中进行运动,从而实现佩戴者更逼真的VR体验。本实施例中,通过TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
进一步地,所述生成模块根据所述第一图像信息获得预设空间环境的若干个第一目标点的三维尺寸和第一深度信息,并根据若干个所述第一目标点的三维尺寸和第一深度信息生成三维环境模型。
具体的,在生成三维环境模型时,可以根据第一图像信息获得预设空间环境下的若干个(记为N)第一目标点的三维尺寸和第一深度信息,第一目标点的数量根据实际情况进行调整,再根据若干个第一目标点的三维尺寸和第一深度信息,能够生成对应的三维环境模型。
进一步地,所述判断模块根据所述第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息,并根据若干个所述第二目标点的第二深度信息对穿戴者的行为进行判断。
具体的,在判断用户的行为时,可以根据第二图像信息获得穿戴者肢体与周围环境的若干个(记为M)第二目标点的第二深度信息,第二目标点的数量根据实际情况进行调整,再根据若干个第二目标点的第二深度信息,能够对穿戴者的行为进行判断。
进一步地,还包括:
预制模块,与所述生成模块连接,用于在所述三维环境模型中预制所述3D建模人偶;
第三获取模块,用于获取所述可穿戴智能设备发送的穿戴者的动作信息和声音信息;
所述控制模块与所述第三获取模块连接,用于根据所述动作信息和所述声音信息控制所述3D建模人偶进行动作。
另外,为了提高3D建模人偶的真实性,可以获取可穿戴智能设备发送的穿戴者的动作信息和声音信息,再根据这些动作信息和声音信息控制所述3D建模人偶进行动作。具体的,在获取佩戴者的动作信息和声音信息时,可以通过重力传感器、陀螺仪传感器、麦克风等采集穿戴者肢体与周围环境的动作信息、声音信息等。
另外,本发明还提供一种VR设备,包括:
第一TOF摄像头,用于采集预设空间环境的第一图像信息;
第一处理器,用于根据所述第一图像信息获得预设空间环境中的若干个第一目标点的三维尺寸和第一深度信息;
第一通信模块,用于将若干个所述第一目标点的三维尺寸和第一深度信息发送至计算终端。
通过在VR设备上设置第一TOF摄像头、第一处理器和第一通信模块,使得VR设备能够通过第一TOF摄像头采集预设空间环境的第一图像信息,再通过第一处理器对第一图像信息进行处理,能够获得预设空间环境中的若干个第一目标点的三维尺寸和第一深度信息,最后通过第一通信模块将若干个第一目标点的三维尺寸和第一深度信息发送至计算终端,以便于计算终端根据若干个第一目标点的三维尺寸和第一深度信息生成三维环境模型。
另外,本发明还提供一种可穿戴智能设备,包括:
第二TOF摄像头,用于采集穿戴者肢体与周围环境的第二图像信息;
第二处理器,用于根据所述第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息;
第二通信模块,用于将若干个所述第二目标点的第二深度信息发送至计算终端。
通过在可穿戴智能设备设置第二TOF摄像头、第二处理器和第二通信模块,使得可穿戴智能设备能够通过二TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,再通过第二处理器对第二图像信息进行处理,能够获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息,最后通过第二通信模块将若干个第二目标点的第二深度信息发送至计算终端,以便于计算终端根据若干个第二目标点的第二深度信息判断佩戴者的行为。
具体的,VR设备和可穿戴智能设备在使用时,VR穿戴设备通过TOF摄像头对特定空间环境进行采集照片,获取周围环境的N个目标点的三维尺寸和深度信息;可穿戴设备通过TOF摄像头采集穿戴者肢体与周围环境照片,获取肢体与周围环境的M个目标点的深度信息。进一步的,可穿戴设备通过TOF摄像头与重力传感器、陀螺仪传感器、麦克风采集穿戴者肢体与周围环境的深度信息、动作信息、声音信息等;N点信息与M点信息通过无线通信方式(如2G/3G/4G/5G/WiFi等)传输给计算机;计算机通过VR穿戴设备传输的N点信息进行图形图像处理以及三维计算,生成三维模型环境;通过可穿戴设备传输的M点信息,进行行为判定,控制预制的3D建模人偶的形象和动作,实现真人和3D虚拟形象跟随,用身体、动作做VR交互。
根据本发明提供的一种辅助建模方法、系统、可穿戴智能设备及VR设备,通过获取VR设备发送的预设空间环境的第一图像信息,能够根据第一图像信息生成三维环境模型,再通过获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息,能够根据第二图像信息进行穿戴者的行为判断,从而控制3D建模人偶在三维环境模型中进行VR交互,实现真人和3D虚拟形象的跟随交互,有利于提高用户在使用VR设备时的沉浸式体验感。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对本方案的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明实施例的整体流程示意图;
图2是本发明一个实施例的流程示意图;
图3是本发明另一个实施例的流程示意图;
图4是本发明又一个实施例的流程示意图;
图5是本发明实施例的系统结构示意图。
图中标号:1-第一获取模块;2-生成模块;3-第二获取模块;4-判断模块;5-控制模块;6-预制模块;7-第三获取模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
实施例1
本发明的一个实施例,如图1所示,本发明提供一种辅助建模方法,包括步骤:
S1、获取VR设备发送的预设空间环境的第一图像信息。
S2、根据第一图像信息生成三维环境模型。
具体的,在用户进行VR应用时,VR设备能够拍摄预设空间环境的第一图像信息,通过对第一图像信息进行解析,能够生成对应的三维环境模型。在本实施例中,通过TOF摄像头采集预设空间环境的第一图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
S3、获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息。
另外,本方案在VR设备的基础上,新增一个可穿戴智能设备,可穿戴智能设备穿戴在进行VR活动的使用者身上,当用户进行VR应用时,伴随着用户肢体的运动,可穿戴智能设备能够拍摄穿戴者肢体与周围环境的第二图像信息,对第二图像信息进行解析,能够判断佩戴者的当前行为,进而控制3D建模人偶按照当前行为在三维环境模型中进行运动,从而实现佩戴者更逼真的VR体验。本实施例中,通过TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
S4、根据第二图像信息进行穿戴者的行为判断,控制3D建模人偶在三维环境模型中进行VR交互。
通过获取VR设备发送的预设空间环境的第一图像信息,能够根据第一图像信息生成三维环境模型,再通过获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息,能够根据第二图像信息进行穿戴者的行为判断,从而控制3D建模人偶在三维环境模型中进行VR交互,实现真人和3D虚拟形象的跟随交互,有利于提高用户在使用VR设备时的沉浸式体验感。
实施例2
本发明的一个实施例,如图2所示,本发明提供一种辅助建模方法,包括步骤:
S1、获取VR设备发送的预设空间环境的第一图像信息。
S2、根据第一图像信息生成三维环境模型。
具体的,在用户进行VR应用时,VR设备能够拍摄预设空间环境的第一图像信息,通过对第一图像信息进行解析,能够生成对应的三维环境模型。在本实施例中,通过TOF摄像头采集预设空间环境的第一图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
优选的,根据第一图像信息生成三维环境模型,具体包括步骤:
S21、根据第一图像信息获得预设空间环境的若干个第一目标点的三维尺寸和第一深度信息。
S22、根据若干个第一目标点的三维尺寸和第一深度信息生成三维环境模型。
具体的,在生成三维环境模型时,可以根据第一图像信息获得预设空间环境下的若干个(记为N)第一目标点的三维尺寸和第一深度信息,第一目标点的数量根据实际情况进行调整,再根据若干个第一目标点的三维尺寸和第一深度信息,能够生成对应的三维环境模型。
S3、获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息。
另外,本方案在VR设备的基础上,新增一个可穿戴智能设备,可穿戴智能设备穿戴在进行VR活动的使用者身上,当用户进行VR应用时,伴随着用户肢体的运动,可穿戴智能设备能够拍摄穿戴者肢体与周围环境的第二图像信息,对第二图像信息进行解析,能够判断佩戴者的当前行为,进而控制3D建模人偶按照当前行为在三维环境模型中进行运动,从而实现佩戴者更逼真的VR体验。本实施例中,通过TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
S4、根据第二图像信息进行穿戴者的行为判断,控制3D建模人偶在三维环境模型中进行VR交互。
通过获取VR设备发送的预设空间环境的第一图像信息,能够根据第一图像信息生成三维环境模型,再通过获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息,能够根据第二图像信息进行穿戴者的行为判断,从而控制3D建模人偶在三维环境模型中进行VR交互,实现真人和3D虚拟形象的跟随交互,有利于提高用户在使用VR设备时的沉浸式体验感。
实施例3
本发明的一个实施例,如图3所示,本发明提供一种辅助建模方法,包括步骤:
S1、获取VR设备发送的预设空间环境的第一图像信息。
S2、根据第一图像信息生成三维环境模型。
具体的,在用户进行VR应用时,VR设备能够拍摄预设空间环境的第一图像信息,通过对第一图像信息进行解析,能够生成对应的三维环境模型。在本实施例中,通过TOF摄像头采集预设空间环境的第一图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
S3、获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息。
另外,本方案在VR设备的基础上,新增一个可穿戴智能设备,可穿戴智能设备穿戴在进行VR活动的使用者身上,当用户进行VR应用时,伴随着用户肢体的运动,可穿戴智能设备能够拍摄穿戴者肢体与周围环境的第二图像信息,对第二图像信息进行解析,能够判断佩戴者的当前行为,进而控制3D建模人偶按照当前行为在三维环境模型中进行运动,从而实现佩戴者更逼真的VR体验。本实施例中,通过TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
S4、根据第二图像信息进行穿戴者的行为判断,控制3D建模人偶在三维环境模型中进行VR交互。
优选的,根据第二图像信息进行穿戴者的行为判断,具体包括步骤:
S41、根据第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息。
S42、根据若干个第二目标点的第二深度信息对穿戴者的行为进行判断,控制3D建模人偶在三维环境模型中进行VR交互。
具体的,在判断用户的行为时,可以根据第二图像信息获得穿戴者肢体与周围环境的若干个(记为M)第二目标点的第二深度信息,第二目标点的数量根据实际情况进行调整,再根据若干个第二目标点的第二深度信息,能够对穿戴者的行为进行判断。
通过获取VR设备发送的预设空间环境的第一图像信息,能够根据第一图像信息生成三维环境模型,再通过获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息,能够根据第二图像信息进行穿戴者的行为判断,从而控制3D建模人偶在三维环境模型中进行VR交互,实现真人和3D虚拟形象的跟随交互,有利于提高用户在使用VR设备时的沉浸式体验感。
实施例4
本发明的一个实施例,如图4所示,在上述任一实施例的基础上,根据第二图像信息进行穿戴者的行为判断之前,还包括步骤:
S31、在三维环境模型中预制3D建模人偶。
S32、获取可穿戴智能设备发送的穿戴者的动作信息和声音信息。
S33、根据动作信息和声音信息控制3D建模人偶进行动作。
另外,为了提高3D建模人偶的真实性,可以获取可穿戴智能设备发送的穿戴者的动作信息和声音信息,再根据这些动作信息和声音信息控制3D建模人偶进行动作。具体的,在获取佩戴者的动作信息和声音信息时,可以通过重力传感器、陀螺仪传感器、麦克风等采集穿戴者肢体与周围环境的动作信息、声音信息等。
实施例5
本发明的一个实施例,如图5所示,本发明还提供一种辅助建模系统,包括第一获取模块1、生成模块2、第二获取模块3、判断模块4和控制模块5。
第一获取模块1用于获取VR设备发送的预设空间环境的第一图像信息。
生成模块2与第一获取模块1连接,用于根据第一图像信息生成三维环境模型。
具体的,在用户进行VR应用时,VR设备能够拍摄预设空间环境的第一图像信息,通过对第一图像信息进行解析,能够生成对应的三维环境模型。在本实施例中,通过TOF摄像头采集预设空间环境的第一图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
第二获取模块3用于获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息。
判断模块4与第二获取模块连接,用于根据第二图像信息进行穿戴者的行为判断。
另外,本方案在VR设备的基础上,新增一个可穿戴智能设备,可穿戴智能设备穿戴在进行VR活动的使用者身上,当用户进行VR应用时,伴随着用户肢体的运动,可穿戴智能设备能够拍摄穿戴者肢体与周围环境的第二图像信息,对第二图像信息进行解析,能够判断佩戴者的当前行为,进而控制3D建模人偶按照当前行为在三维环境模型中进行运动,从而实现佩戴者更逼真的VR体验。本实施例中,通过TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,在其它实施例中,还可以选用其它类似的摄像装置。
控制模块5与生成模块2和判断模块4连接,用于控制3D建模人偶在三维环境模型中进行VR交互。
通过获取VR设备发送的预设空间环境的第一图像信息,能够根据第一图像信息生成三维环境模型,再通过获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息,能够根据第二图像信息进行穿戴者的行为判断,从而控制3D建模人偶在三维环境模型中进行VR交互,实现真人和3D虚拟形象的跟随交互,有利于提高用户在使用VR设备时的沉浸式体验感。
实施例6
本发明的一个实施例,在实施例5的基础上,生成模块2根据第一图像信息获得预设空间环境的若干个第一目标点的三维尺寸和第一深度信息,并根据若干个第一目标点的三维尺寸和第一深度信息生成三维环境模型。
具体的,在生成三维环境模型时,可以根据第一图像信息获得预设空间环境下的若干个(记为N)第一目标点的三维尺寸和第一深度信息,第一目标点的数量根据实际情况进行调整,再根据若干个第一目标点的三维尺寸和第一深度信息,能够生成对应的三维环境模型。
优选的,判断模块4根据第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息,并根据若干个第二目标点的第二深度信息对穿戴者的行为进行判断。
具体的,在判断用户的行为时,可以根据第二图像信息获得穿戴者肢体与周围环境的若干个(记为M)第二目标点的第二深度信息,第二目标点的数量根据实际情况进行调整,再根据若干个第二目标点的第二深度信息,能够对穿戴者的行为进行判断。
优选的,本发明提供的一种辅助建模系统还包括预制模块6、第三获取模块7
预制模块6与生成模块2连接,用于在三维环境模型中预制3D建模人偶。
第三获取模块7用于获取可穿戴智能设备发送的穿戴者的动作信息和声音信息。
控制模块5与第三获取模块7连接,用于根据动作信息和声音信息控制3D建模人偶进行动作。
具体的,为了提高3D建模人偶的真实性,可以获取可穿戴智能设备发送的穿戴者的动作信息和声音信息,再根据这些动作信息和声音信息控制3D建模人偶进行动作。具体的,在获取佩戴者的动作信息和声音信息时,可以通过重力传感器、陀螺仪传感器、麦克风等采集穿戴者肢体与周围环境的动作信息、声音信息等。
实施例7
本发明的一个实施例,本发明还提供一种VR设备,包括第一TOF摄像头、第一处理器和第一通讯模块。
第一TOF摄像头,用于采集预设空间环境的第一图像信息;第一处理器,用于根据第一图像信息获得预设空间环境中的若干个第一目标点的三维尺寸和第一深度信息;第一通信模块,用于将若干个第一目标点的三维尺寸和第一深度信息发送至计算终端。
通过在VR设备上设置第一TOF摄像头、第一处理器和第一通信模块,使得VR设备能够通过第一TOF摄像头采集预设空间环境的第一图像信息,再通过第一处理器对第一图像信息进行处理,能够获得预设空间环境中的若干个第一目标点的三维尺寸和第一深度信息,最后通过第一通信模块将若干个第一目标点的三维尺寸和第一深度信息发送至计算终端,以便于计算终端根据若干个第一目标点的三维尺寸和第一深度信息生成三维环境模型。
另外,本发明还提供一种可穿戴智能设备,包括第二TOF摄像头、第二处理器和第二通讯模块。
第二TOF摄像头,用于采集穿戴者肢体与周围环境的第二图像信息;第二处理器,用于根据第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息;第二通信模块,用于将若干个第二目标点的第二深度信息发送至计算终端。
通过在可穿戴智能设备设置第二TOF摄像头、第二处理器和第二通信模块,使得可穿戴智能设备能够通过二TOF摄像头采集穿戴者肢体与周围环境的第二图像信息,再通过第二处理器对第二图像信息进行处理,能够获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息,最后通过第二通信模块将若干个第二目标点的第二深度信息发送至计算终端,以便于计算终端根据若干个第二目标点的第二深度信息判断佩戴者的行为。
具体的,VR设备和可穿戴智能设备在使用时,VR穿戴设备通过TOF摄像头对特定空间环境进行采集照片,获取周围环境的N个目标点的三维尺寸和深度信息;可穿戴设备通过TOF摄像头采集穿戴者肢体与周围环境照片,获取肢体与周围环境的M个目标点的深度信息。进一步的,可穿戴设备通过TOF摄像头与重力传感器、陀螺仪传感器、麦克风采集穿戴者肢体与周围环境的深度信息、动作信息、声音信息等;N点信息与M点信息通过无线通信方式(如2G/3G/4G/5G/WiFi等)传输给计算机;计算机通过VR穿戴设备传输的N点信息进行图形图像处理以及三维计算,生成三维模型环境;通过可穿戴设备传输的M点信息,进行行为判定,控制预制的3D建模人偶的形象和动作,实现真人和3D虚拟形象跟随,用身体、动作做VR交互。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种辅助建模方法,其特征在于,包括步骤:
获取VR设备发送的预设空间环境的第一图像信息;
根据所述第一图像信息生成三维环境模型;
获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息;
根据所述第二图像信息进行穿戴者的行为判断,控制3D建模人偶在所述三维环境模型中进行VR交互。
2.根据权利要求1所述的一种辅助建模方法,其特征在于,所述的根据所述第一图像信息生成三维环境模型,具体包括步骤:
根据所述第一图像信息获得预设空间环境的若干个第一目标点的三维尺寸和第一深度信息;
根据若干个所述第一目标点的三维尺寸和第一深度信息生成三维环境模型。
3.根据权利要求1所述的一种辅助建模方法,其特征在于,所述的根据所述第二图像信息进行穿戴者的行为判断,具体包括步骤:
根据所述第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息;
根据若干个所述第二目标点的第二深度信息对穿戴者的行为进行判断。
4.根据权利要求1-3任一所述的一种辅助建模方法,其特征在于,所述的根据所述第二图像信息进行穿戴者的行为判断之前,还包括步骤:
在所述三维环境模型中预制所述3D建模人偶;
获取所述可穿戴智能设备发送的穿戴者的动作信息和声音信息;
根据所述动作信息和所述声音信息控制所述3D建模人偶进行动作。
5.一种辅助建模系统,其特征在于,包括:
第一获取模块,用于获取VR设备发送的预设空间环境的第一图像信息;
生成模块,与所述第一获取模块连接,用于根据所述第一图像信息生成三维环境模型;
第二获取模块,用于获取可穿戴智能设备发送的穿戴者肢体与周围环境的第二图像信息;
判断模块,与所述第二获取模块连接,用于根据所述第二图像信息进行穿戴者的行为判断;
控制模块,与所述生成模块和所述判断模块连接,用于控制3D建模人偶在所述三维环境模型中进行VR交互。
6.根据权利要求5所述的一种辅助建模系统,其特征在于:所述生成模块根据所述第一图像信息获得预设空间环境的若干个第一目标点的三维尺寸和第一深度信息,并根据若干个所述第一目标点的三维尺寸和第一深度信息生成三维环境模型。
7.根据权利要求5所述的一种辅助建模系统,其特征在于:所述判断模块根据所述第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息,并根据若干个所述第二目标点的第二深度信息对穿戴者的行为进行判断。
8.根据权利要求5-7任一所述的一种辅助建模系统,其特征在于,还包括:
预制模块,与所述生成模块连接,用于在所述三维环境模型中预制所述3D建模人偶;
第三获取模块,用于获取所述可穿戴智能设备发送的穿戴者的动作信息和声音信息;
所述控制模块与所述第三获取模块连接,用于根据所述动作信息和所述声音信息控制所述3D建模人偶进行动作。
9.一种VR设备,其特征在于,包括:
第一TOF摄像头,用于采集预设空间环境的第一图像信息;
第一处理器,用于根据所述第一图像信息获得预设空间环境中的若干个第一目标点的三维尺寸和第一深度信息;
第一通信模块,用于将若干个所述第一目标点的三维尺寸和第一深度信息发送至计算终端。
10.一种可穿戴智能设备,其特征在于,包括:
第二TOF摄像头,用于采集穿戴者肢体与周围环境的第二图像信息;
第二处理器,用于根据所述第二图像信息获得穿戴者肢体与周围环境的若干个第二目标点的第二深度信息;
第二通信模块,用于将若干个所述第二目标点的第二深度信息发送至计算终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697152.1A CN113298938A (zh) | 2021-06-23 | 2021-06-23 | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697152.1A CN113298938A (zh) | 2021-06-23 | 2021-06-23 | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113298938A true CN113298938A (zh) | 2021-08-24 |
Family
ID=77329308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110697152.1A Pending CN113298938A (zh) | 2021-06-23 | 2021-06-23 | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298938A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102681811A (zh) * | 2011-03-10 | 2012-09-19 | 微软公司 | 照片表示视图的基于主题的增强 |
CN104183011A (zh) * | 2013-05-27 | 2014-12-03 | 万克林 | 三维实景还原系统 |
CN106157359A (zh) * | 2015-04-23 | 2016-11-23 | 中国科学院宁波材料技术与工程研究所 | 一种虚拟场景体验系统的设计方法 |
CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
CN109564706A (zh) * | 2016-12-01 | 2019-04-02 | 英特吉姆股份有限公司 | 基于智能交互式增强现实的用户交互平台 |
CN109584375A (zh) * | 2018-11-21 | 2019-04-05 | 维沃移动通信有限公司 | 一种物体信息显示方法及移动终端 |
US20190339768A1 (en) * | 2017-01-22 | 2019-11-07 | Guangdong Virtual Reality Technology Co., Ltd. | Virtual reality interaction system and method |
CN112347876A (zh) * | 2020-10-26 | 2021-02-09 | 珠海市一微半导体有限公司 | 一种基于tof摄像头的障碍物识别方法、清洁机器人 |
-
2021
- 2021-06-23 CN CN202110697152.1A patent/CN113298938A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102681811A (zh) * | 2011-03-10 | 2012-09-19 | 微软公司 | 照片表示视图的基于主题的增强 |
CN104183011A (zh) * | 2013-05-27 | 2014-12-03 | 万克林 | 三维实景还原系统 |
CN106157359A (zh) * | 2015-04-23 | 2016-11-23 | 中国科学院宁波材料技术与工程研究所 | 一种虚拟场景体验系统的设计方法 |
CN109564706A (zh) * | 2016-12-01 | 2019-04-02 | 英特吉姆股份有限公司 | 基于智能交互式增强现实的用户交互平台 |
US20190339768A1 (en) * | 2017-01-22 | 2019-11-07 | Guangdong Virtual Reality Technology Co., Ltd. | Virtual reality interaction system and method |
CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
CN109584375A (zh) * | 2018-11-21 | 2019-04-05 | 维沃移动通信有限公司 | 一种物体信息显示方法及移动终端 |
CN112347876A (zh) * | 2020-10-26 | 2021-02-09 | 珠海市一微半导体有限公司 | 一种基于tof摄像头的障碍物识别方法、清洁机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111417983B (zh) | 基于事件相机的可变形对象跟踪 | |
CN105608746B (zh) | 一种将现实进行虚拟实现的方法 | |
CN103578135B (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法 | |
EP4307233A1 (en) | Data processing method and apparatus, and electronic device and computer-readable storage medium | |
JP2023022841A (ja) | クラウド支援型の新しい視点を利用したローカルマップデータの生成 | |
CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
CN105824416B (zh) | 一种将虚拟现实技术与云服务技术结合的方法 | |
CN110349232B (zh) | 图像的生成方法、装置、存储介质和电子设备 | |
CN106843507B (zh) | 一种虚拟现实多人互动的方法及系统 | |
CN109671141B (zh) | 图像的渲染方法和装置、存储介质、电子装置 | |
CN103810353A (zh) | 一种虚拟现实中的现实场景映射系统和方法 | |
CN109523615B (zh) | 用于虚拟动画人物动作的数据处理方法及装置 | |
CN106272446B (zh) | 机器人动作模拟的方法和装置 | |
CN108983974B (zh) | Ar场景处理方法、装置、设备和计算机可读存储介质 | |
KR20230078777A (ko) | 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기 | |
CN112381707B (zh) | 图像生成方法、装置、设备以及存储介质 | |
US20230067081A1 (en) | System and method for real-time creation and execution of a human Digital Twin | |
CN108595004A (zh) | 基于虚拟现实vr的多人交互方法、装置及相应设备 | |
CN203630822U (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统 | |
US11978232B2 (en) | Method for displaying three-dimensional augmented reality | |
CN106909904B (zh) | 一种基于可学习形变场的人脸正面化方法 | |
CN116342782A (zh) | 生成虚拟形象渲染模型的方法和装置 | |
CN112149531B (zh) | 一种行为识别中人体骨骼数据的建模方法 | |
CN113298938A (zh) | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 | |
JP2013008137A (ja) | 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |