CN116204167B - 一种全流程可视化编辑虚拟现实vr实现方法与系统 - Google Patents

一种全流程可视化编辑虚拟现实vr实现方法与系统 Download PDF

Info

Publication number
CN116204167B
CN116204167B CN202310465185.2A CN202310465185A CN116204167B CN 116204167 B CN116204167 B CN 116204167B CN 202310465185 A CN202310465185 A CN 202310465185A CN 116204167 B CN116204167 B CN 116204167B
Authority
CN
China
Prior art keywords
development
equipment
virtual
project
visual editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310465185.2A
Other languages
English (en)
Other versions
CN116204167A (zh
Inventor
徐振
李柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Langxun Technology Co ltd
Original Assignee
Hangzhou Langxun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Langxun Technology Co ltd filed Critical Hangzhou Langxun Technology Co ltd
Priority to CN202310465185.2A priority Critical patent/CN116204167B/zh
Publication of CN116204167A publication Critical patent/CN116204167A/zh
Application granted granted Critical
Publication of CN116204167B publication Critical patent/CN116204167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/33Intelligent editors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种全流程可视化编辑虚拟现实VR开发项目实现方法及系统。具体包括,步骤S1:确定开发任务;步骤S2:基于开发任务,执行对应的操作并完成开发环境搭建;步骤S3:基于搭建完成的开发环境,依托VR配套开发软件以及VR开发设备中的可视化编辑界面进行内容的开发创作;步骤S4:开发任务的保存与发布。本发明使开发者聚焦在实现功能和逻辑本身,提升效率,通过使用VR框架,减轻繁琐的无规则开发以及时间上的消耗,并且使用的可视化编辑虚拟现实VR框架让开发者可以在编辑器模式下通过自动添加对应已经完成的模块以及功能来达到快速直白的开发。

Description

一种全流程可视化编辑虚拟现实VR实现方法与系统
技术领域
本发明涉及虚拟现实开发领域,具体的而言,涉及一种全流程可视化编辑虚拟现实VR开发项目实现方法及系统。
背景技术
虚拟现实技术受到了越来越多人的认可,用户可以在虚拟现实世界体验到最真实的感受,其模拟环境的真实性与现实世界难辨真假,让人有种身临其境的感觉;同时,虚拟现实具有一切人类所拥有的感知功能,比如听觉、视觉、触觉、味觉、嗅觉等感知系统;最后,它具有超强的仿真系统,真正实现了人机交互,使人在操作过程中,可以随意操作并且得到环境最真实的反馈。正是虚拟现实技术的存在性、多感知性、交互性等特征使它受到了许多人的喜爱。
以Unity为例,目前常见VR产品开发软件在开发VR软件时需要使用相对应的插件、素材、公共模型和程序,而插件本身过于琐碎,没有统一的开发模式和流程,制作繁琐,开发过程中许多资源无法重复利用。通常每开发一个新的VR产品,都需要进行大量繁琐的工作准备,理清头绪,进而不利于开发者反复使用以及小白进行快速的开发工作。同时开发过程中尽管不同的开发任务及开发类型存在较大差异,但开发项目之间仍存在大量同质化开发场景、环境、素材、插件的搭建使用,并且所属领域缺乏开发环境、素材资源的快速搭建过程,仅仅在开发过程中的某一个阶段或某几个阶段实现了资源的快速高效复用,并未从全局的角度出发,实现全局的高效资源整合开发。
本发明的目的在于提供一种全流程可视化编辑虚拟现实VR开发项目实现方法及系统,使开发者聚焦在实现功能和逻辑本身,提升效率,通过使用VR框架,减轻繁琐的无规则开发以及时间上的消耗。使用的可视化编辑虚拟现实VR框架让开发者可以在编辑器模式下通过自动添加对应已经完成的资源以及功能来达到快速直白的开发。
发明内容
为解决上述问题,本申请提出了一种全流程可视化编辑虚拟现实VR开发项目实现方法,具体包括:所述方法基于VR开发设备、云端服务器,智能终端所组成的硬件设备并搭配VR开发软件实现;其中,所述VR开发设备具体包括多功能头戴设备及与所述多功能头戴设备配套的交互设备,所述VR开发设备与云端服务器及智能终端两两之间建立连接关系,并能够进行数据交互;所述VR开发软件包括具备语音交互能力的VR开发设备操作系统以及具备3D设计开发能力的智能终端上的VR配套开发软件两部分组成,具体包括:
步骤S1:确定开发任务,具体包括如下操作步骤:
S1-1 获取用户输入的第一指令信息,
S1-2 对所述第一指令信息进行解析,从解析结果中提取待开发项目类型;
S1-3 将与提取得到的待开发项目类型对应的标识信息呈现于多用途头戴设备的第一视窗上;所述第一视窗上运行具备语音交互能力的VR开发设备操作系统,所述操作系统的数据处理过程既可以通过语音指令实现,也可以借助于传统的交互设备的实体按键实现;
S1-4 用户根据标识信息对待开发项目类型进行确认,当所述标识信息与用户实际待开发项目类型一致时,执行步骤S1-5;当所述标识信息与用户实际待开发项目类型不同时,执行步骤S1-6:
S1-5 将待开发项目类型所需完成的开发内容确定为开发任务,并执行步骤S2;
S1-6 用户借助于交互设备手动修改待开发项目类型,或者基于第二指令信息进行修改,跳转至步骤S1-5,或者重新输入第一指令信息,跳转至步骤1-1;与第一指令信息不同,第二指令信息只能是开发者的语音指令;
步骤S2:基于开发任务,执行对应的操作并完成开发环境搭建,具体包括如下操作步骤:
S2-1判断当前开发任务是否需要采集外部数据,若需要采集外部数据则执行步骤S2-2,否则执行步骤S2-3;
S2-2借助于多功能头戴设备进行外部数据采集,并在完成数据采集后,将采集数据保存于多功能头戴设备中的数据处理模块中,所述数据处理模块能够对采集得到数据进行预处理和特征提取,形成基础开发素材并上传至云端服务器中;
S2-3,基于开发任务,借助于VR硬件设备,搭建与开发任务相匹配的开发环境与所需的条件,并完成所需素材库、插件库以及操作指令程序集的加载;
步骤S3:基于搭建完成的开发环境,依托VR配套开发软件以及VR开发设备中的可视化编辑界面进行内容的开发创作,具体包括如下操作步骤:
S3-1:在搭建完成与开发任务所对应的开发环境后,在多用途头戴设备的第二视窗的可视化编辑界面中自动加载虚拟头显以及虚拟交互设备,并将外部VR开发设备与可视化编辑界面中的虚拟设备相关联,使得外部VR开发设备对应按键功能、动作姿态与场景中虚拟设备设计好的功能、操作一一对应;所述外部VR开发设备的按键功能、动作姿态在不同的开发任务和开发环境时,可以对应可视化编辑界面中虚拟设备不同的功能、操作;
S3-2:虚拟设备借助于在可视化编辑界面中已经加载好的素材库、插件库以及操作指令程序集中的素材、插件以及VR程序,通过连线的方式将用户的虚拟头显和虚拟交互设备与对应的操作以及触发事件相连接,通过程序自动化配置将对应的组件,动作,事件,触发结果联系到一起,最后通过应用VR程序映射到场景中,经过场景自动配置加载,进而完成VR产品的开发;
步骤S4 开发任务的保存与发布:在可视化编辑界面中对于开发完成的VR产品进行全方位视角的审核,并在通过审核后进行发布。
优选地,所述交互设备可以为能够与多功能头戴设备形成配对并建立连接关系的手柄;所述多功能头戴设备上具有虹膜识别模块,能够对用户的虹膜信息进行采集和保存。
优选地,所述手柄上具有指纹识别单元,能够对用户的指纹信息进行采集和保存。
优选地,所述指纹信息与虹膜信息均可以与VR开发设备进行绑定,单独或组合起来使用作为VR开发设备的使用凭证信息。
优选地,所述手柄成对存在,能够录入用户不同手指的指纹信息,并且所述指纹信息其中两个指纹可以分别作为第一视窗以及第二视窗操作界面的快速启动热键以及对应视窗的解锁凭证。
优选地,所述第一指令信息,可以为用户的语音指令、指纹信息、借助于交互设备完成的动作姿态以及交互设备上的按键信息中的一个或多个组合。
优选地,所述待开发项目类型,可以为建筑行业建模开发、工业领域建模开发、游戏设计开发、3D绘画、全景制作、生活场景虚拟仿真、三维激光扫描等常见VR开发项目;所述待开发项目类型对应的标识信息,是指以AR或投影等方式呈现于第一视窗上的能唯一指示上述VR开发项目的标识信息。
优选地,所述标识信息可以是与待开发项目类型对应的图片、文字、代码信息中的一种或多种组合。
优选地,所述第一视窗是指通过多功能头戴设备上的AR眼镜形成的视窗界面;所述第二视窗是指多功能头戴设备上VR眼镜形成的虚拟视窗界面,即可视化编辑界面。
优选地,所述数据处理模块能够对采集得到数据进行预处理和特征提取,形成基础开发素材,具体为:借助于多功能头戴设备上的激光扫描单元,采集通过三维激光扫描得到的点云数据,对采集得到的点云数据进行删减预处理,保留提取最能凸显被采集目标特征的点云数据,并利用训练好的特征识别AI算法自动建模,提供标准点云数据以及OBJ模型下载,同时上传至云端服务器,作为采集素材存放于云端素材库中,供后续开发使用。
优选地,所述搭建与特定开发任务相适应匹配的开发环境与所需的条件,包括但不限于美术设计工具,集成开发环境,各种插件工具,SDK等软件环境条件,以及3D模型、材质、制作原型图、贴图、动作动画、特效等美术资源素材,以及场景特效、光照环境条件。
优选地,所述配套开发软件包括Unity 3D、Maya、3dmax、blendar、U3d 、Unreal、VRTK。
一种全流程可视化编辑虚拟现实VR开发项目实现系统,用以实现所述的一种全流程可视化编辑虚拟现实VR开发项目实现方法,其特征在于:
所述系统包括:VR开发设备,云端服务器,开发终端,
其中,所述VR开发设备具体又包括多功能头戴设备及与所述多功能头戴设备配套的交互设备;
所述多功能头戴设备上集成有多种传感器与摄像头,具体包括:4个905nm的激光雷达,每秒可以采集40余万点云,分别位于用户头戴设备双眼位置的上方以及左右两侧;1个景深摄像头,1个广角摄像头与1个普通镜头,均位于多功能头戴设备的前方;两组镜头模组,分别为AR镜头与VR镜头,镜头上分别形成第一视窗与第二视窗;3个降噪收音麦克风,近耳端一左一右2组扬声器;此外,所包含的传感器有:加速传感器、陀螺仪和磁力计;同时还包括数据处理模块,模块内部包含CPU、GPU存储芯片,WiFi和蓝牙单元,其能够对多功能头戴设备采集得到的点云数据和影响数据进行本地存储以及预处理和特征提取,并能够与其他终端进行信息交互;
所述交互设备为手柄,手柄内部设置有高质量陀螺仪、加速传感器,指纹识别模块和3个实体按键,具体分布为稍大的球形滚轮按键及两侧对称分布稍小的实体按键;
所述云端服务器能够接受来自各终端及设备上传的数据、素材、插件、开发程序代码,同时还可以在云端完成对VR开发产品的高质量渲染;
所述开发终端包括电脑主机,其能够与VR开发设备进行有线或无线的数据交互,其上具有多种3D开发软件,辅助进行VR开发设备的环境搭建,协助完成开发过程中的动画模拟、模型计算以及动态渲染和开发进程展示,并建立第一指令信息与对应指令操作的映射关系。
与现有技术相比,本申请所述全流程可视化编辑虚拟现实VR开发项目实现方法及系统的优势在于:
在VR开发领域中,将数据采集与建模开发集成于一套VR设备中,能够实现涵盖数据采集与项目开发全局资源的高效整合和快速调用的全流程的可视化编辑虚拟现实VR项目的开发;
能够使开发者聚焦在实现功能和逻辑本身,提升效率,通过使用VR框架并在行业内部成熟的软硬件的加持下,减轻繁琐的无规则开发以及时间上的消耗;
使用的可视化编辑虚拟现实VR框架让开发者可以在编辑器模式下通过自主添加符合自身开发需求的资源以及功能来达到快速直白的开发;
充分利用VR设备开发工具的属性,可以实现通过简单的指令或操作,调用复杂的程序、资源进行VR产品的开发,大大提升了开发效率。
附图说明
图1示出了本申请一种全流程可视化编辑虚拟现实VR开发项目实现方法的流程示意图;
图2示出了本申请一种全流程可视化编辑虚拟现实VR开发项目实现方法S1的流程示意图;
图3示出了本申请一种全流程可视化编辑虚拟现实VR开发项目实现方法S2的流程示意图;
图4示出了本申请一种全流程可视化编辑虚拟现实VR开发项目实现方法S3的流程示意图;
具体实施方式
为了更清楚地说明本申请的技术方案,现给出以下实施例。需要说明的是,在不冲突的情况下,本申请的实施例以及实施例中的特征可以相互组合。并且,基于本申请中的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
结合图1-图4给出如下实施例,本申请提供了一种全流程可视化编辑虚拟现实VR开发项目实现方法,具体包括:借助于VR开发设备以及配套开发软件实现,所述VR开发设备具体包括多功能头戴设备及与所述多功能头戴设备配套的交互设备,具体包括:
步骤S1:确定开发任务,具体包括如下操作步骤:
S1-1 获取用户输入的第一指令信息,
S1-2 对所述第一指令信息进行解析,从解析结果中提取待开发项目类型;
S1-3 将与提取得到的待开发项目类型对应的标识信息呈现于多用途头戴设备的第一视窗上;
S1-4 用户根据标识信息对待开发项目类型进行确认,当所述标识信息与用户实际待开发项目类型一致时,执行步骤S1-5;当所述标识信息与用户实际待开发项目类型不同时,执行步骤S1-6:
S1-5 将待开发项目类型所需完成的开发内容确定为开发任务,并执行步骤S2;
S1-6 用户借助于交互设备手动修改待开发项目类型,跳转至步骤S1-5,或者重新输入第一指令信息,跳转至步骤1-1;
步骤S2:基于开发任务,执行对应的操作并完成开发环境搭建,具体包括如下操作步骤:
S2-1判断当前开发任务是否需要采集外部数据,若需要采集外部数据则执行步骤S2-2,否则执行步骤S2-3;
S2-2借助于多功能头戴设备进行外部数据采集,并在完成数据采集后,将采集数据保存于多功能头戴设备中的数据处理模块中,所述数据处理模块能够对采集得到数据进行预处理和特征提取,形成基础开发素材;
S2-3,基于开发任务,借助于VR硬件设备,搭建与特定开发任务相适应匹配的开发环境与所需的条件,并完成所需素材库、插件库以及操作指令程序集的加载;
本申请的一种实施例中,第一指令信息为用户的语音指令,具体为“基于Maya创建三维动画,内容涉及拥挤的人群”,在获取用户输入的第一指令信息后,对上述第一指令信息进行解析,借助于自动语音识别模型(Automatic Speech Recognition Model,ASRM),将用户语音指令中的词汇内容转换为设备可读的输入并对指令内容进行解析,解析得到的结果涉及三个维度的信息,分别为:待开发的项目类型为三维动画创作,开发环境所需调用的软件为Maya,具体开发内容涉及“拥挤的人群”。判断其无需进行外部数据采集后,基于三维动画创作这一开发任务,执行对应的操作并完成开发环境搭建,由于开发内容涉及“拥挤的人群”,因此在Maya以及VR开发设备的可视化操作界面中加载与“人群”相关的插件与素材,具体包括完成Massive插件、Miarmy插件、Golaem Crowd插件与人物模型素材等必备资源的加载,最终实现基于三维动画开发任务,在Maya软件以及VR开发设备中完成人群相关的插件与素材加载和开发环境的搭建。
本申请的另外一种实施例中,第一指令信息为用户右手食指的指纹信息,其右手食指的指纹信息具体为预先与“三维激光扫描建模”开发项目绑定的操作指令集, 对上述第一指令信息即指纹信息进行解析,确定开发项目为三维激光扫描建模,此时判断需要采集外部数据,进而借助于多功能头戴设备进行外部数据采集,借助于包含激光雷达的设备进行三维空间数据采集为现有技术,这里不再赘述,完成数据采集后,将采集数据保存于多功能头戴设备中的数据处理模块中,所述数据处理模块能够对采集得到数据进行预处理和特征提取,形成基础开发素材,并可以有选择地进行采集数据的上传,上传至云端服务器;数据采集完毕后,基于“三维激光扫描建模”开发任务,借助于VR硬件设备,搭建与“三维激光建模”相适应匹配的开发环境与所需的条件,并完成所需素材库、插件库以及操作指令程序集的加载。
此外,所述“三维激光扫描建模”作为主开发项目,其具体对应的开发环境在构建及资源的加载时,会因“三维激光扫描建模”的子项目类型的差别而有所不同,例如三维激光扫描建模主开发项目下,其子开发项目所涉及的领域可以包括工业领域逆向工程、工程器件检测领域、快速成型、文物扫描建模、服装产品建模、医疗领域建模、室内三维激光扫描建模等,均会对应于相对应的匹配的开发环境与所需的条件。
步骤S3:基于搭建完成的开发环境,依托VR配套开发软件以及VR开发设备中的可视化编辑界面进行内容的开发创作,具体包括如下操作步骤:
S3-1:在搭建完成与开发任务所对应的开发环境后,在多用途头戴设备的第二视窗的可视化编辑界面中自动加载虚拟头显以及虚拟交互设备,并将外部VR开发设备与可视化场景中的虚拟设备相关联,使得场景外对应设备的按键功能、动作姿态与场景中虚拟设备设计好的功能、操作一一对应;上述外部VR开发设备的按键功能、动作姿态在不同的开发任务和开发环境时,可以对应可视化编辑界面中虚拟设备不同的功能、操作,
上述外部VR开发设备的按键功能、动作姿态在不同的开发任务和开发环境时,可以对应可视化编辑界面中虚拟设备不同的功能、操作,例如在本申请中的一个实施例中,在进行3d绘画应用场景中,VR开发设备中的交互设备——手柄,在虚拟可视化编辑界面中变成了“画笔”,而在一个实施例中,在进行游戏开发测试环节中,手柄在为拟可视化编辑界面中变成了“刀剑”。实际上开发者完全可以根据实际需求建立手柄的按键、动作姿态与虚拟环境中对应操作的映射规则,实现对应的功能,同时对于经常使用的一种或数种映射规则可以写入VR开发设备中,并借助于特定的语音指令或特定指纹信息作为映射规则加载或初始化的出发条件;
S3-2:虚拟设备借助于在可视化编辑界面中已经加载好的素材库、插件库以及操作指令程序集中的素材、插件以及VR程序,通过连线的方式将用户的虚拟头显和虚拟交互设备与对应的操作以及触发事件相连接,通过程序自动化配置将对应的组件,动作,事件,触发结果联系到一起,最后通过应用VR程序映射到场景中,经过场景自动配置加载,进而完成VR产品的开发;
在本申请中的一种实施例中,需在Maya中沙漠场景中添加人群,则上述步骤S3-2具体操作可以为首先在可视化编辑界面中创建基底,可以借助于通过素材库中的地形地貌,例如首先利用虚拟手柄选中“沙漠”作为三维空间虚拟空间中的基底,将其拖放于可视化编辑界面中的适当位置释放,再利用虚拟手柄从人物模型素材中选中心仪的人物模型将其拖放于“沙漠”基底之上形成人物模型于沙漠的连线,将自动生成人物置于“沙漠中”;为了创建更多的人物并完成场景渲染,随后运用同样的连线方式,先后选中Golaem Crowd插件与“沙漠”上的人物,建立二者连线,从而自动充填仿真人群,完成在创作场景中人物的充填。
步骤S4 开发任务的保存与发布:在可视化编辑界面中对于开发完成的VR产品进行全方位视角的审核,并在通过审核后进行发布。
优选地,在本申请中的一个实施例中,所述交互设备可以为能够与多功能头戴设备形成配对并建立连接关系的手柄;所述多功能头戴设备上具有虹膜识别模块,能够对用户的虹膜信息进行采集和保存。
优选地,在本申请中的一个实施例中,所述手柄上具有指纹识别单元,能够对用户的指纹信息进行采集和保存。
优选地,在本申请中的一个实施例中,所述指纹信息与虹膜信息均可以与VR开发设备进行绑定,单独或组合起来使用作为VR开发设备的使用凭证信息。
优选地,在本申请中的一个实施例中,所述手柄成对存在,能够录入用户不同手指的指纹信息,并且所述指纹信息其中两个指纹可以分别作为第一视窗以及第二视窗操作界面的快速启动热键以及对应视窗的解锁凭证。
优选地,在本申请中的一个实施例中,所述第一指令信息,可以为用户的语音指令、指纹信息、借助于交互设备完成的动作姿态以及交互设备上的按键信息中的一个或多个组合。
优选地,在本申请中的一个实施例中,所述待开发项目类型,可以为建筑行业建模开发、工业领域建模开发、游戏设计开发、3D绘画、全景制作、生活场景虚拟仿真、三维激光扫描等常见VR开发项目;所述待开发项目类型对应的标识信息,是指以AR或投影等方式呈现于第一视窗上的能唯一指示上述VR开发项目的标识信息。
优选地,在本申请中的一个实施例中,所述标识信息可以是与待开发项目类型对应的图片、文字、代码信息中的一种或多种组合。
优选地,在本申请中的一个实施例中,所述第一视窗是指通过多功能头戴设备上的AR眼镜形成的视窗界面;所述第二视窗是指多功能头戴设备上VR眼镜形成的虚拟视窗界面,即可视化编辑界面。
优选地,在本申请中的一个实施例中,所述数据处理模块能够对采集得到数据进行预处理和特征提取,形成基础开发素材,具体为:借助于多功能头戴设备上的激光扫描单元,采集通过三维激光扫描得到的点云数据,对采集得到的点云数据进行删减预处理,保留提取最能凸显被采集目标特征的点云数据,并利用训练好的特征识别AI算法自动建模,提供标准点云数据以及OBJ模型下载,同时上传至云端服务器,作为采集素材存放于云端素材库中,供后续开发使用。
优选地,在本申请中的一个实施例中,所述搭建与特定开发任务相适应匹配的开发环境与所需的条件,包括但不限于美术设计工具,集成开发环境,各种插件工具,SDK等软件环境条件,以及3D模型、材质、制作原型图、贴图、动作动画、特效等美术资源素材,以及场景特效、光照环境条件。
优选地,在本申请中的一个实施例中,所述配套开发软件包括Unity 3D、Maya、3dmax、blendar、U3d 、Unreal、VRTK。
优选地,在本申请中的一个实施例中包括一种全流程可视化编辑虚拟现实VR开发项目实现系统,所述系统可以实现所述的一种全流程可视化编辑虚拟现实VR开发项目实现方法, 所述系统包括:VR开发设备,云端服务器,开发终端,其中,所述VR开发设备具体又包括多功能头戴设备及与所述多功能头戴设备配套的交互设备;所述多功能头戴设备上集成有多种传感器与摄像头,具体包括:4个905nm的激光雷达,每秒可以采集40余万点云,分别位于用户头戴设备双眼位置的上方以及左右两侧;1个景深摄像头,1个广角摄像头与1个普通镜头,均位于多功能头戴设备的前方;两组镜头模组,分别为AR镜头与VR镜头,镜头上分别形成第一视窗与第二视窗;3个降噪收音麦克风,近耳端一左一右2组扬声器;此外,所包含的传感器有:加速传感器、陀螺仪和磁力计;同时还包括数据处理模块,模块内部包含CPU、GPU存储芯片,WiFi和蓝牙单元,其能够对多功能头戴设备采集得到的点云数据和影响数据进行本地存储以及预处理和特征提取,并能够与其他终端进行信息交互;所述交互设备为手柄,手柄内部设置有高质量陀螺仪、加速传感器,指纹识别模块和3个实体按键,具体分布为稍大的球形滚轮按键及两侧对称分布稍小的实体按键;所述云端服务器能够接受来自各终端及设备上传的数据、素材、插件、开发程序代码,同时还可以在云端完成对VR开发产品的高质量渲染;所述开发终端包括电脑主机,其能够与VR开发设备进行有线或无线的数据交互,其上具有多种3D开发软件,辅助进行VR开发设备的环境搭建,协助完成开发过程中的动画模拟、模型计算以及动态渲染和开发进程展示,并建立第一指令信息与对应指令操作的映射关系。
应当理解的是,对本领域普通技术人员来说,上述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域技术人员而言,本申请可以有各种更改和变化。凡在本申请的精神和原则之内对本申请所作的任何修改、等同替换,均应包含在本申请的保护范围之内。

Claims (7)

1.一种全流程可视化编辑虚拟现实VR开发项目实现方法,其特征在于:所述方法借助于VR开发设备以及配套开发软件实现,所述VR开发设备具体包括多功能头戴设备及与所述多功能头戴设备配套的交互设备,具体包括:
步骤S1:确定开发任务;所述步骤S1具体还包括以下操作步骤: S1-1 获取用户输入的第一指令信息,S1-2 对所述第一指令信息进行解析,从解析结果中提取待开发项目类型;S1-3 将与提取得到的待开发项目类型对应的标识信息呈现于多用途头戴设备的第一视窗上;S1-4 用户根据标识信息对待开发项目类型进行确认,当所述标识信息与用户实际待开发项目类型一致时,执行步骤S1-5;当所述标识信息与用户实际待开发项目类型不同时,执行步骤S1-6;S1-5 将待开发项目类型所需完成的开发内容确定为开发任务,并执行步骤S2;S1-6 用户借助于交互设备手动修改待开发项目类型,跳转至步骤S1-5,或者重新输入第一指令信息,跳转至步骤S1-1;
步骤S2:基于开发任务,执行对应的操作并完成开发环境搭建;所述步骤S2还包含:S2-1判断当前开发任务是否需要采集外部数据,若需要采集外部数据则执行步骤S2-2,否则执行步骤S2-3;S2-2借助于多功能头戴设备进行外部数据采集,并在完成数据采集后,将采集数据保存于多功能头戴设备中的数据处理模块中,所述数据处理模块能够对采集得到数据进行预处理和特征提取,形成基础开发素材;S2-3 基于开发任务,借助于VR硬件设备,搭建与特定开发任务相适应匹配的开发环境与所需的条件,并完成所需素材库、插件库以及操作指令程序集的加载;
步骤S3:基于搭建完成的开发环境,依托VR配套开发软件以及VR开发设备中的可视化编辑界面进行内容的开发创作;所述步骤S3具体包括以下操作步骤:S3-1 在搭建完成与开发任务所对应的开发环境后,在多用途头戴设备的第二视窗的可视化编辑界面中自动加载虚拟头显以及虚拟交互设备,并将外部VR开发设备与可视化场景中的虚拟设备相关联,使得场景外对应设备的按键功能、动作姿态与场景中虚拟设备设计好的功能、操作一一对应;上述外部VR开发设备的按键功能、动作姿态在不同的开发任务和开发环境时,对应可视化编辑界面中虚拟设备不同的功能、操作;S3-2 虚拟设备借助于在可视化编辑界面中已经加载好的素材库、插件库以及操作指令程序集中的素材、插件以及VR程序,通过连线的方式将用户的虚拟头显和虚拟交互设备与对应的操作以及触发事件相连接,通过程序自动化配置将对应的组件,动作,事件,触发结果联系到一起,最后通过应用VR程序映射到场景中,经过场景自动配置加载,进而完成VR产品的开发;
步骤S4:开发任务的保存与发布:在可视化编辑界面中对于开发完成的VR产品进行全方位视角的审核,并在通过审核后进行发布。
2.根据权利要求1所述的一种全流程可视化编辑虚拟现实VR开发项目实现方法,其特征在于:所述第一视窗是指通过多功能头戴设备上的AR镜头模组形成的视窗界面;所述第二视窗是指多功能头戴设备上VR镜头模组形成的虚拟视窗界面,即可视化编辑界面;所述数据处理模块能够对采集得到数据进行预处理和特征提取,形成基础开发素材,同时上传至云端服务器,作为采集素材存放于云端素材库中,供后续开发使用。
3.根据权利要求1所述的一种全流程可视化编辑虚拟现实VR开发项目实现方法,其特征在于:所述搭建与特定开发任务相适应匹配的开发环境与所需的条件,包括但不限于美术设计工具,集成开发环境,各种插件工具,SDK软件环境条件,以及3D模型、材质、制作原型图、贴图、动作动画、特效的美术资源素材,以及场景特效、光照环境条件。
4.根据权利要求1所述的一种全流程可视化编辑虚拟现实VR开发项目实现方法,其特征在于:所述配套开发软件包括Unity 3D、Maya、3dmax、blendar、U3d 、Unreal、VRTK。
5.一种全流程可视化编辑虚拟现实VR开发项目实现系统,所述系统实现如权利要求1-4任一项所述的一种全流程可视化编辑虚拟现实VR开发项目实现方法,其特征在于:所述系统包括:VR开发设备,云端服务器,智能终端,其中,所述VR开发设备具体又包括多功能头戴设备及与所述多功能头戴设备配套的交互设备; 所述多功能头戴设备上集成有多种传感器与摄像头;所述交互设备为手柄,手柄内部设置有高质量陀螺仪、加速传感器,指纹识别模块和3个实体按键,具体分布为稍大的球形滚轮按键及两侧对称分布稍小的实体按键;所述云端服务器能够接受来自各终端及设备上传的数据、素材、插件、开发程序代码,同时还在云端完成对VR开发产品的高质量渲染;所述智能终端包括电脑主机,其能够与VR开发设备进行有线或无线的数据交互,其上具有多种3D开发软件,辅助进行VR开发设备的环境搭建,协助完成开发过程中的动画模拟、模型计算以及动态渲染和开发进程展示,并且还能够录制第一指令信息与其所对应指令操作的映射关系。
6.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器运行所述程序指令时,执行权利要求1-4中任一项所述方法中的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器运行时,执行权利要求1-4任一项所述方法中的步骤。
CN202310465185.2A 2023-04-27 2023-04-27 一种全流程可视化编辑虚拟现实vr实现方法与系统 Active CN116204167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310465185.2A CN116204167B (zh) 2023-04-27 2023-04-27 一种全流程可视化编辑虚拟现实vr实现方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310465185.2A CN116204167B (zh) 2023-04-27 2023-04-27 一种全流程可视化编辑虚拟现实vr实现方法与系统

Publications (2)

Publication Number Publication Date
CN116204167A CN116204167A (zh) 2023-06-02
CN116204167B true CN116204167B (zh) 2023-08-15

Family

ID=86513156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310465185.2A Active CN116204167B (zh) 2023-04-27 2023-04-27 一种全流程可视化编辑虚拟现实vr实现方法与系统

Country Status (1)

Country Link
CN (1) CN116204167B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106422263A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 可视化编程及编辑的vr击剑训练制作体验系统
CN108345637A (zh) * 2018-01-02 2018-07-31 北京理工大学 一种基于增强现实的表演预演方法及系统
EP3556443A1 (en) * 2018-04-18 2019-10-23 ETH Zurich Tangible mobile game programming environment for non-specialists
CN110502228A (zh) * 2019-08-19 2019-11-26 上海艾卡士网络科技有限公司 一种基于云平台的vr内容创作及生成vr应用程序的方法
CN110956702A (zh) * 2019-11-19 2020-04-03 上海萃钛智能科技有限公司 一种基于时间轴的3d可视化编辑器和编辑方法
CN114115632A (zh) * 2021-12-03 2022-03-01 国网浙江省电力有限公司电力科学研究院 一种沉浸式虚拟现实培训平台的速成系统及使用方法
CN114860084A (zh) * 2022-06-08 2022-08-05 广东技术师范大学 模板化编辑的虚拟内容在mr/ar头戴设备中交互呈现方法
CN115098087A (zh) * 2022-08-23 2022-09-23 埃瑞巴蒂成都科技有限公司 一种可视化vr编辑器系统及其使用方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303110A1 (en) * 2018-03-29 2019-10-03 Ca, Inc. Virtual reality integrated development environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106422263A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 可视化编程及编辑的vr击剑训练制作体验系统
CN108345637A (zh) * 2018-01-02 2018-07-31 北京理工大学 一种基于增强现实的表演预演方法及系统
EP3556443A1 (en) * 2018-04-18 2019-10-23 ETH Zurich Tangible mobile game programming environment for non-specialists
CN110502228A (zh) * 2019-08-19 2019-11-26 上海艾卡士网络科技有限公司 一种基于云平台的vr内容创作及生成vr应用程序的方法
CN110956702A (zh) * 2019-11-19 2020-04-03 上海萃钛智能科技有限公司 一种基于时间轴的3d可视化编辑器和编辑方法
CN114115632A (zh) * 2021-12-03 2022-03-01 国网浙江省电力有限公司电力科学研究院 一种沉浸式虚拟现实培训平台的速成系统及使用方法
CN114860084A (zh) * 2022-06-08 2022-08-05 广东技术师范大学 模板化编辑的虚拟内容在mr/ar头戴设备中交互呈现方法
CN115098087A (zh) * 2022-08-23 2022-09-23 埃瑞巴蒂成都科技有限公司 一种可视化vr编辑器系统及其使用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于可视化的VR 编辑引擎;蒋宁等;计算机系统应用;第29卷(第5期);76-81 *

Also Published As

Publication number Publication date
CN116204167A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN110163054B (zh) 一种人脸三维图像生成方法和装置
US10860838B1 (en) Universal facial expression translation and character rendering system
CN111028330A (zh) 三维表情基的生成方法、装置、设备及存储介质
EP4207080A1 (en) Avatar generation method, apparatus and device, and medium
CN109636919B (zh) 一种基于全息技术的虚拟展馆构建方法、系统及存储介质
CN105931283B (zh) 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN110211222A (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
CN106293099A (zh) 手势识别方法及系统
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
CN114063784A (zh) 一种模拟化虚拟xr box体感互动系统及方法
Liu et al. Skeleton tracking based on Kinect camera and the application in virtual reality system
CN115984943B (zh) 面部表情捕捉及模型训练方法、装置、设备、介质及产品
CN112070901A (zh) 一种园林的ar场景构建方法、装置、存储介质及终端
CN116204167B (zh) 一种全流程可视化编辑虚拟现实vr实现方法与系统
CN114779948B (zh) 基于面部识别的动画人物即时交互控制方法、装置及设备
CN112686990B (zh) 一种三维模型显示方法、装置、存储介质和计算机设备
CN114299615A (zh) 基于关键点的多特征融合的动作识别方法、装置、介质及设备
Bruno et al. Mixed prototyping environment with different video tracking techniques
CN110741327A (zh) 基于增强现实及数字图像处理的泥胶玩具系统及其方法
Zhang et al. Virtual Museum Scene Design Based on VRAR Realistic Interaction under PMC Artificial Intelligence Model
KR102349002B1 (ko) 동적 프로젝션 매핑 연동 제스처 인식 인터랙티브 미디어 콘텐츠 제작 방법 및 장치
US20240233230A9 (en) Automated system for generation of facial animation rigs
Cleetus Real-time multiple human pose estimation for animations in game engines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant