CN116339507A - 一种虚拟办公系统生成方法、装置、产品、介质和设备 - Google Patents

一种虚拟办公系统生成方法、装置、产品、介质和设备 Download PDF

Info

Publication number
CN116339507A
CN116339507A CN202310175258.4A CN202310175258A CN116339507A CN 116339507 A CN116339507 A CN 116339507A CN 202310175258 A CN202310175258 A CN 202310175258A CN 116339507 A CN116339507 A CN 116339507A
Authority
CN
China
Prior art keywords
office
virtual
determining
image information
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310175258.4A
Other languages
English (en)
Inventor
樊旭东
吕铁汉
陈朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lexiang Technology Co ltd
Original Assignee
Lexiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lexiang Technology Co ltd filed Critical Lexiang Technology Co ltd
Priority to CN202310175258.4A priority Critical patent/CN116339507A/zh
Publication of CN116339507A publication Critical patent/CN116339507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及虚拟现实技术领域,尤其涉及一种虚拟办公系统生成方法、装置、产品、介质和设备。其中方法包括:通过VR设备上的摄像头获取环境图像信息;基于VR设备的手柄的姿态信息,确定办公位边界;通过环境图像信息确定办公外设在虚拟空间的位置数据;确定位置数据在办公位边界划定的虚拟空间中对应的虚拟区域;根据办公外设的图像信息、虚拟区域及办公位边界,生成具有办公外设的虚拟办公系统。通过上述方式,可以在VR设备中生成一个虚拟的办公系统,使用者通过佩戴VR设备的头盔,就可以获得在真实办公场景中的办公体验。并且,将办公外设透视到虚拟办公场景中,可以实现在使用现有的办公外设进行办公。

Description

一种虚拟办公系统生成方法、装置、产品、介质和设备
技术领域
本申请涉及虚拟现实技术领域,尤其涉及一种虚拟办公系统生成方法、装置、产品、介质和设备。
背景技术
虚拟现实技术自诞生以来取得了明显的进步,也得到了越来越多人的认可。人们可以通过头盔、手柄等虚拟现实设备进入虚拟世界进行游戏、影音等沉浸式体验。
虚拟现实技术不仅可以被应用于游戏、影音等娱乐场景,还可以被用来日常办公。通过虚拟现实技术,构造虚拟的办公空间,可以随时随地进行办公。不仅可以不受外界干扰,提高办公效率,同时还可以达到屏幕防窥的效果。此外还可以降低出行成本,在家中就可以获得虚拟的办公室场景,形成新的办公模式。现有技术中,比较注重于虚拟环境渲染,对于办公场景而言,引入用于办公的办公外设更为重要。
基于此,目前亟需一种虚拟办公系统生成方法、装置、产品、介质和设备,用于构建有办公外设的虚拟办公场景。
发明内容
本申请实施例提供一种方法、装置、产品、介质和设备,用于构建有办公外设的虚拟办公场景。
第一方面,本申请实施例提供一种虚拟办公系统生成方法应用于虚拟现实VR设备,所述方法包括:
通过所述VR设备上的摄像头获取环境图像信息;
基于所述VR设备的手柄的姿态信息,确定办公位边界;
通过所述环境图像信息确定办公外设在虚拟空间的位置数据;
确定所述位置数据在所述办公位边界划定的虚拟空间中对应的虚拟区域;
根据所述办公外设的图像信息、所述虚拟区域及所述办公位边界,生成具有所述办公外设的虚拟办公系统。
通过上述方式,可以在VR设备中生成一个虚拟的办公系统,使用者通过佩戴VR设备的头盔,就可以获得在真实办公场景中的办公体验。并且,将办公外设透视到虚拟办公场景中,可以实现在使用现有的办公外设进行办公。并且,可以将这些办公外设与不同的办公场景进行融合,比如,在办公室的场景中,理应有这些办公外设,但通过上述方式,还可以将办公外融合进其他场景中,例如,森林,山谷等,使用户获得更佳的使用体验。
一种可能的设计中,根据所述办公外设的图像信息、所述虚拟区域及所述办公位边界,生成具有所述办公外设的虚拟办公系统,包括:
根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景;所述虚拟办公场景包括环境背景、虚拟显示屏及虚拟办公位中的至少一个;
根据所述办公外设的图像信息、所述虚拟区域及所述虚拟办公场景,生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,所述虚拟办公场景中包括虚拟显示屏,根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景,包括:
根据环境图像信息确定虚拟办公场景类型;
根据所述虚拟办公场景类型确定所述虚拟显示屏的布局;
根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界确定所述虚拟显示屏在虚拟空间的位置数据;
根据所述虚拟显示屏的布局、所述虚拟显示屏在虚拟空间的位置数据确定具有所述办公位边界的虚拟办公场景。
在上述方式中,可以将深度信息引入虚拟的场景图片中,使人眼看起来更有立体感,从而获得更好的使用体验。
一种可能的设计中,所述虚拟办公场景中包括环境背景,根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景,包括:
根据选定的办公环境模型确定环境信息;
根据所述环境图像信息中的深度信息、所述环境信息对所述虚拟空间进行贴图,得到环境背景;
根据所述办公位边界和所述环境背景确定具有所述办公位边界的虚拟办公场景。
在上述方式中,在对环境背景进行贴图时,引入深度信息,从而使得虚拟空间中的图像和真实空间中的图像深度信息一致,人眼可以获得更佳的视觉效果,产生更真实的身临其境的感觉。
一种可能的设计中,根据所述办公外设的图像信息、所述虚拟区域及所述虚拟办公场景,生成具有所述办公外设的虚拟办公系统,包括:
结合所述环境图像信息中的深度信息,将所述办公外设的图像信息贴图至所述虚拟办公场景的所述虚拟区域中,从而生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,通过所述环境图像信息确定办公外设在虚拟空间中的位置数据,包括:
对所述环境图像信息表征的图像进行反畸变处理和图像尺寸变化,得到办公外设特征图像;
根据所述办公外设特征图像,基于深度学习模型确定所述办公外设上特征点的坐标;
根据所述办公外设上特征点的坐标和所述环境图像信息中的深度信息确定所述办公外设在虚拟空间中的位置数据。
一种可能的设计中,基于所述VR设备的手柄的姿态信息,确定办公位边界,包括:
根据所述手柄的姿态信息确定办公位边界点的平面坐标;
根据所述头盔的初始高度和所述办公位边界点的平面坐标确定所述办公位边界点的空间坐标;
连接所述办公位边界点的空间坐标,获得初始边界线;
结合所述环境图像信息对所述初始边界线进行处理,得到所述办公位边界,所述办公位边界不穿过真实空间中的任一物体。
一种可能的设计中,基于所述VR设备的手柄的姿态信息,确定办公位边界之前,还包括:
根据环境图像信息识别出真实办公环境中的至少一个物体;
对比上一帧环境图像信息,若所述至少一个物体的位置变化超出第一阈值,和/或,所述至少一个物体的数量变化超出第二阈值,则确定所述办公环境发生变化。
第二方面,本申请实施例提供一种虚拟办公系统生成装置,包括:
获取模块,用于获取环境图像信息;
办公位设置模块,用于基于所述VR设备的手柄的姿态信息,确定办公位边界;
外设获取模块,用于通过所述环境图像信息确定办公外设在真实空间的位置数据;以及确定所述位置数据在所述办公位边界划定的虚拟空间中对应的虚拟区域;
生成模块,用于根据所述办公外设的图像信息、所述虚拟区域及所述办公位边界,生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,所述生成模块具体用于:根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景;所述虚拟办公场景包括环境背景、虚拟显示屏及虚拟办公位中的至少一个;根据所述办公外设的图像信息、所述虚拟区域及所述虚拟办公场景,生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,所述生成模块具体用于:根据环境图像信息确定虚拟办公场景类型;根据所述虚拟办公场景类型确定所述虚拟显示屏的布局;根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界确定所述虚拟显示屏在虚拟空间的位置数据;根据所述虚拟显示屏的布局、所述虚拟显示屏在虚拟空间的位置数据确定具有所述办公位边界的虚拟办公场景。
一种可能的设计中,所述生成模块具体用于:根据选定的办公环境模型确定环境信息;根据所述环境图像信息中的深度信息、所述环境信息对所述虚拟空间进行贴图,得到环境背景;根据所述办公位边界和所述环境背景确定具有所述办公位边界的虚拟办公场景。
一种可能的设计中,所述生成模块具体用于:结合所述环境图像信息中的深度信息,将所述办公外设的图像信息贴图至所述虚拟办公场景的所述虚拟区域中,从而生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,所述外设获取模块具体用于:对所述环境图像信息表征的图像进行反畸变处理和图像尺寸变化,得到办公外设特征图像;根据所述办公外设特征图像,基于深度学习模型确定所述办公外设上特征点的坐标;根据所述办公外设上特征点的坐标和所述环境图像信息中的深度信息确定所述办公外设在虚拟空间中的位置数据。
一种可能的设计中,办公位设置模块,具体用于根据所述手柄的姿态信息确定办公位边界点的平面坐标;根据所述头盔的初始高度和所述办公位边界点的平面坐标确定所述办公位边界点的空间坐标;连接所述办公位边界点的空间坐标,获得初始边界线;结合所述环境图像信息对所述初始边界线进行处理,得到所述办公位边界,所述办公位边界不穿过真实空间中的任一物体。
一种可能的设计中,所述获取模块还用于,根据环境图像信息识别出真实办公环境中的至少一个物体;对比上一帧环境图像信息,若所述至少一个物体的位置变化超出第一阈值,和/或,所述至少一个物体的数量变化超出第二阈值,则确定所述办公环境发生变化。
第三方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序被运行时,执行上述第一方面中任一项方法。
第四方面,本申请实施例提供一种计算设备,包括:存储器,用于存储程序指令;处理器,用于调用存储器中存储的程序指令,按照获得的程序执行上述第一方面中任一项设计中的方法。
第五方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在处理器上运行时,实现如上述第一方面中任一项设计中的方法。
上述第二方面至第五方面的有益效果,具体可参照上述第一方面任一项设计可达到的有益效果,此处不再一一赘述。
附图说明
图1示例性示出本申请实施例提供的一种系统架构示意图;
图2示例性示出本申请实施例提供的另外一种系统架构示意图;
图3示例性示出本申请实施例提供的一种虚拟办公系统生成方法的流程示意图;
图4示例性示出本申请实施例提供的一种确定办公位边界的方法流程示意图;
图5示例性示出本申请实施例提供的一种手柄使用场景示意图;
图6示例性示出本申请实施例提供的一种初始边界线示意图;
图7示例性示出本申请实施例提供的一种办公位边界示意图;
图8示例性示出本申请实施例提供的环境背景的生成过程的示意图;
图9示例性示出本申请实施例提供的一种虚拟显示屏的生成过程的示意图;
图10示例性地示出本申请实施例提供的一种虚拟办公系统生成装置。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示例性示出本申请实施例提供的一种系统架构示意图,如图1所示的虚拟办公设备包括:左手柄、右手柄和头盔,头盔可以是一种全包的头戴式设备,也可以是半包的眼部设备。左右两个手柄用于使用者的握持,通过无线或有线的方式与头盔进行数据传输。头盔中包含计算单元、存储单元、图像处理单元等。使用者通过佩戴头盔,可以获得身临其境的体验。
另一种可能的实现方式中,为了减少头盔的体积,可以将上述的计算单元、存储单元或者图像处理单元,部署在另外的终端设备中,包括但不限于服务器、个人电脑、手机等电子设备,图2示例性示出本申请实施例提供的另外一种系统架构示意图,如图2所示,头盔通过有线连接的方式和电脑进行数据传输,头盔采集的图像数据可以传输至电脑进行处理,电脑将处理之后的数据再发送给头盔进行显示,如此可以大幅减小头盔的体积,使用者获得更优的体验。
基于图1、图2所示的系统架构可以设计一种虚拟办公系统。使虚拟现实设备除了在游戏影音等娱乐场景下使用,也可以在办公环境下使用。使用者可以通过虚拟现实设备,实现置身真实办公场景中的视听体验,并且可以利用虚拟现实设备已有的屏幕显示办公场景中的屏幕,通过手柄和屏幕进行交互,实现一种新的办公模式。
图3示例性示出本申请实施例提供的一种虚拟办公系统生成方法的流程示意图,如图3所示,该方法包括如下步骤:
步骤301,通过VR设备上的摄像头获取环境图像信息。
一般来讲,VR设备上设置有摄像头,通过摄像头可以对周围环境进行拍照、扫描,用户通过摄像头传输的视相信息可以在无需摘下头盔的情况下就可以观察到周围空间的情况,从而避免在空间中活动时磕碰。
为了更好的适应人体的构造,在VR设备中一般安装有双目摄像头,通过左眼摄像头和右眼摄像头进行图像采集,并根据双目摄像头位置与人眼位置之间的图像转换关系,对所述双目摄像头采集到的实景图像进行图像转换,将转换后的实景图像显示在所述虚拟现实设备的显示屏上,以供人眼获得与裸眼效果一致的环境图像。
步骤302,基于VR设备的手柄的姿态信息,确定办公位边界。
手柄中设置有运动传感器、信号收发器,可以将手柄的位置信息与姿态信息传输给VR设备的头盔。手柄中上可以设置有摇杆,用于控制操作对象的方向动作;此外,手柄上还设置有扳机,用于控制发射红外射线,以使手柄获得更大的操作空间。本步骤中,就是通过手柄发射的射线确定的办公位边界。具体实现过程,将在下方详细论述。
步骤303,通过环境图像信息确定办公外设在虚拟空间的位置数据。
步骤304,确定位置数据在办公位边界划定的虚拟空间中对应的虚拟区域。
在办公场景中,不可避免的会用到键盘、鼠标和数位板等外围设备,VR设备可以通过自身的电子屏幕提供显示屏,但是对于这些外设仍然需要真实的物体。但是,在佩戴VR设备的过程中,是无法看到这些外设的具体位置的,因此,需要将这些外设透视到虚拟空间中,使得人眼在佩戴虚拟设备时,也可以使用这些外设。这就需要获取到这些办公外设在真实空间的位置数据,以做映射,进而确定办公外设在虚拟空间中对应的虚拟区域。
在上述步骤303中,需要对环境图像信息表征的图像进行反畸变处理和图像尺寸变化,得到办公外设特征图像;确定是哪一种办公外设,例如,键盘、鼠标等。根据办公外设特征图像,基于深度学习模型确定办公外设上特征点的坐标;根据办公外设上特征点的坐标和深度信息确定办公外设在虚拟空间中的位置数据。
以键盘为例,可以在键盘上粘贴二维码,通过识别环境图像信息可以对二维码进行解析,考虑光照不变性、尺度不变性和旋转不变性等,并对噪点进行过滤,进而确定键盘这种外设类型。继续通过深度学习模型可以确定键盘上各个键帽的坐标,以及整个键盘边界的坐标。最后结合深度信息,将键盘透视到虚拟空间中。
一种可能的实现方式中,可以结合所述环境图像信息中的深度信息,将所述办公外设的图像信息贴图至所述虚拟办公场景的所述虚拟区域中,从而生成具有所述办公外设的虚拟办公系统。
在这种方式中,可以结合深度信息可以确定办公外设在真实空间中的深度,即距离用户的位置,在将其投射到虚拟空间中之后,可以获取更真实的立体感。
步骤305,根据办公外设的图像信息、虚拟区域及办公位边界,生成具有办公外设的虚拟办公系统。
通过上述方式,可以在VR设备中生成一个虚拟的办公系统,使用者通过佩戴VR设备的头盔,就可以获得在真实办公场景中的办公体验。并且,将办公外设透视到虚拟办公场景中,可以实现在使用现有的办公外设进行办公。并且,可以将这些办公外设与不同的办公场景进行融合,比如,在办公室的场景中,理应有这些办公外设,但通过上述方式,还可以将办公外融合进其他场景中,例如,森林,山谷等,使用户获得更佳的使用体验。
在真实的应用场景中,用户通过摄像头可以看到所处的周围环境。例如,自己所在的办公位。真实世界中的办公位一般是有固定边界的区域,固定边界包括但不限于一些挡板、办公桌和办公椅,在戴上VR设备以后,由于不会仅停留在使用摄像头的界面中,因此,需要一个边界来确保用户不会撞到真实空间中的固定边界。
下面介绍基于VR设备的手柄的姿态信息,确定办公位边界的具体实现过程。图4示例性示出本申请实施例提供的一种确定办公位边界的方法流程示意图,如图4所示,该方法包括:
步骤401,根据手柄的姿态信息确定办公位边界点的平面坐标。手柄的姿态和用户手握持的姿态有关,通过手柄上的运动传感器,例如,陀螺仪等,可以获取到手柄六个自由度(6degrees of freedom,6DoF)的数据,包括:X轴、Y轴、Z轴方向的平移运动和绕轴、Y轴、Z轴方向的旋转运动,进而可以确定手柄的姿态。
图5示例性示出本申请实施例提供的一种手柄使用场景示意图。如图5所示,在用户使用过程中,扣动手柄上的扳机使手柄发射射线,从而可以使手柄的姿态不停的变化,进而确定多个办公位边界点。示例性地,手柄发出射线的终点可以设置在地面上,进而可以获取到位于地面的平面坐标(x,y)。
步骤402,根据头盔的初始高度和办公位边界点的平面坐标确定办公位边界点的空间坐标。
在本步骤中,可以利用头盔中的运动传感器确定头盔的初始高度,在结合与手柄之间的相对位置关系,可以确定办公位边界点在空间中的位置。例如,可以设置地面与头盔之间高度的一半作为边界点所在的平面,还可以根据真实空间中的物体分布,确定不同的平面,此时办公位边界点的空间坐标的Z轴数据是不同的。
步骤403,连接办公位边界点的空间坐标,获得初始边界线。
步骤404,结合环境图像信息对初始边界线进行处理,得到办公位边界,办公位边界不穿过真实空间中的任一物体。
用户在通过手柄的射线进行划线时,手柄的射线通过扳机来控制,在遇到障碍物时,用户可能会松开扳机,此时手柄就不会发出射线,直至下一次扣动扳机,重新采集办公位边界点的坐标。在此过程中,连接办公位边界点的空间坐标,即可能会获得多条重叠、交叉、断续的初始边界线。因此,需要对初始边界线进行处理。
图6示例性示出本申请实施例提供的一种初始边界线示意图,如图6所示的初始边界线是由两条边界线形成了一个交叉点,包括区域A、区域B、区域C、区域D,以及形成这四个边界区域的边界线1、边界线2、边界线3、边界线4,此时,需要对这种边界线进行处理,确定保留的区域或者边界线。
一种可能的实现方式中,可以将头盔所在的区域保留,例如,若头盔所在的区域为区域C,则说明,边界线3和边界线4是包围住用户所在区域的边界,因此,将这两个边界保留,删除边界线1和边界线2。
另一种可能的实现方式中,可以将不在同一条直线上的最长的两条边界保留。此时,保留的是边界线3和边界线4。
进一步示例性地,由于边界线用于提示用户,避免碰撞,因此,边界线不能穿过真实空间中的任何物体。此时,通过环境图像信息,确定真实空间中的物体位置及边界,据此,对初始边界进行优化,进而使得防碰撞的效果更加明显。
图7示例性示出本申请实施例提供的一种办公位边界示意图。用户在办公位边界所圈出的区域活动,超出此区域则有碰撞的危险。在用户靠近办公位边界时,头盔向用户进行告警,提示用户碰撞风险。
办公位边界确定完成之后,保存在头盔的存储器中,下次在使用VR设备的虚拟办公场景时,就无需再次设置办公位边界。但是,在如下几种情况中,需要重新设置办公位边界。
情况一:初次使用时,尚未检测到办公位边界。在设置好办公位边界之后,VR设备的配置文件中的特定标志位会发生改变,若检测到特定标志位是初始值,则确定没有设置办公位,此时,就要提示用户重新设置办公位。
情况二:用户主动发起。在此种情况中,用户可以通过VR设备提供的设置入口,发起设置办公位边界流程。
情况三:检测到办公环境发生较大的变化。在虚拟办公系统实际的使用环境中,由于办公环境是经常改变的,办公位边界也需要随之二变化。例如,当前用户所处的办公环境为客厅,可活动区域比较大,在用户移动到书房或者卧室进行办公后,可活动区域缩小,如果仍然使用先前的办公位边界,那么用户在戴上头盔之后,很容易发生碰撞的危险。因此,在办公环境发生变化时,需要重新设置办公位边界。
一种可能的实现方式中,可以根据环境图像信息识别出真实办公环境中的至少一个物体;再对比上一帧环境图像信息,若所述至少一个物体的位置变化超出第一阈值,和/或,所述至少一个物体的数量变化超出第二阈值,则确定所述办公环境发生变化。
在上述方式中,根据摄像头采集的环境图像信息可以识别真实办公环境中的物体,确定物体的位置,对比上一帧图像,若一个物体的位置发生较大的变化,超过第一阈值,说明用户在真生空间中的位置发生了变化,或者物体的数量发生了变化,此时,需要重新设置办公位边界。
对应实际的使用场景,在真实空间中,用户从办公位1移动到办公位2,这是两个相邻的办公位,由于在真实空间中相邻,那么摄像头在获取环境图像信息时,会获取到相同的物体,但是物体的位置发生了变化,比如横坐标的位置变化了1m,此时,可以确定用户在真实空间中的位置移动,需要重新设置办公位边界。另一种实现方式中,可以对比两帧图像中物体的数量,若物体的数量发生了变化,则也可以说明真实空间的改变。例如,移走了真实空间中的一个椅子,物体的数量减少1,那么在真实空间中用户的可活动区域变大,即可以适当扩大办公位边界。此时,触发办公位边界设置流程。
在上述步骤305中,可以根据环境图像信息中的深度信息、选定的办公环境模型及办公位边界,确定具有办公位边界的虚拟办公场景;虚拟办公场景包括环境背景、虚拟显示屏及虚拟办公位中的至少一个;
根据办公外设的图像信息、虚拟区域及虚拟办公场景,生成具有办公外设的虚拟办公系统。
虚拟区域中的虚拟办公位可以根据上述方式中生成的办公位边界确定。环境背景和虚拟显示屏需要根据预设的环境模型和环境图像信息中的深度信息确定。
下面具体介绍在虚拟办公场景中环境背景的生成过程。图8示例性示出本申请实施例提供的环境背景的生成过程的示意图,如图8所示,该过程包括:
步骤801,根据选定的办公环境模型确定环境信息,办公环境模型可以是从预设数据库中导入的,用户可以浏览预设数据库中的办公环境模型,例如,森林环境、沙漠环境、极地环境、图书馆环境、操场环境等,根据用户选定的办公环境模型,确定环境信息,环境信息是模型对应的图像数据或者生意数据。
步骤802,根据环境图像信息中的深度信息、环境信息对虚拟空间进行贴图,得到环境背景;
传统的贴图方式中,仅仅将采集到的三维图像在一个球形的虚拟空间中进行贴图,这种贴图方式,立体感较差。本步骤中,结合摄像头获取的环境图像信息中的深度信息,对图像进行处理,之后在对虚拟空间进行贴图,得到环境背景。
步骤803,根据办公位边界和环境背景确定具有办公位边界的虚拟办公场景。
在上述方式中,在对环境背景进行贴图时,引入深度信息,从而使得虚拟空间中的图像和真实空间中的图像深度信息一致,人眼可以获得更佳的视觉效果,产生更真实的身临其境的感觉。
下面具体介绍在虚拟办公场景中虚拟显示屏的生成过程。图9示例性示出本申请实施例提供的一种虚拟显示屏的生成过程的示意图,如图9所示,该过程包括:
步骤901,根据环境图像信息确定虚拟办公场景类型。
步骤902,根据虚拟办公场景类型确定虚拟显示屏的布局。在此步骤中,可以根据环境中物体的种类、环境的色彩、环境的亮度确定虚拟办公场景的类型。例如,若识别到环境中有黑板、粉笔、讲台等物体,则可以确定虚拟办公场景的类型为教学场景,那么生成的虚拟显示屏就可以根据教师的使用习惯,设置一个课件界面、一个学生视频界面、一个教案界面。
步骤903,根据环境图像信息中的深度信息、选定的办公环境模型及办公位边界确定虚拟显示屏在虚拟空间的位置数据。
继续以上述步骤中的例子为例,可以根据环境中黑板的深度信息,墙壁的深度信息等,结合选定的办公环境和办公位边界,确定虚拟显示屏的位置。
步骤904,根据虚拟显示屏的布局、虚拟显示屏在虚拟空间的位置数据确定具有办公位边界的虚拟办公场景。
在上述方式中,可以将深度信息引入虚拟的场景图片中,使人眼看起来更有立体感,从而获得更好的使用体验。
可选的,在生成虚拟显示屏之后,需要和虚拟外设进行融合,使得虚拟显示屏的窗口不会挡住办公外设。
基于相同的技术构思,本申请实施例还提供了一种虚拟办公系统生成装置。图10示例性地示出本申请实施例提供的一种虚拟办公系统生成装置,该装置可以执行前述的网络地址转换方法,如图10所示,该装置包括:
获取模块,用于获取环境图像信息;
办公位设置模块,用于基于所述VR设备的手柄的姿态信息,确定办公位边界;
外设获取模块,用于通过所述环境图像信息确定办公外设在真实空间的位置数据;以及确定所述位置数据在所述办公位边界划定的虚拟空间中对应的虚拟区域;
生成模块,用于根据所述办公外设的图像信息、所述虚拟区域及所述办公位边界,生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,所述生成模块具体用于:根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景;所述虚拟办公场景包括环境背景、虚拟显示屏及虚拟办公位中的至少一个;根据所述办公外设的图像信息、所述虚拟区域及所述虚拟办公场景,生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,所述生成模块具体用于:根据环境图像信息确定虚拟办公场景类型;根据所述虚拟办公场景类型确定所述虚拟显示屏的布局;根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界确定所述虚拟显示屏在虚拟空间的位置数据;根据所述虚拟显示屏的布局、所述虚拟显示屏在虚拟空间的位置数据确定具有所述办公位边界的虚拟办公场景。
一种可能的设计中,所述生成模块具体用于:根据选定的办公环境模型确定环境信息;根据所述环境图像信息中的深度信息、所述环境信息对所述虚拟空间进行贴图,得到环境背景;根据所述办公位边界和所述环境背景确定具有所述办公位边界的虚拟办公场景。
一种可能的设计中,所述生成模块具体用于:结合所述环境图像信息中的深度信息,将所述办公外设的图像信息贴图至所述虚拟办公场景的所述虚拟区域中,从而生成具有所述办公外设的虚拟办公系统。
一种可能的设计中,所述外设获取模块具体用于:对所述环境图像信息表征的图像进行反畸变处理和图像尺寸变化,得到办公外设特征图像;根据所述办公外设特征图像,基于深度学习模型确定所述办公外设上特征点的坐标;根据所述办公外设上特征点的坐标和所述环境图像信息中的深度信息确定所述办公外设在虚拟空间中的位置数据。
一种可能的设计中,办公位设置模块,具体用于根据所述手柄的姿态信息确定办公位边界点的平面坐标;根据所述头盔的初始高度和所述办公位边界点的平面坐标确定所述办公位边界点的空间坐标;连接所述办公位边界点的空间坐标,获得初始边界线;结合所述环境图像信息对所述初始边界线进行处理,得到所述办公位边界,所述办公位边界不穿过真实空间中的任一物体。
一种可能的设计中,所述获取模块还用于,根据环境图像信息识别出真实办公环境中的至少一个物体;对比上一帧环境图像信息,若所述至少一个物体的位置变化超出第一阈值,和/或,所述至少一个物体的数量变化超出第二阈值,则确定所述办公环境发生变化。
基于相同的技术构思,本发明实施例还提供了一种计算机程序产品,当所述计算机程序产品在处理器上运行时,实现上述实施例中所示的方法。
基于相同的技术构思,本发明实施例还提供了一种计算设备,包括:存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述实施例中所示的方法。
基于相同的技术构思,本发明实施例还提供了一种计算机可读存储介质,当所述计算机程序产品在处理器上运行时,实现上述实施例中所示的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种虚拟办公系统生成方法,其特征在于,应用于虚拟现实VR设备,所述方法包括:
通过所述VR设备上的摄像头获取环境图像信息;
基于所述VR设备的手柄的姿态信息,确定办公位边界;
通过所述环境图像信息确定办公外设在虚拟空间的位置数据;
确定所述位置数据在所述办公位边界划定的虚拟空间中对应的虚拟区域;
根据所述办公外设的图像信息、所述虚拟区域及所述办公位边界,生成具有所述办公外设的虚拟办公系统。
2.如权利要求1所述的方法,其特征在于,根据所述办公外设的图像信息、所述虚拟区域及所述办公位边界,生成具有所述办公外设的虚拟办公系统,包括:
根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景;所述虚拟办公场景包括环境背景、虚拟显示屏及虚拟办公位中的至少一个;
根据所述办公外设的图像信息、所述虚拟区域及所述虚拟办公场景,生成具有所述办公外设的虚拟办公系统。
3.如权利要求2所述的方法,其特征在于,所述虚拟办公场景中包括虚拟显示屏,根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景,包括:
根据环境图像信息确定虚拟办公场景类型;
根据所述虚拟办公场景类型确定所述虚拟显示屏的布局;
根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界确定所述虚拟显示屏在虚拟空间的位置数据;
根据所述虚拟显示屏的布局、所述虚拟显示屏在虚拟空间的位置数据确定具有所述办公位边界的虚拟办公场景。
4.如权利要求2所述的方法,其特征在于,所述虚拟办公场景中包括环境背景,根据所述环境图像信息中的深度信息、选定的办公环境模型及所述办公位边界,确定具有所述办公位边界的虚拟办公场景,包括:
根据选定的办公环境模型确定环境信息;
根据所述环境图像信息中的深度信息、所述环境信息对所述虚拟空间进行贴图,得到环境背景;
根据所述办公位边界和所述环境背景确定具有所述办公位边界的虚拟办公场景。
5.如权利要求1所述的方法,其特征在于,根据所述办公外设的图像信息、所述虚拟区域及所述虚拟办公场景,生成具有所述办公外设的虚拟办公系统,包括:
结合所述环境图像信息中的深度信息,将所述办公外设的图像信息贴图至所述虚拟办公场景的所述虚拟区域中,从而生成具有所述办公外设的虚拟办公系统。
6.如权利要求1所述的方法,其特征在于,通过所述环境图像信息确定办公外设在虚拟空间中的位置数据,包括:
对所述环境图像信息表征的图像进行反畸变处理和图像尺寸变化,得到办公外设特征图像;
根据所述办公外设特征图像,基于深度学习模型确定所述办公外设上特征点的坐标;
根据所述办公外设上特征点的坐标和所述环境图像信息中的深度信息确定所述办公外设在虚拟空间中的位置数据。
7.如权利要求1所述的方法,其特征在于,基于所述VR设备的手柄的姿态信息,确定办公位边界,包括:
根据所述手柄的姿态信息确定办公位边界点的平面坐标;
根据所述头盔的初始高度和所述办公位边界点的平面坐标确定所述办公位边界点的空间坐标;
连接所述办公位边界点的空间坐标,获得初始边界线;
结合所述环境图像信息对所述初始边界线进行处理,得到所述办公位边界,所述办公位边界不穿过真实空间中的任一物体。
8.如权利要求1-7任一项所述的方法,其特征在于,基于所述VR设备的手柄的姿态信息,确定办公位边界之前,还包括:
根据环境图像信息识别出真实办公环境中的至少一个物体;
对比上一帧环境图像信息,若所述至少一个物体的位置变化超出第一阈值,和/或,所述至少一个物体的数量变化超出第二阈值,则确定所述办公环境发生变化。
9.一种虚拟办公系统生成装置,其特征在于,包括:
获取模块,用于获取环境图像信息;
办公位设置模块,用于基于所述VR设备的手柄的姿态信息,确定办公位边界;
外设获取模块,用于通过所述环境图像信息确定办公外设在真实空间的位置数据;以及确定所述位置数据在所述办公位边界划定的虚拟空间中对应的虚拟区域;
生成模块,用于根据所述办公外设的图像信息、所述虚拟区域及所述办公位边界,生成具有所述办公外设的虚拟办公系统。
10.一种计算机程序产品,其特征在于,计算机程序产品在处理器上运行时,实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被运行时,执行如权利要求1至8中任一项所述的方法。
12.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行如权利要求1至8中任一项权利要求所述的方法。
CN202310175258.4A 2023-02-28 2023-02-28 一种虚拟办公系统生成方法、装置、产品、介质和设备 Pending CN116339507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310175258.4A CN116339507A (zh) 2023-02-28 2023-02-28 一种虚拟办公系统生成方法、装置、产品、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310175258.4A CN116339507A (zh) 2023-02-28 2023-02-28 一种虚拟办公系统生成方法、装置、产品、介质和设备

Publications (1)

Publication Number Publication Date
CN116339507A true CN116339507A (zh) 2023-06-27

Family

ID=86881475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310175258.4A Pending CN116339507A (zh) 2023-02-28 2023-02-28 一种虚拟办公系统生成方法、装置、产品、介质和设备

Country Status (1)

Country Link
CN (1) CN116339507A (zh)

Similar Documents

Publication Publication Date Title
US11176748B2 (en) Image processing apparatus, image processing method, and program
CN105283824B (zh) 用图像投影的虚拟交互
CN108525298B (zh) 图像处理方法、装置、存储介质及电子设备
CN105981076B (zh) 合成增强现实环境的构造
EP3117290B1 (en) Interactive information display
JP7073481B2 (ja) 画像表示システム
EP3304252A1 (en) Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
CN112346572A (zh) 一种虚实融合实现方法、系统和电子设备
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
CN108389249A (zh) 一种多兼容性的vr/ar空间教室及其构建方法
CN111273766B (zh) 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
US11209903B2 (en) Rendering of mediated reality content
CN113867531A (zh) 交互方法、装置、设备及计算机可读存储介质
GB2525304B (en) Interactive information display
Figueiredo et al. Fishtank everywhere: Improving viewing experience over 3D content
CN116339507A (zh) 一种虚拟办公系统生成方法、装置、产品、介质和设备
EP2919094A1 (en) Interactive information display
Cao et al. A large curved display system in virtual reality for immersive data interaction
US8307295B2 (en) Method for controlling a computer generated or physical character based on visual focus
JP2017228141A (ja) 画像表示制御装置及びプログラム
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
TWI839830B (zh) 混合現實交互方法、裝置、電子設備及介質
CN116055708B (zh) 一种感知可视交互式球幕三维立体成像方法及系统
JP7011746B1 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
CN108932642A (zh) 基于虚拟现实的楼盘体验方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination