CN116664802A - 虚拟内容展示方法、系统、电子设备和计算机可读存储介质 - Google Patents
虚拟内容展示方法、系统、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116664802A CN116664802A CN202310502858.7A CN202310502858A CN116664802A CN 116664802 A CN116664802 A CN 116664802A CN 202310502858 A CN202310502858 A CN 202310502858A CN 116664802 A CN116664802 A CN 116664802A
- Authority
- CN
- China
- Prior art keywords
- virtual content
- positioning information
- information
- preset
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000233805 Phoenix Species 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种虚拟内容的展示方法,其中,该方法应用在增强现实场景,在可供AR体验的终端设备侧实现,包括:获取目标场景中的各个虚拟内容和当前定位信息;确定各个虚拟内容与当前定位信息的相对位置关系,根据相对位置关系对虚拟内容进行处理,其中,处理的步骤包括:直接展示与当前定位信息匹配的虚拟内容,以及,间接提示虚拟内容的位置。通过本申请,通过多个维度的展示方式改进,不仅帮助用户迅速的获知虚拟内容的位置,而且丰富了AR内容的展示效果,从而极大程度体提升了用户的AR体验。
Description
技术领域
本申请涉及增强现实领域,特别是涉及虚拟内容展示方法、系统、电子设备和计算机可读存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合的技术。广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,两种信息互为补充,从而实现对真实世界的“增强”。
在相关技术中,终端设备获取实时位姿之后,无法满足更加复杂多变的实际应用场景;当虚拟内容不在视野范围内时,在较大空间内体验AR内容时,通常用户会因为不熟悉AR内容的具体位置而四处寻找,进而影响沉浸式体验;另外,对于视野内前后不同位置的虚拟内容,当前的显示方式普遍缺乏层次感和景深感,用户难以辨识虚拟内容是否存在远近关系,进而导致视觉观感不佳。
目前,针对相关技术中,用户难以获知AR内容的具体位置导致用户AR体验不佳的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种虚拟内容展示方法、系统、计算机设备和计算机可读存储介质,以至少解决相关技术中户难以获知AR内容的具体位置导致用户AR体验不佳的问题。
第一方面,本申请实施例提供了一种虚拟内容展示方法,应用在AR设备中,所述方法包括:
获取目标场景中的各个虚拟内容和当前定位信息;
确定所述各个虚拟内容与所述当前定位信息的相对位置关系,
根据所述相对位置关系对所述虚拟内容进行处理,其中,所述处理的步骤包括:直接展示与所述当前定位信息匹配的虚拟内容,以及,间接提示所述虚拟内容的位置。
在其中一些实施例中,根据所述相对位置关系对所述虚拟内容进行处理包括:
获取所述虚拟内容对应在目标场景中的预设体验区域;
根据所述定位信息与所述预设体验区域的平面坐标关系,判断所述当前定位信息是否位于任意一个预设体验区域下,若是,显示当前定位信息所在的预设体验区域对应的虚拟内容,
若否,生成提示信息并展示所述提示信息,其中,所述提示信息用于指示用户移动至任意一个所述预设体验区域。
在其中一些实施例中,在展示提示信息之后,所述方法还包括:
持续获取实时定位信息,在检测到所述实时定位信息位于任意一个所述预设体验区域之后,显示所述实时定位信息所在的预设体验区域对应的虚拟内容,并取消展示所述提示信息。
在其中一些实施例中,所述根据所述相对位置关系对所述虚拟内容进行处理包括:
根据所述当前定位信息确定当前相机视野,判断所述虚拟内容是否位于所述相机视野内,若是,显示所述虚拟内容,
若否,根据所述相对位置关系生成提示信息,其中,所述提示信息用于,指示用户将所述相机视野旋转至所述虚拟内容所在的位置。
在其中一些实施例中,所述根据所述相对位置关系生成提示信息包括:
获取所述虚拟内容的关键点对应的三维世界坐标,将所述三维世界坐标映射至AR设备的相机视角平面,得到二维标准设备坐标;
将所述二维标准设备坐标转换AR设备的屏幕坐标,根据所述屏幕坐标与所述屏幕坐标系,生成第一提示参数;
获取第二提示参数,根据所述第一提示参数和所述第二提示参数生成所述提示信息,其中,所述第二提示参数用于,反映所述虚拟内容相对于所述AR设备的前后方位。
在其中一些实施例中,通过如下公式,将所述虚拟内容对应的二维标准设备坐标转换为屏幕坐标:
Ox=(Tx+1)*windowWidth/2
Oy=(-Ty+1)*windowHeight/2
其中,(Ox,Oy)是所述屏幕坐标,(Tx,Ty)是所述二维标准设备坐标,windowWidth和windowHeight是所述屏幕坐标系的有效窗口范围。
在其中一些实施例中,所述获取所述第二提示参数包括:
根据实体标定模型的世界坐标和所述当前定位信息对应的世界坐标,生成第一方向向量,其中,所述实体标定模型被预设在所述虚拟内容正前方的预设范围内;
根据所述虚拟内容对应的世界坐标,和所述当前定位信息对应的世界坐标,生成所述虚拟物体相对于所述AR设备的第二方向向量;
根据所述第一方向向量和所述第二方向向量之间的夹角,确定所述第二提示参数。
在其中一些实施例中,所述提示信息为贴屏方位指示信息。
在其中一些实施例中,所述根据所述相对位置关系对所述虚拟内容进行处理,包括:
以所述当前定位信息对应的三维坐标为坐标原点,确定当前视场内所述虚拟内容相对于所述坐标原点的景深值;
基于各个所述虚拟内容的景深值,通过预设列表确定所述虚拟内容的展示形式;
基于通过所述预设列表中确定的展示形式,展示所述虚拟内容。
在其中一些实施例中,所述预设列表中,一组景深区间匹配设置一类虚拟内容的展示形式,并且,同一景深区间下的多个虚拟内容,在用户的视野中心的两侧设置为弧形展示。
在其中一些实施例中,所述AR设备通过定位系统获取当前定位信息,其中,所述定位系统包括但不限于是:视觉定位系统、蓝牙定位系统和卫星定位系统。
第二方面,本申请实施例提供了一种虚拟内容展示系统,所述系统应用在AR设备上,包括:获取模块和展示模块,其中:
所述获取模块用于,获取目标场景中的各个虚拟内容和当前定位信息,以及确定所述各个虚拟内容与所述当前定位信息的相对位置关系,
所述展示模块用于,根据所述相对位置关系对所述虚拟内容进行处理,其中,所述处理的步骤包括直接展示所述虚拟内容,以及,间接提示所述虚拟内容的位置。
在其中一些实施例中,所述展示模块包括第一展示模块,所述第一展示模块用于,
获取所述虚拟内容对应在目标场景中的预设体验区域;
根据所述定位信息与所述预设体验区域的平面坐标关系,判断所述当前定位信息是否位于任意一个预设体验区域下,若是,显示当前定位信息所在的预设体验区域对应的虚拟内容,
若否,生成提示信息并展示所述提示信息,其中,所述提示信息用于指示用户移动至任意一个所述预设体验区域。
在其中一些实施例中,所述展示模块还包括第二展示模块,所述第二展示模块用于:
根据所述当前定位信息确定当前相机视野,判断所述虚拟内容是否位于所述相机视野内,若是,显示所述虚拟内容,
若否,根据所述相对位置关系生成提示信息,其中,所述提示信息用于,指示用户将所述相机视野旋转至所述虚拟内容所在的位置。
在其中一些实施例中,所述展示模块还包括第三展示模块,所述第三展示模块用于,
以所述当前定位信息对应的三维坐标为坐标原点,确定各个虚拟内容的坐标值;
基于各个所述虚拟内容的景深值,通过预设列表确定各个所述虚拟内容的展示形式;
基于通过所述预设列表中确定的展示形式,展示各个虚拟内容。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的方法。
相比于相关技术,本申请实施例提供的虚拟内容展示方法,相比较于相关技术中AR体验场景中的虚拟内容展示方法,至少具备如下有益效果:
1.对同一定位地图划分不同的体验区域,判定设备当前位置在场景中的所处区域,在不同体验区域展示不同的虚拟体验内容,提升用户的体验趣味性;
2.当用户处于非体验区域,或者用户视野中不存在虚拟内容的情况下,通过判断虚拟内容与设备当前位置的相对关系,生成对应的提示信息,以提醒用户快速获知虚拟内容的所在位置;
3.对虚拟空间景深划分不同的远近关系表达区域,根据设备位置信息和虚拟物体位置信息,判断虚拟内容对应的的远近关系表达区域,根据所在远近区域对虚拟内容设置以不同的展示形态,进一步的提升用户的使用体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的虚拟内容展示方法的应用环境示意图;
图2是根据本申请实施例的一种虚拟内容展示方法的流程图;
图3是根据本申请实施例的一种指示用户进入体验区域的流程图;
图4是根据本申请实施例的一种判断用户当前位置是否处于体验区域的示意图;
图5是根据本申请实施例的一种指示用户将视野旋转至虚拟内容的流程图;
图6是根据本申请实施例的一种在智能手机中展示提示信息的示意图;
图7是根据本申请实施例的一种屏幕坐标系与标准设备坐标系对应关系的示意图;
图8是根据本申请实施例的一种根据不同景深展示虚拟内容的示意图;
图9是根据本申请实施例的一种虚拟内容展示系统的结构框。
图10是根据本申请实施例的电子设备的内部结构示意图,
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
AR(Argument Reality):增强现实,一种将虚拟信息与真实世界巧妙融合的技术,将计算机生成的文字、图像、三维模型、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,实现对真实世界的“增强”。
位姿(pose):位置和姿态(朝向),例如:在二维中一般是(x,y,yaw),三维中一般是(x,y,z,yaw,pitch,roll),包括6个自由度,6of(6Degrees Of Freedom),后三个元素描述物体的姿态,其中yaw是航向角,绕Z轴旋转;pitch是俯仰角,绕Y轴旋转;roll是翻滚角,绕X轴旋转。
定位系统(Positioning System):确定物体在地图坐标系下的位置与姿态的系统,定位结果用“t时刻,a物体在b地图中的pose”表示。
全球定位系统(Global Position System):在地理坐标系下进行定位的系统,全球定位系统包括GPS、北斗、伽利略等使用人造卫星进行定位的系统。本实施例中使用GPS代称。
视觉定位系统(Visual Position System):在视觉地图坐标系下使用图像进行定位,位置的不确定度一般为0.2m,本实施例中使用“VPS”代称。
蓝牙定位系统(Bluetooth Position System):在蓝牙地图坐标系下使用蓝牙进行定位的系统,定位位姿的不确定度因传感器而异。
坐标系变换(transform,简写成T):可用公式X_b=T_a_to_b*X_a表示,使用坐标系变换矩阵T_a_to_b,可以把a坐标系下的点X,变换到b坐标系下得到X_b。
本申请提供的虚拟内容展示方法,可以应用在如图1所示的应用环境中,图1是根据本申请实施例的虚拟内容展示方法的应用环境示意图,如图1所示,用户通过AR设备10在目标场景中进行交互体验,通过服务器11获取实时定位信息。其中,该目标场景被划分为不同体验区域,各个体验区域展示不同的虚拟内容。另外,在该目标场景是较大空间时,AR设备可以根据虚拟内容与当前定位信息的相对关系,生成提示信息,用于指导用户快速获知虚拟内容的位置,从而提升其体验过程的沉浸度。需要说明的是,本申请实施例提供的虚拟内容展示方法应用在增强现实领域,其中涉及的AR设备包括但不限于是智能手机、平板电脑和AR眼镜等,展示虚拟内容的平台可以是web、小程序和定制的客户端应用。
图2是根据本申请实施例的一种虚拟内容展示方法的流程图,如图2所示,该流程包括如下步骤:
S201,获取目标场景中的各个虚拟内容和当前定位信息;
其中,上述目标场景的具体类型在本实施例中并无具体限定,其可以是室内或室外环境,例如:景区、商场、公园和街道等;
另外,获取上述定位信息的具体手段可以但不限于是:视觉定位系统、蓝牙定位系统和卫星定位系统,采集的定位结果是AR设备的实时位姿(位置+朝向);
具体的,在采用视觉定位系统时,需要先对目标场景进行三维建图,实际定位时,将用户端实时采集的图像帧在该地图中进行特征点匹配,进而得到该图像对应的定位位姿,即为当前位结果;蓝牙定位系统和卫星定位系统,则是在目标场景下部署特定的信号接收传感器或者依靠设备自身的硬件功能,实现定位功能。
本领域技术人员可以理解,本实施例中,可以灵活采用上述定位方式中的任意一种,其目的是实时获取用户AR体验终端的实时定位信息。
另外,上述虚拟内容,即用于叠加在真实场景上的虚拟特效,其被预设在目标场景中的某些“特定位置”且具体坐标已知。可选的,该“虚拟内容”可以与实际场景产生一定的交互效果,例如:在目标区域为湖心亭时,虚拟内容可以是湖心亭上空飞翔的“凤凰”;在目标区域为影视主题公园时,该虚拟内容可以是“经典动漫形象”。
S202,确定各个虚拟内容与当前定位信息的相对位置关系;
上述步骤S201中获取到当前定位信息,也即用户在目标场景下的位置坐标,而由于虚拟内容的坐标也已知。可以通过计算两个坐标值的差值,获取两者的相对位置关系;需要说明的是,上述相对位置关系,可以是二维平面坐标的差值,即将虚拟内容的位置坐标和当前定位结果投影至地面,将地面视为一个平面坐标系,计算两者的二维坐标差值;另外,相对位置关系也可以是三维空间坐标的差异,即将在户所在三维空间空间坐标系中,获取虚拟内容与AR提亚终端坐标的差值。
需要说明的是,由于AR设备体积较小,上述当前定位信息可以是一个项具体的坐标值;而虚拟内容可能体积较大,且形状并不规则,因此,可以用关键点坐标表征整个虚拟内容的坐标,具体的:该关键点可以是虚拟内容的视觉中心或重心,例如,当虚拟内容是圆形、方形等规则形状时,可以取其几何中心来表征虚拟内容的位置;当虚拟内容是复杂不规则的异形时,可以取其视觉中心的坐标来表征虚拟内容的位置。
S203,根据相对位置关系对虚拟内容进行处理,其中,处理的步骤包括:直接展示与当前定位信息匹配的虚拟内容,以及,间接提示虚拟内容的位置。
具体的,如果相对位置关系指示用户当前处于体验区域内,即展示该区域下预设的虚拟内容。需要说明的是,本实施例中,不同的体验区域设置有不同的虚拟内容,根据用户所处的区域展示对应的虚拟内容,从而提示用户的使用趣味。
另外,当相对位置关系指示用户处于非体验区域时,可以展示提示信息,度指示用户虚拟内容所在的位置,该提示信息可以是基于二维平面坐标比对,生成的用于指示用户进入体验区域的信息。
进一步的,该提示信息也可以是基于三维坐标比对,生成的用于指示用户将相机视野旋转至虚拟内容所在方位的信息.
另外,当虚拟内容位置固定,在相对位置关系指示用户位于体验区域,且视野中包含虚拟内容的情况下,可以获取虚拟内容与当前位置在深度上的差值,并结合预设的判定条件,针对不同远近举例的虚拟内容,配置以不同的显示形态,从而更进一步的提升用户体验。
通过上述步骤S201至S203,相比较于传统方式中的虚拟内容显示方法,本申请中,通过在不同的体验区域展示不同的体验内容,以及通过展示基于相对位置生成的提示信息,帮助用户迅速的确定虚拟内容的位置,进一步的,还根据虚拟内容对当前位置的远近,设置不同的展示形态;通过多个维度的展示方式改进,不仅帮助用户迅速的获知虚拟内容的位置,而且丰富了AR内容的展示效果,从而极大程度体提升了用户的AR体验。
在其中一些实施例中,由于目标场景中不可避免的存在非体验区域(如景区内的某些封闭室内空间),图3是根据本申请实施例的一种指示用户进入体验区域的流程图,如图3所示,设定在采用视觉定位得到定位结果之后,包括如下步骤:
Step1;获取虚拟内容对应在目标场景中的预设体验区域;
Step2:根据定位信息与预设体验区域的平面坐标关系,判断当前定位信息是否位于任意一个预设体验区域下;
需要说明的是,本步骤中只做二维(xz平面/地面)判定,图4是根据本申请实施例的一种判断用户当前位置是否处于体验区域的示意图,如图4所示:其中一个限定范围为x限定在0-2,z限定在0-2;返回设备位置为(1,1.7,1)时判定在体验范围内;返回设备位置为(-1,1.7,1)时判定不在体验范围内;
Step3a:若是,显示当前定位信息所在的预设体验区域对应的虚拟内容;
Step3b:若否,生成提示信息并展示提示信息,其中,提示信息用于指示用户移动至任意一个预设体验区域。具体的,该提示信息可以是语音提示和视频提示。
Step4::持续获取实时定位信息,在检测到实时定位信息位于任意一个预设体验区域之后,显示实时定位信息所在的预设体验区域对应的虚拟内容,并取消展示提示信息。
通过上述步骤,通过对此用户当前位置与任一虚拟内容所在的体验区域的范围坐标,迅速判断在用户是否体验区域,以及,在用户处于非体验区域时,提示其进入体验区域,提升了用户的使用体验。
在其中一些实施例中,即使用户当前位于体验区域,但是其相机视野中有可能不包括虚拟内容或者并对准虚拟内容,该种情况下,可以通过显示旋转提示信息,来指示用户将相机视野移动至虚拟内容的方位,图5是根据本申请实施例的一种指示用户将视野旋转至虚拟内容的流程图,如图5所示,具体包括如下步骤:
S501,根据当前定位信息确定当前相机视野,判断虚拟内容是否位于相机视野内;
S502a,若是,根据当前定位信息显示虚拟内容,
S502b,若否,根据相对位置关系生成提示信息,其中,提示信息用于,指示用户将相机视野旋转至虚拟内容所在的位置;
图6是根据本申请实施例的一种在智能手机中展示提示信息的示意图,如图6所示,指示将相机视野旋转至虚拟内容方位的提示信息包括:在上,在下,在左(左后)、在右(右后)、在左上(左上后),在右上(右上后)、在左下(左下后),在右下(右下后);当虚拟内容不在终端设备相机画面内时,根据虚拟内容相对终端设备所在方位进行相应提示,从而帮助用户迅速的获取虚拟内容相对于自身的位置,避免用户盲目寻找,提升其使用体验。
其中,步骤S402b中,根据相对位置关系生成提示信息包括如下步骤
Step1,获取虚拟内容的关键点对应的三维世界坐标,将三维世界坐标映射至AR设备的相机视角平面,得到二维标准设备坐标;
Step2,获取第二提示参数,根据第一提示参数和第二提示参数生成提示信息,其中,第二提示参数用于,反映虚拟内容相对于AR设备的前后方位。
具体的,上述步骤step1中:
通过vector.project(camera),将虚拟内容的关键点坐标投射为标准设备坐标,返回的结果为虚拟内容关键点的世界坐标worldVector在camera相机对象矩阵变化下对应的标准设备坐标,标准设备坐标xyz的范围是[-1,1]。
将二维标准设备坐标转换AR设备的屏幕坐标,可选的,根据屏幕坐标与屏幕坐标系,生成第一提示参数;
图7是根据本申请实施例的一种屏幕坐标系与标准设备坐标系对应关系的示意图,如图7所示,假设屏幕坐标上某一点坐标
为S[x,y],标准设备坐标对应点为T[x,y],将屏幕坐标转换为标准设备坐标,则
Tx=(0x/windowWidth)*2-1
Ty=-(oy/windowHeight)*2+1
反之,将标转设备坐标转换为屏幕坐标,则
ox=(Tx+1)*windowWidth/2
0y=(-Ty+1)*windowHeight/2
最后,根据返回的虚拟物体对应屏幕坐标(Ox,Oy)和屏幕坐标系的有效范围Sx(0-Sx),Sy(0-Sy)做比较,得到的大小关系即为第一提示信息。
上述步骤step2中:
第二提示参数,用于指示虚拟物体在设备所处平面的方位,包含前,后两种,获取第二提示信息的具体手段包括:
根据实体标定模型的世界坐标W(x,y,z)和当前定位信息对应的世界坐标C(x,y,z),计算两者的差值生成第一方向向量N(Wx-Cx,Wz-Cz),其中,实体标定模型被预设在虚拟内容正前方的预设范围内;
根据虚拟内容对应的世界坐标O(x,y,z),和当前定位信息对应的世界坐标C(x,y,z),生成虚拟物体相对于AR设备的第二方向向量V(Ox-Cx,Oz-Cz);;
根据第一方向向量N(Wx-Cx,Wz-Cz)和第二方向向量V(Ox-Cx,Oz-Cz);之间的夹角A,确定第二提示参数,
当A<90度时,虚拟物体处于设备所处平面前方;
当A>90度时,虚拟物体处于设备所处平面后方。
进一步的,在得到第一提示参数(屏幕坐标和屏幕坐标系的有效范围的比较结果),和第二参数(第一方向向量和第二方向向量的夹角)之后,步骤step2中,根据第一提示参数和第二提示参数生成何种类型的提示信息,具体参照如下预设规则:
A<90度时:
0<Ox<Sx,0<Oy<Sy:虚拟物体在视野可见范围内,不进行方位提示
0<Ox<Sx,Oy<0:在上
0<Ox<Sx,Oy>Sy:在下
Ox<0,Oy<0:在左上
Ox<0,0<Oy<Sy:在左
Ox<0,Oy>Sy:在左下
Ox>Sx,Oy>0:在右上
Ox>Sx,0<Oy<Sy:在右
Ox>Sx,Oy>Sy:在右下
A>90度时:
Ox<Sx/2,Oy>0:在左上后
Ox<Sx/2,0<Oy<Sy:在左后
Ox<Sx/2,Oy>Sy:在左下后
Ox>Sx/2,Oy>0:在右上后
Ox>Sx/2,0<Oy<Sy:在右后
Ox>Sx/2,Oy>Sy:在右下后。
需要说明的是,上述提示信息的生成及展示方式仅为本申请方案的一种具体示例。在实际应用中,提示信息还可以被设置为呈现更加灵活、多样的形式,例如:将在左、在左下、在左上后、在左后、在左下后的提示信息,统一合并展示为在左的提示信息;
另外,也可根据上述第一提示参数和第二提示参数生成连续或不连续的方位提示信息并进行展示。在智能手机等设备上,展示形式可以是二维的贴屏UI,例如箭头动画和轮盘动画等;在AR眼镜等头戴式显示设备上,可以是三维的动画模型,例如展示为虚拟的动画角色,通过该角色的在视野内的移动,指示虚拟内容相对于当前视野的方位。
在其中一些实施例中,对于固定体验视角的AR体验场景,为了进一步提升用户体验,本实施例中,还可以根据虚拟内容的远近关系进行不同形态的递进展示;
实际应用场景中,虚拟内容距离终端设备(体验者)会有距离远近关系。为了带给体验者更好的体验感受,将虚拟内容的远近关系转化到具体的虚拟内容制作上,使用不同的展示形式(设计上、信息充分度上、形状上等)来表达不同的远近关系,使内容体验感受更直观,对于景深值位于同一区间的虚拟内容,采用同一的展示形式。
实际应用时:可以按照如下步骤实施:
Step1:
以当前定位信息对应的三维坐标为坐标原点,确定当前视场内虚拟内容相对于所述坐标原点的景深值;
Step2:
根据所述虚拟内容的景深值,展示所述虚拟内容;
具体的,通过在预设景深列表中,获取与当前虚拟对象的景深值所在的景深区间相匹配的缩放比,根据该缩放比对虚拟内容进行缩放显示;其中,预设景深列表中,缩放比被设置为与虚拟内容的景深值负相关,即虚拟内容与用户当前位置的距离越远,其对应的缩放比则越小,虚拟内容与用户当前位置的距离越近,其对应的缩放比则越大,从而在视觉上产生近大远小、近粗远细的展示效果,从而提升用户的观看体验。
需要说明的是,上述基于景深值对虚拟内容进行缩放展示,仅是本申请方案中在视场内存在不同景深值的虚拟内容时,提升用户观感的一种具体示例。
本实施例中,除基于景深值对虚拟内容进行缩放显示之外,为了达到提升用户对多个不同景深虚拟内容观看体验的目的,还可以对不同景深值的虚拟内容配置以更加灵活的、类型更加丰富的展示形式;
具体包括:从虚拟内容设计上针对不同景深的虚拟内容进行差异化显示;例如,将近处的虚拟内容采用功能描述更详细、包含更多信息(名称、图示、属性信息和交互菜单等)的方式进行显示,将较远处的虚拟内容则仅用图标或卡片的方式显示;或者,近处的通过三维显示,远处的则仅通过二维显示;进一步的,也可以同时结合缩放显示、内容差异化显示以及二三维显示等多种手段进行组合应用。
应该理解,在本申请对同一视场下不同景深值的虚拟内容设置以不同的展示方式,进而提升用户对不同景深虚拟内容的视觉体验的发明构思下,采用何种具体实现手段,均应属于本申请技术方案的合理实施范围。
进一步的,为了更贴合当前体验视角,同一景深区间上的虚拟内容以弧形的形状朝向体验者;使体验者产生一种被包围的直观感受。
图8是根据本申请实施例的一种根据不同景深展示虚拟内容的示意图。如图8所示,在体验视角固定的情况下,以商品导览牌为例,根据距离判定结果最近的导览牌以信息内容更为全面的卡片展示,根据距离判定结果较远的导览牌以纯文字的卡片展示,根据距离判定结果最远的导览牌则以图标的形式展示。导览牌以适度的弯曲角度弧形展示。
上述距离判定是指,当前终端设备在虚拟空间中的对应位置和每个导览牌中心点之间的水平距离(即不考虑高度差,投射到地面等水平面上时两点之间的直线距离);在实际应用场景时,可将某一个距离范围规定为同一距离判定条件,采用相同的展示形式。
本实施例还提供了一种虚拟内容展示系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本申请实施例的一种虚拟内容展示系统的结构框图,如图9所示,该系统包括获取模块和展示模块,其中:
获取模块90用于,获取目标场景中的各个虚拟内容和当前定位信息,以及确定各个虚拟内容与当前定位信息的相对位置关系,
展示模块91用于,根据相对位置关系对虚拟内容进行处理,其中,处理的步骤包括直接展示虚拟内容,以及,间接提示虚拟内容的位置。
通过本系统,在不同的体验区域展示不同的体验内容,以及通过展示基于相对位置生成的提示信息,帮助用户迅速的确定虚拟内容的位置,进一步的,还根据虚拟内容对当前位置的远近,设置不同的展示形态;通过多个维度的展示
在其中一些实施例中,展示模块91包括第一展示模块、第二展示模块和第三展示模块,其中,
第一展示模块用于,获取虚拟内容对应在目标场景中的预设体验区域;根据定位信息与预设体验区域的平面坐标关系,判断当前定位信息是
否位于任意一个预设体验区域下,若是,显示当前定位信息所在的预设体验区域对应的虚拟内容,若否,生成提示信息并展示提示信息,其中,提示信息用于指示用户移动至任意一个预设体验区域。
第二展示模块用于:根据当前定位信息确定当前相机视野,判断虚拟内容是否位于相机视野内,若是,显示虚拟内容,若否,根据相对位置关系生成提示信息,其中,提示信息用于,指示用户将相机视野旋转至虚拟内容所在的位置。
第三展示模块用于,以当前定位信息对应的三维坐标为坐标原点,确定各个虚拟内容的坐标值;基于各个虚拟内容的景深值,通过预设列表确定各个虚拟内容的展示形式;基于通过预设列表中确定的展示形式,展示各个虚拟内容。
在一个实施例中,图10是根据本申请实施例的电子设备的内部结构示意图,如图10所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图10所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统的运行提供环境,计算机程序被处理器执行时以实现虚拟内容展示方法,数据库用于存储数据。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种虚拟内容展示方法,其特征在于,应用在AR设备中,所述方法包括:
获取目标场景中的各个虚拟内容和当前定位信息;
确定所述各个虚拟内容与所述当前定位信息的相对位置关系,
根据所述相对位置关系对所述虚拟内容进行处理,其中,所述处理的步骤包括:直接展示与所述当前定位信息匹配的虚拟内容,以及,间接提示所述虚拟内容的位置。
2.根据权利要求1所述的方法,其特征在于,所述根据所述相对位置关系对所述虚拟内容进行处理包括:
根据所述当前定位信息确定当前相机视野,判断所述虚拟内容是否位于所述相机视野内,若是,显示所述虚拟内容,
若否,根据所述相对位置关系生成提示信息,其中,所述提示信息用于,指示用户将所述相机视野旋转至所述虚拟内容所在的位置。
3.根据权利要求2所述的方法,其特征在于,所述根据所述相对位置关系生成提示信息包括:
获取所述虚拟内容的关键点对应的三维世界坐标,将所述三维世界坐标映射至AR设备的相机视角平面,得到二维标准设备坐标;
将所述二维标准设备坐标转换AR设备的屏幕坐标,根据所述屏幕坐标与所述屏幕坐标系,生成第一提示参数;
获取第二提示参数,根据所述第一提示参数和所述第二提示参数生成所述提示信息,其中,所述第二提示参数用于,反映所述虚拟内容相对于所述AR设备的前后方位。
4.根据权利要求3所述的方法,其特征在于,所述获取所述第二提示参数包括:
根据实体标定模型的世界坐标和所述当前定位信息对应的世界坐标,生成第一方向向量,其中,所述实体标定模型被预设在所述虚拟内容正前方的预设范围内;
根据所述虚拟内容对应的世界坐标,和所述当前定位信息对应的世界坐标,生成所述虚拟物体相对于所述AR设备的第二方向向量;
根据所述第一方向向量和所述第二方向向量之间的夹角,确定所述第二提示参数。
5.根据权利要求1所述的方法,其特征在于,所述根据所述相对位置关系对所述虚拟内容进行处理,包括:
以所述当前定位信息对应的三维坐标为坐标原点,确定当前视场内所述虚拟内容相对于所述坐标原点的景深值;
基于所述虚拟内容的景深值,通过预设列表确定所述虚拟内容的展示形式;
基于通过所述预设列表中确定的展示形式,展示所述虚拟内容。
6.根据权利要求5所述的方法,其特征在于,所述预设列表中,一组景深区间匹配设置一类虚拟内容的展示形式,并且,同一景深区间下的多个虚拟内容,在用户的视野中心的两侧设置为弧形展示。
7.根据权利要求1所述的方法,其特征在于,根据所述相对位置关系对所述虚拟内容进行处理包括:
获取各个所述虚拟内容对应在目标场景中的预设体验区域;
根据所述定位信息与所述预设体验区域的平面坐标关系,判断所述当前定位信息是否位于任意一个预设体验区域下,若是,显示当前定位信息所在的预设体验区域对应的虚拟内容,
若否,生成提示信息并展示所述提示信息,其中,所述提示信息用于指示用户移动至任意一个所述预设体验区域。
8.根据权利要求7所述的方法,其特征在于,在展示提示信息之后,所述方法还包括:
持续获取实时定位信息,在检测到所述实时定位信息位于任意一个预设体验区域之后,显示所述实时定位信息所在的预设体验区域对应的虚拟内容,并取消展示所述提示信息。
9.一种虚拟内容展示系统,其特征在于,所述系统应用在AR设备上,包括:获取模块和展示模块,其中:
所述获取模块用于,获取目标场景中的各个虚拟内容和当前定位信息,以及确定所述各个虚拟内容与所述当前定位信息的相对位置关系,
所述展示模块用于,根据所述相对位置关系对所述虚拟内容进行处理,其中,所述处理的步骤包括直接展示所述虚拟内容,以及,间接提示所述虚拟内容的位置。
10.根据权利要求9所述的系统,其特征在于,所述展示模块包括第一展示模块,所述第一展示模块用于,
获取所述虚拟内容对应在目标场景中的预设体验区域;
根据所述定位信息与所述预设体验区域的平面坐标关系,判断所述当前定位信息是否位于任意一个预设体验区域下,若是,显示当前定位信息所在的预设体验区域对应的虚拟内容,
若否,生成提示信息并展示所述提示信息,其中,所述提示信息用于指示用户移动至任意一个所述预设体验区域。
11.根据权利要求9所述的系统,其特征在于,所述展示模块还包括第二展示模块,所述第二展示模块用于:
根据所述当前定位信息确定当前相机视野,判断所述虚拟内容是否位于所述相机视野内,若是,显示所述虚拟内容,
若否,根据所述相对位置关系生成提示信息,其中,所述提示信息用于,指示用户将所述相机视野旋转至所述虚拟内容所在的位置。
12.根据权利要求9所述的系统,其特征在于,所述展示模块还包括第三展示模块,所述第三展示模块用于,
以所述当前定位信息对应的三维坐标为坐标原点,确定当前视场内所述虚拟内容相对于所述坐标原点的景深值;
基于所述虚拟内容的景深值,通过预设列表确定所述虚拟内容的展示形式;
基于通过所述预设列表中确定的展示形式,展示所述虚拟内容。
13.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310502858.7A CN116664802A (zh) | 2023-04-28 | 2023-04-28 | 虚拟内容展示方法、系统、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310502858.7A CN116664802A (zh) | 2023-04-28 | 2023-04-28 | 虚拟内容展示方法、系统、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116664802A true CN116664802A (zh) | 2023-08-29 |
Family
ID=87719761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310502858.7A Pending CN116664802A (zh) | 2023-04-28 | 2023-04-28 | 虚拟内容展示方法、系统、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116664802A (zh) |
-
2023
- 2023-04-28 CN CN202310502858.7A patent/CN116664802A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11854149B2 (en) | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes | |
US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
US10325410B1 (en) | Augmented reality for enhancing sporting events | |
US9317962B2 (en) | 3D space content visualization system | |
EP2732436B1 (en) | Simulating three-dimensional features | |
EP2643822B1 (en) | Guided navigation through geo-located panoramas | |
US9224237B2 (en) | Simulating three-dimensional views using planes of content | |
US9118970B2 (en) | System and method for embedding and viewing media files within a virtual and augmented reality scene | |
WO2017113731A1 (zh) | 360度全景显示方法、显示模块及移动终端 | |
US20210225017A1 (en) | Structuring visual data | |
US20140192055A1 (en) | Method and apparatus for displaying video on 3d map | |
US11989900B2 (en) | Object recognition neural network for amodal center prediction | |
JP2022507502A (ja) | 拡張現実(ar)のインプリント方法とシステム | |
Liarokapis et al. | Mobile augmented reality techniques for geovisualisation | |
Wither et al. | Using aerial photographs for improved mobile AR annotation | |
US20170069133A1 (en) | Methods and Systems for Light Field Augmented Reality/Virtual Reality on Mobile Devices | |
JP2010231741A (ja) | 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法 | |
US20230260218A1 (en) | Method and apparatus for presenting object annotation information, electronic device, and storage medium | |
CN116664802A (zh) | 虚拟内容展示方法、系统、电子设备和计算机可读存储介质 | |
KR101909994B1 (ko) | 나노블럭을 이용한 3d 증강현실 서비스 제공 방법 | |
KR101265554B1 (ko) | 3차원 광고 시스템 및 방법 | |
US11481960B2 (en) | Systems and methods for generating stabilized images of a real environment in artificial reality | |
KR20130118761A (ko) | 증강 현실 생성을 위한 방법 및 시스템 | |
US12033270B2 (en) | Systems and methods for generating stabilized images of a real environment in artificial reality | |
CN116600045A (zh) | 一种日程显示方法、日程显示设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |