CN114445579A - 物体标注信息呈现方法、装置、电子设备及存储介质 - Google Patents

物体标注信息呈现方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114445579A
CN114445579A CN202011191117.4A CN202011191117A CN114445579A CN 114445579 A CN114445579 A CN 114445579A CN 202011191117 A CN202011191117 A CN 202011191117A CN 114445579 A CN114445579 A CN 114445579A
Authority
CN
China
Prior art keywords
area
visual
labeling
facade
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011191117.4A
Other languages
English (en)
Inventor
李威阳
杨浩
康泽慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011191117.4A priority Critical patent/CN114445579A/zh
Priority to EP21884791.1A priority patent/EP4227907A4/en
Priority to PCT/CN2021/118121 priority patent/WO2022089061A1/zh
Publication of CN114445579A publication Critical patent/CN114445579A/zh
Priority to US18/307,386 priority patent/US20230260218A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Abstract

本申请是关于一种物体标注信息呈现方法、装置、电子设备及存储介质。所述方法涉及计算机视觉领域。所述方法包括:获取指定场景中的目标物体,指定场景是在目标位置呈现的场景;在显示界面呈现的目标物体的标注立面上呈现目标物体的标注信息,该标注立面为根据目标物体的至少两个可视立面各自在显示界面上呈现的投影区域,从至少两个可视立面中确定的,该可视立面是目标物体的外立面中,对目标位置可见的立面。上述方法在AR或VR场景下显示目标物体的标注时,可以根据可视立面在指定场景的显示界面上的投影,进行标注立面的选择,从而能够在虚拟现实/增强现实场景中,动态的选择可视区域较大的立面来显示标注信息,提高了标注信息的显示效果。

Description

物体标注信息呈现方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉领域,特别涉及一种物体标注信息呈现方法、装置、电子设备及 存储介质。
背景技术
随着智能终端的不断发展,用户可以通过AR地图,通过当前场景所处位置获取周围建 筑物的信息以便用户选择方向。
在相关技术中,开发者通常在AR地图的建筑物对应的模型上,预先设置与该建筑物对 应的信息标注,当识别用户当前场景中的建筑物或POI信息,通过该建筑物或POI信息对应 的位置,将建筑物模型上的静态信息标注显示在用户终端中的AR地图,其中标注可以是三 维标注,用户可以在一定视角下清晰地看到建筑物对应的标注内容。
然而,相关技术中,静态标注的三维建筑物标识是静态的,在不同视角下不能动态的调 整标注的位置和方向,随着用户方位的变动,标注的显示效果较差。
发明内容
本申请实施例提供了一种物体标注信息呈现方法、装置、电子设备及存储介质,可以根 据可视立面在指定场景的显示界面上的投影,进行标注立面的选择,提高了标注信息的显示 效果,该技术方案如下:
一方面,提供了一种物体标注信息呈现方法,所述方法包括:
获取指定场景中的目标物体,所述指定场景是在目标位置呈现的场景;
在显示界面呈现的所述目标物体的标注立面上呈现所述目标物体的标注信息;所述标注 立面为根据所述目标物体的至少两个可视立面各自在所述显示界面上呈现的投影区域,从所 述至少两个可视立面中确定的,所述可视立面是所述目标物体的外立面中,对所述目标位置 可见的立面。
在本申请实施例提供的方案中,目标物体的可视立面,是目标物体呈现在目标位置上时, 目标物体的外立面中可见的立面,也就是目标物体呈现在目标位置对应的指定场景时,没有 被完全遮挡的立面;其中,投影区域是指目标物体对应的可视立面在显示界面上呈现的区域。, 可以在目标位置对应的指定场景中呈现目标物体,并获取目标物体的可视立面投影在显示界 面上的投影区域,再根据投影区域将其中一个可视立面确定为标注立面,并在标注立面上呈 现目标物体的标注信息,也就是说,可以根据目标位置,在目标物体对应的可视立面中选择 一个作为标注立面以呈现目标物体的标注信息,在呈现标注信息时考虑了目标位置与目标物 体立面之间的方位关系,提高了标注信息的显示效果。
在一种可能的实现方式中,所述指定场景是在所述目标位置呈现的增强现实场景或虚拟 现实场景。
在本申请实施例提供的方案中,在增强现实场景中,目标位置可以是增强现实设备所在 的位置,在增强现实场景中呈现的场景则是增强现实设备在当前位置通过增强现实设备对应 的图像获取组件获取到的场景;而在虚拟现实场景中,目标位置可以是通过虚拟现实设备后 台计算建模出的一个三维虚拟场景中,虚拟现实设备对应的虚拟人物在虚拟场景中的位置, 在虚拟现实场景中呈现的场景则是虚拟现实设备以虚拟人物对应的视角与位置,对应呈现出 的三维虚拟场景。
在一种可能的实现方式中,所述标注立面为所述至少两个可视立面中,在所述显示界面 上呈现的投影区域的面积最大的一个。
通过将目标物体的可视立面中,在显示界面上呈现的投影面积最大的一个作为标注立面 以显示标注信息,使得标注立面对应的标注信息呈现在显示界面时,可以以最大的尺寸呈现, 提高了标注信息的显示效果。
在一种可能的实现方式中,所述方法还包括:
根据所述至少两个可视立面的可视区域,获取所述至少两个可视立面的待投影区域;所 述可视区域是对应的可视立面在所述指定场景中,对所述目标位置可见的区域;
将所述至少两个可视立面的待投影区域向所述显示界面做投影,获得所述至少两个可视 立面的可视区域各自在所述显示界面上呈现的投影区域。
在本申请实施例提供的方案中,可视区域是指,目标物体的可视立面上的,呈现于显示 界面的投影区域所对应的可视立面上的可视部分的区域,也就是说,可视立面上的可视区域, 是虚拟现实场景中呈现出的三维场景中的目标物体的可视立面上的区域,或者是增强现实场 景后台计算机计算出的三维场景中的目标物体的可视立面上的区域。其中,可视区域与待投 影区域都是可视立面上的区域,待投影区域可以是可视立面的可视区域中的,全部区域或者 部分区域,也就是说,可视立面对应的可视区域,可以全部投影至显示界面,也可以部分投 影至显示界面。此时,显示界面上的投影区域可以是根据任意形状的待投影区域呈现在投影 屏幕上的,此时根据投影区域选择标注立面,可以根据到任意形状的标注信息选择适合的标 注立面,增强了标注立面的显示效果。
在一种可能的实现方式中,所述根据所述至少两个可视立面的可视区域,获取所述至少 两个可视立面的待投影区域,包括:
将所述至少两个可视立面的可视区域各自的全部区域,获取为所述至少两个可视立面的 待投影区域。
在一种可能的实现方式中,所述在显示界面呈现的所述目标物体的标注立面上呈现所述 目标物体的标注信息,包括:
从所述标注立面的可视区域中确定标注区域;所述标注区域是所述标注立面的可视区域 包含的第一形状的区域中,面积最大的区域;
在所述显示界面呈现的所述标注立面中的所述标注区域上,呈现所述目标物体的所述标 注信息。
在本申请实施例提供的方案中,标注区域是标注立面的可视区域包含的第一形状的面积 最大的区域,即标注区域是标注立面上的,标注立面对应的可视区域中全部或部分区域。
在一种可能的实现方式中,所述从所述标注立面的可视区域中确定标注区域,包括:
获取所述标注立面的遮挡信息,所述遮挡信息用于指示所述标注立面被遮挡的顶点和被 遮挡的边;
根据所述遮挡信息,在所述标注立面的可视区域中,确定所述标注区域。
在本申请实施例提供的方案中,遮挡信息是标注立面投影在显示界面上,未呈现部分对 应的信息,也就是标注立面中除可见区域之外的区域对应的信息;其中,被遮挡的顶点为标 注立面中,位于可视区域之外的顶点;被遮挡的边为标注立面中,全部位置均位于可视区域 之外的边。
在一种可能的实现方式中,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注 立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在一个被遮挡顶点时,将所述被遮挡顶点的对角 顶点作为第一目标点;
在所述第一目标点对应的非邻接边上确定第一端点,使得以所述第一端点与所述第一目 标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;
将以所述第一端点与所述第一目标点之间的线段为对角线的矩形所在的区域,确定为所 述标注区域。
在本申请实施例提供的方案中,当呈现标注信息的标注区域为矩形时,且根据投影区域 确定的标注立面呈现在显示界面上时,存在一个顶点被遮挡,此时可以根据被遮挡顶点的对 角顶点的非邻接边上确定标注区域对应矩形的第一端点,并根据第一端点和被遮挡顶点的对 角线顶点,确定标注区域;其中,非邻接边是投影区域对应的标注立面的可视区域对应的形 状中,与第一端点不直接相连的边。
在一种可能的实现方式中,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注 立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且所述两个被遮挡顶点之间 的边被完全遮挡时,将所述标注立面的未被遮挡顶点中,邻边未被遮挡部分的长度之和最大 的顶点,获取为第二目标点;
在所述第二目标点对应的非邻接边上确定第二端点;所述第二端点处于所述标注立面的 可见区域,且以所述第二端点与所述第二目标点之间的线段为对角线的矩形,是所述标注立 面的可视区域内面积最大的矩形;
将以所述第二端点与所述第二目标点之间的线段为对角线的矩形所在的区域,确定为所 述标注区域。
在一种可能的实现方式中,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注 立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且不存在被完全遮挡的边时, 获取目标点集;所述目标点集包括所述标注立面的未被遮挡顶点以及所述两个被遮挡顶点的 邻边上的分界点;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域;
在所述标注立面的可视区域内确定第三端点;以所述第三端点与第三目标点之间的线段 为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;所述第三目标点是所述目 标点集中的一个;
将以所述第三端点与所述第三目标点之间的线段为对角线的矩形所在的区域,确定为所 述标注区域。
在一种可能的实现方式中,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注 立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在三个被遮挡顶点时,将所述标注立面的未被遮 挡顶点获取为第四目标点;
将所述第四目标点与所述第四目标点的两条邻边上的分界点构成的矩形所在的区域,确 定为所述标注区域;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域。
在一种可能的实现方式中,所述在显示界面呈现的所述目标物体的标注立面上呈现所述 目标物体的标注信息,包括:
基于所述标注区域的尺寸,生成所述标注信息的三维模型;
在所述显示界面呈现的所述标注区域的平行平面上呈现所述标注信息的三维模型;所述 平行平面是位于所述标注立面前方,且平行于所述标注立面的平面。
在本申请实施例提供的方案中,该标注信息可以是以三维模型结构呈现在显示界面上的, 并且该标注信息的三维模型的大小可以通过标注区域的尺寸决定。由于三维模型具有深度信 息,因此首先需要获取标注立面前方的,与标注立面平行的平面,标注信息位于该平行平面 上,根据该平行平面所在的位置以及标注信息的三维模型的大小,在显示界面上呈现该标注 信息的三维模型。此时,显示界面上呈现的标注信息同样具有三维特点,提高了标注信息的 显示效果。
在一种可能的实现方式中,所述根据所述至少两个可视立面的可视区域,获取所述至少 两个可视立面的待投影区域,包括:
从所述至少两个可视立面的可视区域中分别确定候选标注区域;所述候选标注区域是在 对应立面的可视区域包含的第二形状的区域中,面积最大的区域;
将所述至少两个可视立面各自对应的候选标注区域,获取为所述至少两个可视立面的待 投影区域。
在一种可能的实现方式中,所述在显示界面呈现的所述目标物体的标注立面上呈现所述 目标物体的标注信息,包括:
对应所述标注立面对应的候选标注区域,在所述显示界面呈现的所述标注立面上呈现所 述目标物体的所述标注信息。
在本申请实施例提供的方案中,首先在目标物体的至少两个可视立面的可视区域中,将 包含第二形状的面积最大的区域的可视区域获取为待投影区域,也就是将可视区域中的部分 作为待投影区域,再投影至显示界面上;将在显示界面上面积最大的投影区域对应的候选标 注区域作为用于呈现标注信息的区域,也就是首先比较每个可视立面的指定形状的最大区域, 投影在显示界面上的面积,将面积最大的投影区域对应的可视立面的候选标注区域用于呈现 标注信息,考虑每个可视立面投影在显示界面上的指定形状的最大面积,可以在显示界面上 呈现最大的指定形状的信息标注,提高了标注信息的显示效果。
在一种可能的实现方式中,在显示界面呈现的所述目标物体的标注立面上呈现所述目标 物体的标注信息,包括:
当所述标注立面的可视区域在所述显示界面上呈现的投影区域的面积大于指定面积阈值 时,在显示界面呈现的所述标注立面上呈现所述目标物体的标注信息。
又一方面,提供了一种物体标注信息呈现装置,所述装置包括:
目标物体获取单元,用于获取指定场景中的目标物体,所述指定场景是在目标位置呈现 的场景;
标注信息呈现单元,用于在显示界面呈现的所述目标物体的标注立面上呈现所述目标物 体的标注信息,所述标注立面为根据所述目标物体的至少两个可视立面各自在所述显示界面 上呈现的投影区域,从所述至少两个可视立面中确定的,所述可视立面是所述目标物体的外 立面中,对所述目标位置可见的立面。
再一方面,提供了一种电子设备,所述电子设备包含处理器和存储器,所述存储器中存 储有计算机指令,所述计算机指令由所述处理器加载并执行以实现上述的物体标注信息呈现 方法。
又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至 少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令 集由处理器加载并执行以实现上述物体标注信息呈现方法。
再一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序 包括计算机指令,该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读 存储介质读取该计算机指令,处理器执行该计算机指令,使得该终端执行上述物体标注信息 呈现方法。
本申请提供的技术方案可以包括以下有益效果:
通过在虚拟现实场景或增强现实场景中,获取目标物体的外立面中的可视立面,并根据 可视立面对在显示界面上的投影,在该目标物体的可视立面中,确定标注立面,并将该目标 物体的标注信息呈现在与该标注立面的可视区域对应的区域。通过上述方案,在显示目标物 体的标注时,可以根据目标位置,以及可视立面在指定场景的显示界面上的投影,进行标注 立面的选择,从而能够在指定场景中,动态的选择可视区域较大的立面来显示标注信息,从 而提高了标注信息的显示效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制 本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并 与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种物体标注信息呈现系统的结构示意图;
图2是根据一示例性实施例示出的一种物体标注信息呈现方法的流程示意图;
图3是根据一示例性实施例提供的一种物体标注信息呈现方法的方法流程图;
图4示出了图3所示实施例涉及的一种立面顶点遮挡分类图;
图5示出了图3所示实施例涉及的一种获取单个顶点遮挡对应的立面可视区域的示意图;
图6示出了图3所示实施例涉及的一种标注范围的计算方法示意图;
图7示出了图3所示实施例涉及的一种标注范围的计算方法示意图;
图8示出了图3所示实施例涉及的一种标注范围的计算方法示意图;
图9示出了图3所示实施例涉及的一种数据资源流程图;
图10示出了图3所示实施例涉及的一种标注呈现方法结构图;
图11示出了图3所示实施例涉及的一种建筑物的可视立面计算流程图;
图12示出了图3所示实施例涉及的一种可视区域计算对应的方法流程图;
图13示出了图3所示实施例涉及的一种文本标注范围对应的计算流程图;
图14示出了图3所示实施例涉及的一种相机实时位姿模拟流程图;
图15示出了图3所示实施例与一种AR地图技术的对比示意图;
图16是根据一示例性实施例提供的一种物体标注信息呈现方法的方法流程图;
图17其示出了一种物体标注信息的呈现方法的流程示意图;
图18是根据一示例性实施例示出的一种物体标注信息呈现装置的结构方框图;
图19是示出了一示例性实施例提供的电子设备的示意性框图;
图20是示出了一示例性实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时, 除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述 的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书 中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前,首先对本申请涉及到的几个概念进行介绍:
1)计算机视觉(CV,Computer Vision)
计算机视觉是一门研究如何使机器“看”的科学,就是指用摄影机和电脑代替人眼对目 标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观 察或传送给仪器检测的图像。视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断, 和军事等领域中各种智能/自主系统中不可分割的一部分。计算机视觉的挑战是要为计算机和 机器人开发具有与人类水平相当的视觉能力。机器视觉需要图像信号,纹理和颜色建模,几 何处理和推理,以及物体建模。
2)增强现实(AR,Augmented Reality)
增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维 建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三 维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而 实现对真实世界的“增强”。增强现实技术也被称为扩增现实,是促使真实世界信息和虚拟世 界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以 进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容 在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实 的感官体验。
3)虚拟现实(Virtual Reality,VR)
虚拟现实技术,又称灵境技术,是20世纪发展起来的一项全新的实用技术。虚拟现实技 术囊括计算机、电子信息、仿真技术于一体,其基本实现方式是计算机模拟虚拟环境从而给 人以环境沉浸感。拟现实技术(VR)是一种可以创建和体验虚拟世界的计算机仿真系统,它 利用计算机生成一种模拟环境,使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中 的数据,通过计算机技术产生的电子信号,将其与各种输出设备结合使其转化为能够让人们 感受到的现象,这些现象可以是现实中真真切切的物体,也可以是肉眼所看不到的物质,通 过三维模型表现出来。
图1是根据一示例性实施例示出的一种物体标注信息呈现系统的结构示意图。该系统包 括:服务器120以及用户终端140。
服务器120是一台服务器,或者包括若干台服务器,或者是一个虚拟化平台,或者是一 个云计算服务中心等,本申请不做限制。
用户终端140可以是具有显示功能的终端设备,也可以是具有实现VR或AR功能的终 端设备,比如,用户终端可以是可穿戴设备(例如VR眼镜、AR眼镜、智能眼镜)、手机、 平板电脑或电子书阅读器等等。用户终端140的数量不做限定。
其中,用户终端140中可以安装有客户端,该客户端可以是三维地图客户端、即时通信 客户端、浏览器客户端等。本申请实施例不限定客户端的软件类型。
用户终端140与服务器120之间通过通信网络相连。可选的,通信网络是有线网络或无 线网络。
在本申请实施例中,服务器120可以将目标物体的三维建模数据发送给用户终端140, 由用户终端140根据该三维建模数据进行在VR场景中进行目标物体的三维建模,或在AR 场景对应的计算机后台中进行目标物体的三维建模。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、 但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专 用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技 术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network, VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链 路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信 技术。
请参考图2,其是根据一示例性实施例示出的一种物体标注信息呈现方法的流程示意图。 该方法可以由电子设备执行,其中,该电子设备可以是终端,也可以是服务器,或者,该电 子设备可以包括终端和服务器,其中,该终端可以是上述图1所示的实施例中的用户终端140, 服务器可以是上述图1所示实施例中的服务器120。如图2所示,该物体标注信息呈现方法 的流程可以包括如下步骤:
步骤21,获取指定场景中的目标物体,该指定场景是在目标位置呈现的场景。
在一种可能的实现方式中,该指定场景是在目标位置呈现的增强现实场景或虚拟现实场 景。
在一种可能的实现方式中,该增强现实场景或虚拟现实场景,可以是在用户终端对应的 显示设备上呈现的场景。
步骤22,在显示界面呈现的该目标物体的标注立面上呈现该目标物体的标注信息;该标 注立面为根据该目标物体的至少两个可视立面各自在该显示界面上呈现的投影区域,从该至 少两个可视立面中确定的,该可视立面是该目标物体的外立面中,对该目标位置可见的立面。
其中,该标注立面是目标物体对应的可视立面中,用于显示该目标物体的标注信息的立 面。该标注信息可以是文字标注信息,也可以是图片标注信息或者视频标注信息,以及可以 用于显示信息的任意形式的标注信息,该标注信息可以是二维标注信息,也可以是三维标注 信息,本申请对此不作限定。
综上所述,在本申请实施例所示方案中,通过在虚拟现实场景或增强现实场景中,获取 目标物体的外立面中的可视立面,并根据可视立面对在显示界面上的投影,在该目标物体的 可视立面中,确定标注立面,并将该目标物体的标注信息呈现在与该标注立面的可视区域对 应的区域。通过上述方案,在显示目标物体的标注时,可以根据目标位置,以及可视立面在 指定场景的显示界面上的投影,进行标注立面的选择,从而能够在虚拟现实/增强现实场景中, 动态的选择可视区域较大的立面来显示标注信息,从而提高了标注信息的显示效果。
请参考图3,其是根据一示例性实施例提供的一种物体标注信息呈现方法的方法流程图。 该方法可以由电子设备执行,其中,该电子设备可以是终端,也可以是服务器,或者,该电 子设备可以包括终端和服务器,其中,该终端可以是上述图1所示的实施例中的用户终端140, 服务器可以是上述图1所示实施例中的服务器120。如图3所示,以目标物体为建筑物对应 的VR或AR地图应用场景为例,该物体标注信息呈现方法的流程可以包括如下步骤:
步骤301,获取指定场景中的目标物体。
其中,指定场景是在目标位置呈现的场景。
在一种可能的实现方式中,指定场景是在该目标位置呈现的增强现实场景或虚拟现实场 景。
在一种可能的实现方式中,当该指定场景为AR场景时,该目标位置可以是该AR设备 所在的位置;其中,该位置可以是绝对位置,例如当AR设备用于AR地图中,AR设备可以获取此时设备的定位信息,以获取该AR设备对应的绝对位置;该位置还可以是相对位置,例如当AR设备用于室内时,可以获取该AR设备与室内环境中某一点的相对位置信息,以 获取该AR设备在该室内与该点的相对位置。
在一种可能的实现方式中,当该指定场景为VR场景时,该目标位置还可以是VR设备 构建出的虚拟三维场景中,VR设备对应的虚拟角色或是虚拟摄像头对应的位置,此时虚拟三 维场景中每一个点都可以有自己的坐标,根据该坐标数据,可以获取该目标位置对应的信息。
在一种可能的实现方式中,目标物体的可视立面,是目标物体呈现在目标位置上时,目 标物体的外立面中可见的立面。
其中,该可视区域是指,目标物体的可视立面上的,呈现于显示界面的投影区域所对应 的可视立面上的可视部分的区域。
在一种可能的实现方式中,当该指定场景为VR或者AR场景时,根据该目标物体对应 的三维模型数据,构建该物体对应的三维模型。
在一种可能的实现方式中,当该指定场景为VR场景时,根据该目标物体对应的三维模 型数据,在VR场景中构建该物体对应的三维模型;当该指定场景为AR场景时,根据该目 标物体对应的三维模型数据,在AR场景对应的计算机后台中,构建该物体对应的三维模型。
其中,该目标物体对应的三维数据可以包括该目标物体的尺寸信息、坐标信息等。
在一种可能的实现方式中,获取指定场景中的目标物体的至少两个可视立面的可视区域。
在一种可能的实现方式中,根据该目标物体的三维模型,以及该目标物体的三维模型对 应的三维数据,获取该目标物体对应的最小包围盒,该最小包围盒是该目标物体最小的外接 长方体,再将该目标物体对应的最小包围盒作为该目标物体的近似模型,此时当目标物体的 外部形状较为复杂时,通过该近似模型实现目标物体的相应计算,可以有效的减小计算量。
在一种可能的实现方式中,将该目标物体的最小包围盒对应的外立面获取为该目标物体 对应的外立面。
在一种可能的实现方式中,获取该指定场景中该目标物体的各个外立面的法向量,将该 目标物体的各个外立面中,法向量与该指定场景的显示界面对应的向量的内积为正值的外立 面,获取为该可视立面。
在一种可能的实现方式中,该指定场景的显示界面对应的向量可以是该指定场景的显示 界面对应的法向向量。
在一种可能的实现方式中,该指定场景的显示界面可以是在指定场景中,通过虚拟摄像 头模拟出的用户的观察界面,也就是说,该指定场景的显示界面,可以是用户使用终端进行 观察时对应的场景。以指定场景为AR地图为例,用户终端获取实时位置信息,并根据AR 地图客户端,获取此时目标位置对应的周围环境的三维建筑物模型信息,此时指定场景的显 示界面,即为用户终端上显示对应方位的建筑物的界面;该指定场景的显示界面对应的向量, 即为用户终端朝向方位的向量。
在指定场景的显示界面中,终端可以根据当前终端的朝向,显示该方向对应的建筑物模 型,并根据该建筑物模型对应的各个外立面的法向量,以及指定场景的显示界面对应的方向 的方向向量的内积,判定该外立面与用户方位的关系,以此确定该外立面在用户视角中是否 处于可视状态。
在一种可能的实现方式中,可以根据该目标位置与该可视立面上各点的连线,确定该可 视立面的可视区域。
例如,可以在根据目标位置周围的三维模型数据构建的三维模型中,目标物体对应的三 维模型,获取该目标物体对应的三维模型中的可视立面上的若干个点,将该若干个点分别于 该目标位置相连,当其中某一点与该目标位置的连线中没有其他建筑物对应的三维模型,则 将该点对应的位置确定为可视区域;当其中某一点与该目标位置的连线中有其他建筑物对应 的三维模型,则说明该点与目标位置对应的连线上,被其他建筑物所遮挡,因此,可以将该 点确定为该目标位置对应的不可视区域,根据若干个可视区域点以及不可视区域点,可以获 取该可视立面的可视区域。
在一种可能的实现方式中,可以根据该目标位置与该可视立面上的分界点点,确定该可 视立面的可视区域。
其中,该分界点是该可视立面上的边上,用于划分可视区域与非可视区域的点。
步骤302,根据该至少两个可视立面的可视区域,获取该至少两个可视立面的待投影区 域。
其中,该可视区域是对应的可视立面在该指定场景中,对该目标位置可见的区域。
在一种可能的实现方式中,将该至少两个可视立面的可视区域各自的全部区域,获取为 该至少两个可视立面的待投影区域。
步骤303,将该至少两个可视立面的待投影区域向该指定场景的显示界面做投影,获取 该至少两个可视立面的可视区域各自在该指定场景的显示界面上呈现的投影区域。
在一种可能的实现方式中,获取该指定场景的显示界面的法向量,根据该可视立面的法 向量与该显示界面的法向量的夹角,获取该至少两个可视立面的可视区域各自在该指定场景 的显示界面上的投影区域。
即将该至少两个可视立面对应的可视区域,向指定区域的显示界面对应的方向做投影, 也就是说,当该可视立面与该指定区域的显示界面不是正对时,即该可视立面与该指定区域 的显示界面具有一定的夹角时,可以根据该可视立面的法向量与该显示界面法向量对应的夹 角值,将该可视立面对应的可视区域,投影至用户直接观察到的指定区域的显示界面对应的 方向上。
步骤304,根据该至少两个可视立面的可视区域各自在该显示界面上呈现的投影区域, 从该至少两个可视立面中确定标注立面。
在一种可能的实现方式中,该标注立面为该至少两个可视立面中,在该显示界面上呈现 的投影区域的面积最大的一个。
当可视立面对应的可视区域在该指定场景的显示界面上呈现的投影区域最大时,也就是 在用户视角上看到的该立面的可视面积是最大的,因此可以将该立面设置为标注立面。
在一种可能的实现方式中,获取该至少两个可视立面的可视区域面积;根据该至少两个 可视立面的可视区域面积,以及该至少两个可视立面与该指定场景的显示界面的方位关系, 获取该至少两个可视立面的可视区域各自在该指定场景的显示界面上的投影区域的面积。
在一种可能的实现方式中,获取该至少两个可视立面的遮挡信息,该遮挡信息用于指示 该至少两个可视立面被遮挡的顶点和被遮挡的边;根据该遮挡信息,获取该至少两个可视立 面各自对应的可视区域面积。
在获取该可视立面的可视区域面积时,可以根据该可视立面的被遮挡顶点的数量以及被 遮挡的边的数量,获取该可视立面近似的可视区域,根据该近似的可视区域,获取该可视立 面的可视区域面积。
在一种可能的实现方式中,当该可视立面的所有顶点都未被遮挡,将该可视立面的面积 获取为该可视立面的可视区域面积。
其中,当该可视立面的所有顶点未被遮挡时,可以认为在目标位置的显示界面上呈现该 可视立面时,没有其他物体遮挡该立面,因此该可视立面所有区域都为可视区域,因此将该 可视立面的面积获取为该可视立面的可视区域面积。
在一种可能的实现方式中,当该可视立面存在一个被遮挡顶点时,获取该被遮挡顶点的 邻边上的分界点;该分界点用于区分该可视立面的被遮挡区域和未被遮挡区域;根据该分界 点,以及该可视立面的未被遮挡顶点,获取该可视立面的可视区域面积。
在一种可能的实现方式中,当该可视立面存在两个被遮挡顶点时,且存在一条被遮挡边 时,获取该被遮挡边的邻边上的分界点;根据该分界点,以及该可视立面的未被遮挡顶点, 获取该可视立面的可视区域面积。
在一种可能的实现方式中,当该可视立面存在两个被遮挡顶点,且不存在被遮挡边时, 分别获取该两个被遮挡顶点的邻边上对应的分界点;根据该分界点,以及该可视立面的未被 遮挡顶点,获取该可视立面的可视区域面积。
在一种可能的实现方式中,当该可视立面存在三个被遮挡顶点时,获取该可视立面的未 被遮挡顶点的邻边上的分界点;根据该分界点以及该未被遮挡顶点,获取该可视立面的可视 区域面积。
请参考图4,其示出了本申请实施例涉及的一种立面顶点遮挡分类图。如图4所示,立 面顶点被遮挡至少有如图所示的七种可视立面情况。
对于没有顶点被遮挡时的可视立面情况401,其没有顶点被其他物体遮挡,可以近似认 为该立面图401对于的立面没有被遮挡,因此将该立面的面积获取为该立面的可视区域面积。
而对于有一个顶点被遮挡的可视立面情况402,如图5所示,其示出了本申请实施例涉 及的一种获取单个顶点遮挡对应的立面可视区域的示意图。如图5所示,电子设备根据该物 体立面的遮挡情况501,获取该物体其中某一立面对应的立面可视区域502。由立面可视区域 502可知,立面中的c点被遮挡后,a,b,d点是可见的,因此根据被遮挡点c对应的邻边上 的遮挡情况,可以通过二分法递归获取该邻边上的分界点c1和c2,将该分界点c1和c2作为 可见端点,与未被遮挡的可见顶点a,b,d构成新的图形,并将该图形作为该立面对应的可 视区域,将该图形对应的面积作为该立面的可视区域面积。
对于有两个顶点被遮挡的立面,且两个被遮挡顶点共享一条被遮挡的邻边时,如可视立 面情况403所示,因此该两个被遮挡顶点的邻边上,具有与该两个被遮挡顶点对应的分界点, 同图5所示方法,通过二分法递归获得与该两个被遮挡顶点对应的分界点,作为可见端点。 将该可见端点与该两个未被遮挡的可见顶点构成新的图形,并将该图形作为该立面对应的可 视区域,将该图形对应的面积作为该立面的可视区域面积。需要注意的是,在可视立面情况 403中,当该两个分界点与该对应的被遮挡顶点的距离相同时,该可视区域可以呈现矩形。
如可视立面情况404所示,对于有两个顶点被遮挡的立面,且两个被遮挡顶点为非对角 顶点时,即两个被遮挡顶点共享一条邻边,且该邻边未被完全遮挡时,每个被遮挡顶点对应 的邻边上都分别具有与该被遮挡顶点对应的分界点。同理,获取该两个顶点分别对应的分界 点作为可见端点。根据未被遮挡的两个顶点,以及该两个未被遮挡顶点对应的四个可见端点, 构成新的图形,并将该图形作为该立面对应的可视区域,将该图形对应的面积作为该立面的 可视区域面积。
如可视立面情况405所示,对于有两个顶点被遮挡的立面,且两个被遮挡顶点为对角顶 点时,与可视立面情况404相似,其每个被遮挡顶点对应的邻边上都分别具有与该被遮挡顶 点对应的分界点。同理,获取该两个顶点分别对应的分界点作为可见端点。根据未被遮挡的 两个顶点,以及该两个未被遮挡顶点对应的四个可见端点,构成新的图形,并将该图形作为 该立面对应的可视区域,将该图形对应的面积作为该立面的可视区域面积。
如可视立面情况406所示,对于有三个顶点被遮挡的立面,即只有一个顶点是可视顶点, 此时在该可视顶点对应的邻边上,通过二分法获取该可视顶点对应的分界点,并根据该分界 点与该可视顶点,形成新的图形,并将该图形作为该立面对应的可视区域,将该图形对应的 面积作为该立面的可视区域面积。
如可视立面情况407所示,对于有四个顶点被遮挡的立面,此时可以认为该立面被完全 遮挡,因此认为该立面没有对应的可视区域,即该立面的可视区域面积为0。
步骤305,从该标注立面的可视区域中确定标注区域;该标注区域是该标注立面的可视 区域包含的第一形状的区域中,面积最大的区域。
在一种可能的实现方式中,获取该标注立面的遮挡信息,该遮挡信息用于指示该标注立 面被遮挡的顶点和被遮挡的边;根据该遮挡信息,在该标注立面的可视区域中,确定该标注 区域。
在一种可能的实现方式中,第一形状为矩形,当该遮挡信息指示该标注立面上存在一个 被遮挡顶点时,将该被遮挡顶点的对角顶点作为第一目标点;在该第一目标点对应的非邻接 边上确定第一端点,使得以该第一端点与该第一目标点之间的线段为对角线的矩形,是该标 注立面的可视区域内面积最大的矩形;将以该第一端点与该第一目标点之间的线段为对角线 的矩形所在的区域,确定为该标注区域。
请参考图6,其示出了本申请实施例涉及的一种标注范围的计算方法示意图。如图6所 示,当只有一个被遮挡顶点时,获取该被遮挡顶点的对角顶点a(第一目标点),在a的非邻 接线段(非邻接边)上找到另一个点(第一端点),让组成的长方形面积最大。其中,非邻接 线段是构成该立面的可视区域中,不与a直接连接的线段。
在一种可能的实现方式中,第一形状为矩形,当该遮挡信息指示该标注立面上存在两个 被遮挡顶点,且该两个被遮挡顶点之间的边被完全遮挡时,将该标注立面的未被遮挡顶点中, 邻边未被遮挡部分的长度之和最大的顶点,获取为第二目标点;在该第二目标点对应的非邻 接边上确定第二端点;该第二端点处于该标注立面的可见区域,且以该第二端点与该第二目 标点之间的线段为对角线的矩形,是该标注立面的可视区域内面积最大的矩形;将以该第二 端点与该第二目标点之间的线段为对角线的矩形所在的区域,确定为该标注区域。
在一种可能的实现方式中,第一形状为矩形,当该遮挡信息指示该标注立面上存在两个 被遮挡顶点,且不存在被完全遮挡的边时,获取目标点集;该目标点集包括该标注立面的未 被遮挡顶点以及该两个被遮挡顶点的邻边上的分界点;该分界点用于区分该可视立面的被遮 挡区域和未被遮挡区域;在该标注立面的可视区域内确定第三端点;以该第三端点与第三目 标点之间的线段为对角线的矩形,是该标注立面的可视区域内面积最大的矩形;该第三目标 点是该目标点集中的一个;将以该第三端点与该第三目标点之间的线段为对角线的矩形所在 的区域,确定为该标注区域。
请参考图7,其示出了本申请实施例涉及的一种标注范围的计算方法示意图。如图7所 示,当可视立面中有两个被遮挡顶点时,可以分为三种情况进行分析,第一种情况701,当 被遮挡的区域超过了边线时,即两个被遮挡顶点之间的边被完全遮挡时,可视区域为四边形, 其中a点与b点是标注立面对应的两个未被遮挡的顶点,从701可知,a对应的两条邻边的未 被遮挡部分的长度之和,大于b对应的两条邻边的未被遮挡部分的长度之和,因此可以将a 作为第二目标顶点(基点),在a的非邻接线段上找到与a组成最大长方形的第二端点,即701 中的点c1,此时,以a和c1为对角点组成的长方形是701对应的可视区域中面积最大的长方 形。
第二种情况702,当被遮挡的区域未超过边线,且可视立面的两个未被遮挡顶点是对角 点时,其被遮挡的区域可能形成如702所示的八边形;第三种情况703,当被遮挡的区域未 超过边线,且该可视立面的两个为被遮挡的顶点共享一条邻边时,其被遮挡的区域可能形成 如703所示的八边形。
对于702与703所示的标注立面,获取该标注立面的目标顶点集合,即获取该标注立面 的未被遮挡顶点以及该两个被遮挡顶点的邻边上对应的分界点,以目标顶点集合中的一点为 基点,获取与该点对应的,该标注立面的可视区域中面积最大的矩形。
在一种可能的实现方式中,第一形状为矩形当该遮挡信息指示该标注立面上存在三个被 遮挡顶点时,将该标注立面的未被遮挡顶点获取为第四目标点;将该第四目标点与该第四目 标点的两条邻边上的分界点构成的矩形所在的区域,确定为该标注区域;该分界点用于区分 该可视立面的被遮挡区域和未被遮挡区域。
请参考图8,其示出了本申请实施例涉及的一种标注范围的计算方法示意图。如图8所 示,当三个顶点被遮挡时,将该未被遮挡顶点(即a点)作为基点,并根据a点在邻边上对应的分界点c1与c2,组成面积最大的矩形,并将该矩形对应的区域获取为标注区域。
在一种可能的实现方式中,第一形状为矩形当该遮挡信息指示该标注立面上存在三个被 遮挡顶点时,将该标注立面的未被遮挡顶点获取为第四目标点;在该标注立面的可视区域内 确定第四端点;以该第四端点与该第四目标点之间的线段为对角线的矩形,是该标注立面的 可视区域内面积最大的矩形;将以该第四端点与该第四目标点之间的线段为对角线的矩形所 在的区域,确定为该标注区域。
当三个顶点被遮挡时,也可以直接根据标注立面的未被遮挡顶点,获取标注区域的可视 区域内的第四端点,将该第四端点与该未被遮挡顶点组成面积最大的矩形对应的区域,获取 为标注区域。当被遮挡区域是矩形时,该第四端点与该未被遮挡顶点组成的矩形与图8对应 的最大矩形相同。
在一种可能的实现方式中,该标注区域是该可视立面中指定形状的区域。
在图6至图8的示例中,该标注区域是可视立面中的矩形区域,在本申请实施例中,该 标注区域还可以是圆形,三角形等指定形状的区域,本申请对此不作限制。
步骤306,在显示界面呈现的该目标物体的标注立面上呈现该目标物体的标注信息。
在一种可能的实现方式中,可以根据深度信息,在显示界面呈现的该目标物体的标注立 面上呈现该目标物体的标注信息。
即在AR或VR场景中,目标物体对应的模型是基于三维数据构建的模型,因此该标注 信息在标注立面的标注区域中,可能具有深度属性,即在该目标物体对应的模型的标注立面 对应的标注区域中,呈现的标注信息,可以是一个具有三个维度属性的标注信息。
在一种可能的实现方式中,基于该标注区域的尺寸,生成该标注信息的三维模型;在显 示界面呈现的该标注区域的平行平面上呈现该标注信息的三维模型;该平行平面是位于该标 注立面前方,且平行于该标注立面的平面。
在一种可能的实现方式中,基于该标注区域的尺寸,生成该标注信息的尺寸;基于该标 注信息的尺寸,在该标注立面的平行平面内,对于该标注区域展示该标注信息的三维模型, 并呈现于目标位置对应显示界面上。即标注信息的尺寸与该标注区域的尺寸是相关的,当该 标注区域的尺寸越大,该标注信息的尺寸也越大,该标注信息的三维模型呈现于显示界面上 的尺寸也越大。
在一种可能的实现方式中,根据该标注立面的标注区域的水平方向长度和竖直方向长度, 确定该标注信息的显示方向;根据该标注信息的显示方向,在显示界面呈现的该目标物体的 标注立面上呈现该目标物体的标注信息。
在一种可能的实现方式中,当该标注信息是文本标注信息是,可以根据该标注立面的标 注区域的水平方向长度和竖直方向长度,确定该标注信息的呈现方向。例如,当该标注区域 的水平方向长度大于竖直方向长度时,该标注信息可以是以该标注区域的水平方向并呈现在 显示界面所呈现的标注区域上;当该标注区域的竖直方向长度大于该标注区域的水平方向长 度时,该标注信息可以是以标注区域的竖直方向呈现在显示界面所呈现的标注区域上。
在一种可能的实现方式中,获取该目标物体与该指定场景的显示界面对应的距离信息; 当该距离信息小于阈值时,在显示界面呈现的对应该标注立面的标注区域上呈现该目标物体 对应的标注信息。
当该目标物体与该指定场景的显示界面对应的距离太远时,从目标位置观察该目标物体 时,观察到的视线范围较小,标注信息难以识别,此时不在显示界面呈现的目标物体对应的 标注立面上呈现标注信息。
在一种可能的实现方式中,当该标注立面的可视区域在该显示界面上的投影区域的面积 大于指定面积阈值时,对应该标注立面的可视区域在显示界面上呈现该目标物体的标注信息。
当该标注立面的标注区域面积太小时,此时在该显示界面中的标注区域上呈现的标注面 积也可能会难以识别,此时不在显示界面呈现的目标物体对应的标注立面上呈现该标注信息。
请参考图9,其示出了本申请实施例涉及的一种数据资源流程图。如图9所示,本申请 实施例所示方案可以通过部署AR SDK(Software Development Kit,软件开发工具包)平台 软件和三维建筑物数据模型的终端进行实现。运行时,程序代码运行于终端设备的主机内存 和/或GPU(Graphics Processing Unit,图形处理器)内存,从服务器上加载当前位置周围 的建筑物模型。在终端提供的底层支持的基础上,终端可以执行文本标注的计算过程和渲染 显示,包括计算建筑物的可视区域,投影可视区域的面积和文本标注的显示范围计算,以及 文本标注的显示和冲突处理。
请参考图10,其示出了本申请实施例涉及的一种标注呈现方法结构图。如图10所示, 以文本标注显示为例,该方法结构由底层支持1001、标注文本计算1002、渲染显示1003构 成,且该方法由电子设备执行。本申请所示方法可以在三维渲染引擎unity软件上进行开发的, 其中unity软件提供封装后的3D渲染管线,提供碰撞检测和三维渲染等功能,并根据三维建 筑物对应的数据加载城市建筑物的三维模型,以此提供本方法的底层支持。
电子设备根据最小包围盒,确定该建筑物的可视立面;再根据该建筑物的最小包围盒, 判断该建筑物可视立面对应的可视顶点以及立面的可视区域范围;通过该可视区域在用户对 应的方向的面积投影,选取其中面积投影最大的作为显示立面。
根据该确定的显示立面,计算在该显示立面上,最大的文本标注显示范围,在该最大的 文本标建筑物的三维建筑物模型对应的文本标注显示范围上进行文本标注的显示。并且当文 本标注的内容在立面上渲染显示完成后,在投影显示在屏幕上时可能会出现遮挡的情况。比 如距离较近的文本标注遮挡了后方的文本标注,此时形成了冲突,因此需要对该文本标注的 冲突显示进行处理。
并且,在上述方法执行的过程中,相机开始实时位姿模拟,通过电子设备模拟用户的实 时位置与角度,并以此来验证该文本标注显示的正确性。
请参考图11,其示出了本申请实施例涉及的一种建筑物的可视立面计算流程图。如图11 所示:
S1101,电子设备确定需要标注的建筑物。
S1102,根据该标注建筑物对应的三维模型,获取该建筑物构建三维模型对应的三角网结 构,得到该建筑物对应的各顶点坐标,根据该建筑物对应的各顶点坐标,计算该建筑物对应 的最小包围盒结构(即长方体结构),并将该最小包围盒获取为该建筑物对应的目标模型。
S1103,获取该建筑物中心到相机的向量Vcam,并计算该目标模型各立面的法线向量 Vnor,计算Vnor在Vcam向量上的投影长度值L。
S1104,当该L大于0时,则代表Vnor向量在Vcam的投影向量与该Vcam向量的方向一致,此时,因此Vnor向量对应的立面在Vcam方向是可见的立面;当L小于0时,则代表 Vnor向量在Vcam的投影向量与该Vcam向量的方向相反,此时Vnor向量在Vcam方向上是 不可见的立面。S1105,将可见的立面获取到可见立面的集合中。
请参考图12,其示出了本申请实施例涉及的一种可视区域计算对应的方法流程图。
S1201,电子设备确定需要标注的建筑物。
S1202,根据该标注建筑物对应的三维模型,获取该建筑物构建三维模型对应的三角网结 构,得到该建筑物对应的各顶点坐标,根据该建筑物对应的各顶点坐标,计算该建筑物对应 的最小包围盒结构(即长方体结构),并将该最小包围盒获取为该建筑物对应的目标模型。
S1203,遍历该集合中的可见立面,根据该相机与该建筑物对应的立面顶点的位置关系, 判断该相机与该建筑物的可视立面的立面顶点之间的连线是否被建筑物遮挡,判断立面顶点 在相机视野中是否可见。
S1204,当顶点为可见顶点时,将该顶点直接输入可见顶点集合。当顶点为不可见顶点时, 通过二分法,判断顶点相邻边上的遮挡区域与未被遮挡区域的分界点。
S1205,将该分界点作为可见顶点输入可见顶点集合。
S1206,当识别完该建筑物对应的所有可见顶点后,根据该可见顶点,组成该建筑物模型 对应的可见区域,并根据该顶点被遮挡的情况,计算可见区域面积。
S1207,根据该可视区域在相机视线上的投影,得到可见区域在屏幕上的范围大小,也就 用户实际上可以在屏幕上观察到的范围大小。
请参考图13,其示出了本申请实施例涉及的一种文本标注范围对应的计算流程图。对于 上述得到可见区域面积在屏幕上观察到的范围大小(即立面可视区域投影面积)。
S1301,比较其中可视区域面积,将可视区域面积最大的立面作为标注立面。
S1302,根据顶点被遮挡的情况,计算可视区域中面积最大的长方形,并将该长方形对应 的区域作为标注范围,即可以在该标注范围上,显示该建筑物对应的标注信息。
S1303,在该标注范围上,显示该建筑物对应的标注信息之前,需要对是否显示该标注信 息判定,即综合标注范围面积、建筑物与相机距离进行评价、确定是否显示该标注信息。例 如,当标注范围面积较小时,根据该标注范围显示的标注信息相对较小,此时显示出的标注 信息用户可能难以看清,因此可以不显示该标注范围;当建筑物与相机距离较远时,此时建 筑物在终端上的显示面积同样可能较小,用户可能同样无法看清显示的标注信息,因此可以 不显示该标注范围。
请参考图14,其示出了本申请实施例涉及的一种相机实时位姿模拟流程图。如图14所 示,在上述标注的显示过程中,可以实时运行如图14所示步骤,通过向终端输入相应的指令, 控制相机的移动,视角旋转等响应事件,模拟人的场景浏览,以验证本申请实施例所示的建 筑物的信息标注方法。以终端实现为个人计算机为例。
S1401,用户可以通过键盘、鼠标等外接设备输入对应的指令,控制模拟出的三维场景中 的相机对象。
S1402,电子设备实时根据键盘、鼠标等用户输入,让相机进行平移、视角旋转动作事件 的响应。
S1403,在运行时,控制外部输入让相机模拟人的视角进行城市视角的观看,实时响应建 筑物的标注信息,并根据该建筑物标注信息的显示情况,判断本申请实施例对应的信息标注 方法是否可以正常显示。
本申请除了可用于建筑物的文本标注,还可以应用图片、视频等多种形式进行信息标注。 例如在AR场景中在建筑物立面上投放视频广告进行播放,放置新品汽车模型进行展览,在 商场建筑物上介绍店铺信息,在博物馆上介绍馆藏文物历史等多种应用场景。在AR场景中 识别到建筑物的可视平面,就可以在场景中展示多媒体信息,而且用户在不同的角度下都能 接收到AR场景的信息,丰富AR的体验效果。
本申请实施例还提出计算三维场景中建筑物模型的可视区域,和可视区域在人眼视线方 向下的投影面积,确定建筑物标注显示的立面方向。
首先计算三维场景中建筑物模型的可视区域。将建筑立面顶点被遮挡情况进行分类计算, 计算可视区域范围内的面积,将可视区域的面积在人眼视线方向做面积投影,得到立面中可 视区域在屏幕显示上的范围大小;然后计算得到建筑物立面中可视区域,将文本标注显示在 可视区域中。此时的文本标注的位置在建筑物的可视区域中,并且文本标注的方向是建筑物 的立面方向。文本标注是三维的,而且不会被当前帧的建筑物所遮挡。三维的文本标注在屏 幕显示上会有远近变化,离用户越近的文字在屏幕上显示的尺寸更大,并且文本方向是与建 筑物方向一致能更好的表达文本标注与被标注建筑物之间的所属关系。
并且,通过计算在可视区域中文本标注的显示范围,标注文本根据不同视角进行自适应 显示。本申请实施例所示方案会更加可视区域的范围进行动态计算,计算其中面积最大的长 方形。可视区域是二维平面,形状会随着用户视角变化而变化,需要根据立面顶点的可见性 和顶点关系确定长方形的基点,判断长方形对称点的位置来确定面积最大的长方形;当用户 在使用AR应用进行浏览时,场景中建筑物内容会发生变化,建筑物文本标注会随着场景变 化而变化,将标注以更佳的视角呈现给用户。
请参考图15,其示出了本申请实施例与一种AR地图技术的对比示意图。如图15所示, 在本申请实施例所示方案1501中在不同视角下建筑物标注会发生变化,建筑物标注在场景的 可见范围中,方向是在建筑物立面方向上,用户能简单的将标注与被标注的建筑物进行关联, 而且提供给用户远近的变化,标注能提供一定程度的位置和方向指引,给用户带来更好的AR 体验。但是在1502所示的AR地图技术中,标注与被标注的建筑物关联性不强。
在AR场景中进行标注有如下特点:1:用户在浏览时当前帧的建筑物标注信息不能过多, 按照与用户的距离和可视区域的大小进行优先级排序,距离用户越近和可视区域越大,优先 级越高。2:当可视区域竖轴长度高于横轴长度时,可以将建筑物信息竖向排列显示。3:当 文本标注范围太小,不能有效显示建筑物信息时,可以忽略不计。
AR地图技术1502在AR场景中采用的信息标注方法是通过识别屏幕中建筑物的范围, 将文本标注平铺在建筑物的屏幕范围,信息标注仍然是二维平面,没有利用AR场景中的深 度信息,而且平铺后的信息标注与所属的建筑物关联性不强,会对场景的其他内容存在遮挡。
本申请实施例1501与AR地图技术1502不同之处在于使用三维的信息标注,让信息标 注显示在建筑物的可视区域中,信息标注的法线方向和立面的法线一致,让信息标注与所属 的建筑关联性更强,成为AR场景中的一部分,而且对场景中其他内容的遮挡更少,用户在 AR体验时拥有更好的感受。
在AR地图技术1501中,三维场景中建筑物的标注是静态的,用户在不同的视角浏览标 注时会存在盲区,或者标注信息反向错误;通过计算当前帧用户视角下建筑物的可视区域, 将文本内容显示在可视区域中;本申请实施例所示方案中用户在不同的视角下浏览建筑物时, 建筑物的标注信息会自动调整,随着视角的变化而变化。这种方式让标注的信息能动态呈现, 让三维场景中信息标注更加灵活智能,建筑物的标注也可以采用图片、视频等多媒体方式进 行表达,标注信息是AR应用中重要的交互入口。
AR地图技术1502中,三维场景中建筑物的标注是平铺在屏幕上的,与所属的建筑物关 联性不强,而且会对其他的场景内容存在遮挡;而本申请实施例所示方案中,计算三维场景 中的三维标注,让标注方向和建筑物的立面方向一致,能够在屏幕上呈现标注信息的远近变 化,因此可以通过实现三维的建筑物标注,定向表达标注的位置和方向,让标注与被标注的 建筑物关联性得到增强,而且文本是线性的表达,在一定程度上能指示建筑物的方位信息, 用户在AR场景中的三维体验进一步丰富。
综上所述,在本申请实施例所示的方案中,通过在虚拟现实场景或增强现实场景中,获 取目标物体的外立面中的可视立面,并根据可视立面对在显示界面上的投影,在该目标物体 的可视立面中,确定标注立面,并将该目标物体的标注信息呈现在与该标注立面的可视区域 对应的区域。通过上述方案,在显示目标物体的标注时,可以根据目标位置,以及可视立面 在指定场景的显示界面上的投影,进行标注立面的选择,从而能够在虚拟现实/增强现实场景 中,动态的选择可视区域较大的立面来显示标注信息,从而提高了标注信息的显示效果。
请参考图16,其是根据一示例性实施例提供的一种物体标注信息呈现方法的方法流程图。 该方法可以由电子设备执行,其中,该电子设备可以是终端,也可以是服务器,或者,该电 子设备可以包括终端和服务器,其中,该终端可以是上述图1所示的实施例中的用户终端140, 服务器可以是上述图1所示实施例中的服务器120。如图3所示,以目标物体为建筑物对应 的VR或AR地图应用场景为例,该物体标注信息呈现方法的流程可以包括如下步骤:
步骤1601,获取指定场景中的目标物体。
在一种可能的实现方式中,当指定场景为VR场景时,该目标物体可以是VR设备根据 三维模型数据构建的物体;当指定场景时AR场景时,该目标物体可以是AR设备通过摄像头组件拍摄到的物体。
步骤1602,从该至少两个可视立面的可视区域中分别确定候选标注区域。
其中,该候选标注区域是在对应立面的可视区域包含的第二形状的区域中,面积最大的 区域。
该候选标注区域的确定方式,与图3对应的步骤305所示的在标注立面中确认标注区域 的方法类似,此处不再赘述。
步骤1603,将该至少两个可视立面各自对应的候选标注区域,获取为该至少两个可视立 面的待投影区域。
其中,该候选标注区域是在对应立面的可视区域,面积最大的第二形状区域,也就是说, 在本申请实施例中,可以将可视立面的可视区域中的部分区域作为待投影区域,即可以将该 候选标注区域作为待投影区域。
在一种可能的实现方式中,将该至少两个可视立面的待投影区域向该指定场景的显示界 面做投影,获取该至少两个可视立面的可视区域各自在该指定场景的显示界面上的投影区域。
在一种可能的实现方式中,将该候选标注区域作为待投影区域,向该指定场景的显示界 面做投影,获取该至少两个可视立面的候选标注区域各自在该指定场景的显示界面上的投影 区域。
步骤1604,根据该至少两个可视立面的可视区域各自在该指定场景的显示界面上的投影 区域,从该至少两个可视立面中确定标注立面。
在一种可能的实现方式中,根据该至少两个可视立面的候选标注区域各自在该指定场景 的显示界面上的投影区域,从该至少两个可视立面中确定标注立面。
在一种可能的实现方式中,根据该至少两个可视立面的候选标注区域各自在该指定场景 的显示界面上的投影区域对应的投影面积的大小,从该至少两个可视立面中确定标注立面。
在确定目标物体的标注立面之前,可以先获取每个可视立面指定形状的候选标注区域, 将每个可视立面的候选标注区域作为待投影区域,投影至指定场景的显示界面上,再根据待 投影区域在该指定场景的显示界面上的投影面积大小,确定标注立面。由于目标位置与不同 的可视立面所成夹角不同,因此可能会产生某一可视立面的可视区域的投影面积较大,但其 对应的标注区域对应的投影面积较小,因此也可以通过先对每个立面的标注立面的投影面积 进行比较,再根据比较结果确定标注立面。
步骤1605,对应该标注立面对应的候选标注区域,在该显示界面呈现的该标注立面上呈 现该目标物体的该标注信息。
在根据至少两个立面对应的候选标注区域,确定标注立面后,可以在该标注立面对应的 候选标注区域在显示界面上的呈现区域中,呈现该目标物体的对应的标注信息。即首先比较 每个可视立面的指定形状的最大区域,投影在显示界面上的面积,将面积最大的投影区域对 应的可视立面的候选标注区域用于呈现标注信息。
综上所述,在本申请实施例所示的方案中,通过在指定场景中,获取目标物体的外立面 中的可视立面,并根据可视立面对在显示界面上的投影,在该目标物体的可视立面中,确定 标注立面,并将该目标物体的标注信息呈现在与该标注立面的可视区域对应的区域。通过上 述方案,在显示目标物体的标注时,可以根据目标位置,以及可视立面在指定场景的显示界 面上的投影,进行标注立面的选择,提高了标注信息的显示效果。
请参考图17,其示出了一种物体标注信息的呈现方法的流程示意图。如图17所示,以 该方法运行在用户终端1700,且应用场景为AR地图为例,用户终端1700根据三维模型数据 1701,以及该用户终端此时对应的位置信息与方位信息,构建该用户终端对应方向的若干个 三维建筑模型1702。当对其中目标建筑模型进行识别时,获取该模型与该用户终端方向对应 的可视立面1703,并根据该目标建筑物与该用户终端方向对应的可视立面,获取该各个可视 立面对应的可视区域1704,以及该各个可视区域1704对应的可视区域面积。
根据该可视区域在用户终端方向上的投影1705,将该可视区域在该用户终端方向上,投 影面积最大的可视区域对应的可见立面,获取为标注立面1706。根据该标注立面,获取该标 注立面中指定形状的最大区域面积,作为该标注立面对应的标注区域1707,根据该标注区域 1707,在建筑物对应的三维建筑模型上展示建筑物对应的标注信息1708并呈现于显示界面上。
图18是根据一示例性实施例示出的一种物体标注信息呈现装置的结构方框图。该物体标 注信息呈现装置可以实现图2、图3或图16所示实施例提供的方法中的全部或者部分步骤。 该物体标注信息呈现装置可以包括:
目标物体获取单元1801,用于获取指定场景中的目标物体,所述指定场景是在目标位置 呈现的场景;
标注信息呈现单元1802,用于在显示界面呈现的所述目标物体的标注立面上呈现所述目 标物体的标注信息,所述标注立面为根据所述目标物体的至少两个可视立面各自在所述显示 界面上呈现的投影区域,从所述至少两个可视立面中确定的,所述可视立面是所述目标物体 的外立面中,对所述目标位置可见的立面。
在一种可能的实现方式中,所述指定场景是在所述目标位置呈现的增强现实场景或虚拟 现实场景。
在一种可能的实现方式中,所述标注立面为所述至少两个可视立面中,在所述显示界面 上呈现的投影区域的面积最大的一个。
在一种可能的实现方式中,所述装置还包括:
待投影区域获取单元,用于根据所述至少两个可视立面的可视区域,获取所述至少两个 可视立面的待投影区域;所述可视区域是对应的可视立面在所述指定场景中,对所述目标位 置可见的区域;
投影区域获取单元,用于将所述至少两个可视立面的待投影区域向所述显示界面做投影, 获得所述至少两个可视立面的可视区域各自在所述显示界面上呈现的投影区域。
在一种可能的实现方式中,所述待投影区域获取单元,用于,
将所述至少两个可视立面的可视区域各自的全部区域,获取为所述至少两个可视立面的 待投影区域。
在一种可能的实现方式中,所述标注信息呈现单元1802,包括:
区域确定子单元,用于从所述标注立面的可视区域中确定标注区域;所述标注区域是所 述标注立面的可视区域包含的第一形状的区域中,面积最大的区域;
标注信息呈现子单元,用于在显示界面呈现的所述目标物体的标注立面上呈现所述目标 物体的标注信息。
在一种可能的实现方式中,所述区域确定子单元,包括:
遮挡信息获取子单元,用于获取所述标注立面的遮挡信息,所述遮挡信息用于指示所述 标注立面被遮挡的顶点和被遮挡的边;
标注区域确定子单元,用于根据所述遮挡信息,在所述标注立面的可视区域中,确定所 述标注区域。
在一种可能的实现方式中,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在一个被遮挡顶点时,将所述被遮挡顶点的对角 顶点作为第一目标点;
在所述第一目标点对应的非邻接边上确定第一端点,使得以所述第一端点与所述第一目 标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;
将以所述第一端点与所述第一目标点之间的线段为对角线的矩形所在的区域,确定为所 述标注区域。
在一种可能的实现方式中,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且所述两个被遮挡顶点之间 的边被完全遮挡时,将所述标注立面的未被遮挡顶点中,邻边未被遮挡部分的长度之和最大 的顶点,获取为第二目标点;
在所述第二目标点对应的非邻接边上确定第二端点;所述第二端点处于所述标注立面的 可见区域,且以所述第二端点与所述第二目标点之间的线段为对角线的矩形,是所述标注立 面的可视区域内面积最大的矩形;
将以所述第二端点与所述第二目标点之间的线段为对角线的矩形所在的区域,确定为所 述标注区域。
在一种可能的实现方式中,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且不存在被完全遮挡的边时, 获取目标点集;所述目标点集包括所述标注立面的未被遮挡顶点以及所述两个被遮挡顶点的 邻边上的分界点;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域;
在所述标注立面的可视区域内确定第三端点;以所述第三端点与第三目标点之间的线段 为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;所述第三目标点是所述目 标点集中的一个;
将以所述第三端点与所述第三目标点之间的线段为对角线的矩形所在的区域,确定为所 述标注区域。
在一种可能的实现方式中,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在三个被遮挡顶点时,将所述标注立面的未被遮 挡顶点获取为第四目标点;
将所述第四目标点与所述第四目标点的两条邻边上的分界点构成的矩形所在的区域,确 定为所述标注区域;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域。
在一种可能的实现方式中,所述标注信息呈现子单元,包括:
标注信息模型生成子单元,用于基于所述标注区域的尺寸,生成所述标注信息的三维模 型;
标注信息模型呈现子单元,用于在所述显示界面呈现的所述标注区域的平行平面上呈现 所述标注信息的三维模型;所述平行平面是位于所述标注立面前方,且平行于所述标注立面 的平面。
在一种可能的实现方式中,所述待投影区域获取单元,包括:
候选标注区域确定子单元,用于从所述至少两个可视立面的可视区域中分别确定候选标 注区域;所述候选标注区域是在对应立面的可视区域包含的第二形状的区域中,面积最大的 区域;
待投影区域获取子单元,用于将所述至少两个可视立面各自对应的候选标注区域,获取 为所述至少两个可视立面的待投影区域。
在一种可能的实现方式中,所述标注信息呈现单元1802,还用于,
对应所述标注立面对应的候选标注区域,在所述显示界面呈现的所述标注立面上呈现所 述目标物体的所述标注信息。
在一种可能的实现方式中,所述标注信息呈现单元1802,用于,
当所述标注立面的可视区域在所述显示界面上的投影区域的面积大于指定面积阈值时, 在所述显示界面呈现的所述标注立面上呈现所述目标物体的所述标注信息。
综上所述,在本申请实施例所示的方案中,通过在虚拟现实场景或增强现实场景中,获 取目标物体的外立面中的可视立面,并根据可视立面对在显示界面上的投影,在该目标物体 的可视立面中,确定标注立面,并将该目标物体的标注信息呈现在与该标注立面的可视区域 对应的区域。通过上述方案,在显示目标物体的标注时,可以根据目标位置,以及可视立面 在指定场景的显示界面上的投影,进行标注立面的选择,从而能够在指定场景中,动态的选 择可视区域较大的立面来显示标注信息,从而提高了标注信息的显示效果。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/ 或软件模块(或单元)。结合本申请中所公开的实施例描述的各示例的单元及算法步骤,本申 请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算 机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人 员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超 出本申请实施例的技术方案的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应 各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述 集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的 是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以 有另外的划分方式。
在采用集成的单元的情况下,图19示出了上述实施例中所涉及的电子设备的一种可能的 结构示意图。电子设备1900包括:处理单元1902和通信单元1903。处理单元1902用于对 电子设备1900的动作进行控制管理。例如,当电子设备1900为用户终端时,处理单元1902 用于支持电子设备1900执行图2所示实施例中的步骤21至步骤22,图3所示实施例中的步 骤301至步骤306、图16中所示实施例中的步骤1601至步骤1605,和/或用于执行本文所描 述的技术的其它步骤。电子设备1900还可以包括存储单元1901,用于存储电子设备1900的 程序代码和数据。例如,当电子设备1900为用户终端时,存储单元1901中存储有上文介绍 的三维模型数据。
其中,处理单元1902可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路 (Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其 可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处 理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的 组合等等。通信单元1903可以是通信接口、收发器、收发电路等,其中,通信接口是统称, 可以包括一个或多个接口。存储单元1901可以是存储器。
当处理单元1902为处理器,通信单元1903为通信接口,存储单元1901为存储器时,本 申请实施例所涉及的电子设备可以为图20所示的电子设备。
参阅图20所示,该电子设备2010包括:处理器2012、通信接口2013、存储器2011。可选地,电子设备2010还可以包括总线2014。其中,通信接口2013、处理器2012以及存储 器2011可以通过总线2014相互连接;总线2014可以是外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。所述总线2014可以分为地址总线、数据总线、控制总线 等。为便于表示,图20中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
上述图19或图20所示的电子设备可以是用户终端或服务器。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可 以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块(或单元)组成, 软件模块(或单元)可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、 只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(ErasableProgrammable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬 盘、移动硬盘、只读光盘(CD-ROM,Compact Disc Read-Only Memory)或者本领域熟知的 任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该 存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部 分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于电子设备中。当然,处理 器和存储介质也可以作为分立组件存在于电子设备中。
本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包 括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可 读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述物体标 注信息呈现方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功 能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能 存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计 算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个 地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介 质。
以上所述的具体实施方式,对本申请实施例的目的、技术方案和有益效果进行了进一步 详细说明,所应理解的是,以上所述仅为本申请实施例的具体实施方式而已,并不用于限定 本申请实施例的保护范围,凡在本申请实施例的技术方案的基础之上,所做的任何修改、等 同替换、改进等,均应包括在本申请实施例的保护范围之内。

Claims (32)

1.一种物体标注信息呈现方法,其特征在于,所述方法包括:
获取指定场景中的目标物体,所述指定场景是在目标位置呈现的场景;
在显示界面呈现的所述目标物体的标注立面上呈现所述目标物体的标注信息;所述标注立面为根据所述目标物体的至少两个可视立面各自在所述显示界面上呈现的投影区域,从所述至少两个可视立面中确定的,所述可视立面是所述目标物体的外立面中,对所述目标位置可见的立面。
2.根据权利要求1所述的方法,其特征在于,所述指定场景是在所述目标位置呈现的增强现实场景或虚拟现实场景。
3.根据权利要求1所述的方法,其特征在于,所述标注立面为所述至少两个可视立面中,在所述显示界面上呈现的投影区域的面积最大的一个。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述至少两个可视立面的可视区域,获取所述至少两个可视立面的待投影区域;所述可视区域是对应的可视立面在所述指定场景中,对所述目标位置可见的区域;
将所述至少两个可视立面的待投影区域向所述显示界面做投影,获得所述至少两个可视立面的可视区域各自在所述显示界面上呈现的投影区域。
5.根据权利要求4所述的方法,其特征在于,所述根据所述至少两个可视立面的可视区域,获取所述至少两个可视立面的待投影区域,包括:
将所述至少两个可视立面的可视区域各自的全部区域,获取为所述至少两个可视立面的待投影区域。
6.根据权利要求5所述的方法,其特征在于,所述在显示界面呈现的所述目标物体的标注立面上呈现所述目标物体的标注信息,包括:
从所述标注立面的可视区域中确定标注区域;所述标注区域是所述标注立面的可视区域包含的第一形状的区域中,面积最大的区域;
在所述显示界面呈现的所述标注立面中的所述标注区域上,呈现所述目标物体的所述标注信息。
7.根据权利要求6所述的方法,其特征在于,所述从所述标注立面的可视区域中确定标注区域,包括:
获取所述标注立面的遮挡信息,所述遮挡信息用于指示所述标注立面被遮挡的顶点和被遮挡的边;
根据所述遮挡信息,在所述标注立面的可视区域中,确定所述标注区域。
8.根据权利要求7所述的方法,其特征在于,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在一个被遮挡顶点时,将所述被遮挡顶点的对角顶点作为第一目标点;
在所述第一目标点对应的非邻接边上确定第一端点,使得以所述第一端点与所述第一目标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;
将以所述第一端点与所述第一目标点之间的线段为对角线的矩形所在的区域,确定为所述标注区域。
9.根据权利要求7所述的方法,其特征在于,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且所述两个被遮挡顶点之间的边被完全遮挡时,将所述标注立面的未被遮挡顶点中,邻边未被遮挡部分的长度之和最大的顶点,获取为第二目标点;
在所述第二目标点对应的非邻接边上确定第二端点;所述第二端点处于所述标注立面的可见区域,且以所述第二端点与所述第二目标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;
将以所述第二端点与所述第二目标点之间的线段为对角线的矩形所在的区域,确定为所述标注区域。
10.根据权利要求7所述的方法,其特征在于,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且不存在被完全遮挡的边时,获取目标点集;所述目标点集包括所述标注立面的未被遮挡顶点以及所述两个被遮挡顶点的邻边上的分界点;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域;
在所述标注立面的可视区域内确定第三端点;以所述第三端点与第三目标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;所述第三目标点是所述目标点集中的一个;
将以所述第三端点与所述第三目标点之间的线段为对角线的矩形所在的区域,确定为所述标注区域。
11.根据权利要求7所述的方法,其特征在于,所述第一形状为矩形,所述根据所述遮挡信息,在所述标注立面的可视区域中确定所述标注区域,包括:
当所述遮挡信息指示所述标注立面上存在三个被遮挡顶点时,将所述标注立面的未被遮挡顶点获取为第四目标点;
将所述第四目标点与所述第四目标点的两条邻边上的分界点构成的矩形所在的区域,确定为所述标注区域;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域。
12.根据权利要求6所述的方法,其特征在于,所述在显示界面呈现的所述目标物体的标注立面上呈现所述目标物体的标注信息,包括:
基于所述标注区域的尺寸,生成所述标注信息的三维模型;
在所述显示界面呈现的所述标注区域的平行平面上呈现所述标注信息的三维模型;所述平行平面是位于所述标注立面前方,且平行于所述标注立面的平面。
13.根据权利要求4所述的方法,其特征在于,所述根据所述至少两个可视立面的可视区域,获取所述至少两个可视立面的待投影区域,包括:
从所述至少两个可视立面的可视区域中分别确定候选标注区域;所述候选标注区域是在对应立面的可视区域包含的第二形状的区域中,面积最大的区域;
将所述至少两个可视立面各自对应的候选标注区域,获取为所述至少两个可视立面的待投影区域。
14.根据权利要求13所述的方法,其特征在于,所述在显示界面呈现的所述目标物体的标注立面上呈现所述目标物体的标注信息,包括:
对应所述标注立面对应的候选标注区域,在所述显示界面呈现的所述标注立面上呈现所述目标物体的所述标注信息。
15.根据权利要求1至14任一所述的方法,其特征在于,在显示界面呈现的所述目标物体的标注立面上呈现所述目标物体的标注信息,包括:
当所述标注立面的可视区域在所述显示界面上呈现的投影区域的面积大于指定面积阈值时,在显示界面呈现的所述标注立面上呈现所述目标物体的标注信息。
16.一种物体标注信息呈现装置,其特征在于,所述装置包括:
目标物体获取单元,用于获取指定场景中的目标物体,所述指定场景是在目标位置呈现的场景;
标注信息呈现单元,用于在显示界面呈现的所述目标物体的标注立面上呈现所述目标物体的标注信息,所述标注立面为根据所述目标物体的至少两个可视立面各自在所述显示界面上呈现的投影区域,从所述至少两个可视立面中确定的,所述可视立面是所述目标物体的外立面中,对所述目标位置可见的立面。
17.根据权利要求16所述的装置,其特征在于,所述指定场景是在所述目标位置呈现的增强现实场景或虚拟现实场景。
18.根据权利要求16所述的装置,其特征在于,所述标注立面为所述至少两个可视立面中,在所述显示界面上呈现的投影区域的面积最大的一个。
19.根据权利要求16所述的装置,其特征在于,所述装置还包括:
待投影区域获取单元,用于根据所述至少两个可视立面的可视区域,获取所述至少两个可视立面的待投影区域;所述可视区域是对应的可视立面在所述指定场景中,对所述目标位置可见的区域;
投影区域获取单元,用于将所述至少两个可视立面的待投影区域向所述显示界面做投影,获得所述至少两个可视立面的可视区域各自在所述显示界面上呈现的投影区域。
20.根据权利要求19所述的装置,其特征在于,所述待投影区域获取单元,用于,
将所述至少两个可视立面的可视区域各自的全部区域,获取为所述至少两个可视立面的待投影区域。
21.根据权利要求20所述的装置,其特征在于,所述标注信息呈现单元,包括:
区域确定子单元,用于从所述标注立面的可视区域中确定标注区域;所述标注区域是所述标注立面的可视区域包含的第一形状的区域中,面积最大的区域;
标注信息呈现子单元,用于在所述显示界面呈现的所述标注立面上呈现所述目标物体的所述标注信息。
22.根据权利要求21所述的装置,其特征在于,所述区域确定子单元,包括:
遮挡信息获取子单元,用于获取所述标注立面的遮挡信息,所述遮挡信息用于指示所述标注立面被遮挡的顶点和被遮挡的边;
标注区域确定子单元,用于根据所述遮挡信息,在所述标注立面的可视区域中,确定所述标注区域。
23.根据权利要求22所述的装置,其特征在于,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在一个被遮挡顶点时,将所述被遮挡顶点的对角顶点作为第一目标点;
在所述第一目标点对应的非邻接边上确定第一端点,使得以所述第一端点与所述第一目标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;
将以所述第一端点与所述第一目标点之间的线段为对角线的矩形所在的区域,确定为所述标注区域。
24.根据权利要求22所述的装置,其特征在于,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且所述两个被遮挡顶点之间的边被完全遮挡时,将所述标注立面的未被遮挡顶点中,邻边未被遮挡部分的长度之和最大的顶点,获取为第二目标点;
在所述第二目标点对应的非邻接边上确定第二端点;所述第二端点处于所述标注立面的可见区域,且以所述第二端点与所述第二目标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;
将以所述第二端点与所述第二目标点之间的线段为对角线的矩形所在的区域,确定为所述标注区域。
25.根据权利要求22所述的装置,其特征在于,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在两个被遮挡顶点,且不存在被完全遮挡的边时,获取目标点集;所述目标点集包括所述标注立面的未被遮挡顶点以及所述两个被遮挡顶点的邻边上的分界点;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域;
在所述标注立面的可视区域内确定第三端点;以所述第三端点与第三目标点之间的线段为对角线的矩形,是所述标注立面的可视区域内面积最大的矩形;所述第三目标点是所述目标点集中的一个;
将以所述第三端点与所述第三目标点之间的线段为对角线的矩形所在的区域,确定为所述标注区域。
26.根据权利要求22所述的装置,其特征在于,所述第一形状为矩形,所述标注区域确定子单元,用于,
当所述遮挡信息指示所述标注立面上存在三个被遮挡顶点时,将所述标注立面的未被遮挡顶点获取为第四目标点;
将所述第四目标点与所述第四目标点的两条邻边上的分界点构成的矩形所在的区域,确定为所述标注区域;所述分界点用于区分所述可视立面的被遮挡区域和未被遮挡区域。
27.根据权利要求21所述的装置,其特征在于,所述标注信息呈现子单元,包括:
标注信息模型生成子单元,用于基于所述标注区域的尺寸,生成所述标注信息的三维模型;
标注信息模型呈现子单元,用于在所述显示界面呈现的所述标注区域的平行平面上呈现所述标注信息的三维模型;所述平行平面是位于所述标注立面前方,且平行于所述标注立面的平面。
28.根据权利要求19所述的装置,其特征在于,所述待投影区域获取单元,包括:
候选标注区域确定子单元,用于从所述至少两个可视立面的可视区域中分别确定候选标注区域;所述候选标注区域是在对应立面的可视区域包含的第二形状的区域中,面积最大的区域;
待投影区域获取子单元,用于将所述至少两个可视立面各自对应的候选标注区域,获取为所述至少两个可视立面的待投影区域。
29.根据权利要求28所述的装置,其特征在于,所述标注信息呈现单元,还用于,
对应所述标注立面对应的候选标注区域,在所述显示界面呈现的所述标注立面上呈现所述目标物体的所述标注信息。
30.根据权利要求16至29任一所述的装置,其特征在于,所述标注信息呈现单元,用于,
当所述标注立面的可视区域在所述显示界面上的投影区域的面积大于指定面积阈值时,在所述显示界面呈现的所述标注立面上呈现所述目标物体的所述标注信息。
31.一种电子设备,其特征在于,所述电子设备包含处理器和存储器,所述存储器中存储有计算机指令,所述计算机指令由所述处理器加载并执行以实现如权利要求1至15任一所述的物体标注信息呈现方法。
32.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序用于被处理器执行,以实现如权利要求1至15任一项所述的物体标注信息呈现方法。
CN202011191117.4A 2020-10-30 2020-10-30 物体标注信息呈现方法、装置、电子设备及存储介质 Pending CN114445579A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011191117.4A CN114445579A (zh) 2020-10-30 2020-10-30 物体标注信息呈现方法、装置、电子设备及存储介质
EP21884791.1A EP4227907A4 (en) 2020-10-30 2021-09-14 METHOD AND DEVICE FOR DISPLAYING OBJECT ANNOTATION INFORMATION, AS WELL AS ELECTRONIC DEVICE AND STORAGE MEDIUM
PCT/CN2021/118121 WO2022089061A1 (zh) 2020-10-30 2021-09-14 物体标注信息呈现方法、装置、电子设备及存储介质
US18/307,386 US20230260218A1 (en) 2020-10-30 2023-04-26 Method and apparatus for presenting object annotation information, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011191117.4A CN114445579A (zh) 2020-10-30 2020-10-30 物体标注信息呈现方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114445579A true CN114445579A (zh) 2022-05-06

Family

ID=81357289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011191117.4A Pending CN114445579A (zh) 2020-10-30 2020-10-30 物体标注信息呈现方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20230260218A1 (zh)
EP (1) EP4227907A4 (zh)
CN (1) CN114445579A (zh)
WO (1) WO2022089061A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840902A (zh) * 2022-05-19 2022-08-02 三一筑工科技股份有限公司 目标对象的绘制方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972131B2 (en) * 2014-06-03 2018-05-15 Intel Corporation Projecting a virtual image at a physical surface
CN109446607A (zh) * 2018-10-16 2019-03-08 江南造船(集团)有限责任公司 船舶分段零件三维标注方法、电子装置及存储介质
CN110610045A (zh) * 2019-09-16 2019-12-24 杭州群核信息技术有限公司 选择橱衣柜生成三视图的智能云处理系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840902A (zh) * 2022-05-19 2022-08-02 三一筑工科技股份有限公司 目标对象的绘制方法、装置、设备及存储介质
CN114840902B (zh) * 2022-05-19 2023-03-24 三一筑工科技股份有限公司 目标对象的绘制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022089061A1 (zh) 2022-05-05
EP4227907A1 (en) 2023-08-16
US20230260218A1 (en) 2023-08-17
EP4227907A4 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
US11315308B2 (en) Method for representing virtual information in a real environment
US9558581B2 (en) Method for representing virtual information in a real environment
KR101993920B1 (ko) 물리적 장면을 표현하기 위한 방법 및 장치
US9224237B2 (en) Simulating three-dimensional views using planes of content
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
US11562545B2 (en) Method and device for providing augmented reality, and computer program
CN109741431B (zh) 一种二三维一体化电子地图框架
CN108933902A (zh) 全景图像采集装置、建图方法及移动机器人
US20230260218A1 (en) Method and apparatus for presenting object annotation information, electronic device, and storage medium
Trapp et al. Strategies for visualising 3D points-of-interest on mobile devices
US11561669B2 (en) Systems and methods of using a digital twin for interacting with a city model
Blanco Pons Analysis and development of augmented reality applications for the dissemination of cultural heritage
Jablonski Data fusion in web-based visualization of 3D scene semantic model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination