CN107592925A - 用于沉浸式视图的数字标牌 - Google Patents

Abstract

用于生成和叠加数字标牌到沉浸式视图的技术。在示例性实施例中，某些实体在环境的沉浸式视图中被遮挡或以其他方式不可见。对于这样的实体，可以生成数字标牌并且将其叠加在沉浸式视图的合适区域中，并且进一步指示例如从查看位置到这样的实体的方向以及诸如企业名称、网站等其他元数据。为了确定附近的实体是否被显示在沉浸式视图中，可以加载和处理存储与在附近的实体相关联的几何数据的平面布局。

Description

用于沉浸式视图的数字标牌

背景技术

生成指定环境的沉浸式视图的系统在最先进的因特网和移动应用中被广泛地采用。这样的系统可以生成例如从用户规定的查看位置的有利点来看有效地将用户“沉浸”在任何数目的环境(例如，街道侧风景、室内区域、制造或医疗场景等)的图像。当前的技术可以进一步将有限的数据(例如，商号名称、商店时间和其他数字“标牌”)叠加在沉浸式视图中可视的对象上。然而，不在视场内的感兴趣实体可以不被识别或指示。

例如，用户可以键入与银行相对应的地址，并且图像系统可以递送与站在银行前的查看者相对应的沉浸式视图。然而，目前的系统可能不支持放置指示视场外实体的数字标牌，例如，查看者正后面的另一银行，或者在不直接在实现内的角落周围的其他感兴趣位置。

因此，期望提供用于图像生成系统以在沉浸式视图中生成和放置与感兴趣的视场外实体相对应的数字标牌的技术。

发明内容

提供本“发明内容”以便以简化的形式介绍概念的选择，这些概念在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。

简而言之，本文中描述的主题的各个方面涉及用于在沉浸式视图中指示感兴趣实体，以及进一步提供与这样的感兴趣实体相关联的信息的技术。在某些方面，感兴趣实体的视图可能被一个或多个遮挡物阻挡，并且这样的视场外实体可以使用与查看者的环境相关联的几何、地理或其他平面布局数据来标识。然后可以生成包含与感兴趣实体相对应的数据的数字标牌，并且将其叠加到沉浸式视图的合适画布区域上。

从以下详细描述和附图中，其他优点可以变得显而易见。

附图说明

图1-2示出了某个街道侧风景(例如，与用户输入的街道地址相对应)的沉浸式视图的实例，以及与沉浸式视图中所示的环境相对应的标准平面地图。

图3示出了叠加在沉浸式视图上的与建筑物相邻的数字标牌。

图4示出了根据本公开的技术所生成的沉浸式视图的示例。

图5示出了根据本公开的图像生成系统的示例性实施例。

图6示出了图5中的框540的示例性实施例。

图7示出了图6中的框610的示例性实施例。

图8示出了与上文中参考图1和图2描述的说明性沉浸式视图相对应的平面布局的示例。

图9示出了与多层建筑物(诸如多层商场)内的环境相对应的多层平面布局的备选示例。

图10示出了动态遮挡的示例。

图11示出了根据本公开的装置的示例性实施例。

图12示出了根据本公开的计算设备的示例性实施例。

图13示出了根据本公开的方法的示例性实施例。

具体实施方式

本文中描述的技术的各个方面通常涉及用于生成用户规定的环境或场所的沉浸式视图的技术。应当理解，下面描述的技术的某些特征可以用于任何用于生成沉浸式视图(例如街道侧视图、室内视图等)的系统，并且可以发现在任何类型的成像系统中的应用，例如虚拟或增强现实、远程呈现、数字地图应用、电子或视频游戏应用等。这样的备选的示例性实施例被认为在本公开的范围内。

以下结合附图阐述的详细描述旨在作为“用作示例、实例或说明”的示例性手段的描述，并且不应当必须被解释为比其他示例性方面优选或有利。出于提供对本发明的示例性方面的透彻理解的目的，详细描述包括具体细节。对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明的示例性方面。在一些情况下，以框图形式示出了众所周知的结构和设备，以避免模糊本文中呈现的示例性方面的新颖性。

现代图像生成系统具有根据用户规定的参数来数字地生成环境的沉浸式视图的能力。沉浸式视图为用户提供了从用户定义的有利点被“沉浸”在规定环境中的体验。这样的系统可以进一步允许在沉浸式视场内的用户交互，例如，以通过平移或倾斜查看有利点、和/或沿着预定方向推进风景等来改变风景被感知的角度。

图1示出了与例如用户输入的街道地址相对应的某个街道侧风景的沉浸式视图100。图2示出了与沉浸式视图100中所示的环境相对应的标准平面地图200。应当理解，图1-2仅用于说明性目的，而并不表示将本公开的范围限于可以使用本文中公开的技术来处理的任何特定类型视图或风景。本公开的各方面可以适应例如街道侧风景、室内区域、制造或医疗环境、远程呈现应用等沉浸式视图。

在图1中，沉浸式视图100示出了从指定的查看有利点来看的自然建筑物110、120、人行横道150等各种有名的地理项。图2所示的地图200示出了在标准平面地图上分别标记为元素210、220、250的相同对象。图1中的导航图标160示出了叠加到沉浸式视图100上以允许用户例如改变查看位置、或从其生成沉浸式视图100的角度的用户交互式控件。例如，通过在给定方向上拖动图标160中的弯曲箭头，沉浸式视图100被生成的角度可以被向上和向下、侧向等地平移。

应当理解，沉浸式视图100与平面地图200之间的对应关系通常由某些参数确定，这些参数在本文中也表示为与查看有利点290相关联的“查看参数”，其在图2中的地图200上用“X”示例性地标记。特别地，查看参数可以包括：例如地理坐标(诸如纬度/经度、GPS坐标等)、查看取向(由矢量292示例性地表示)、查看海拔、一个或多个视图角度(在图2中示意性地表示为“α”)等。因此，沉浸式视图100可以对应于人类观察者从指定的查看有利点290、并且还可以用如有利点290所规定的其他查看参数而感知的环境的视图。

在一些实施方式中，查看有利点290的参数可以由系统的用户直接规定。例如，用户可以键入地址、纬度/经度、或者标识特定有利点的位置或“查看位置”的任何其他坐标。或者，某些查看参数可以由图像生成系统来推断，例如基于耦合到能够检测查看取向、使用GPS检测当前用户位置(例如，在其中图像生成系统的“用户”也通过沉浸式视图的“查看者”识别的应用中)等的图像生成的子模块。

为了生成沉浸式视图，图像生成系统可以访问已存储的现实生活影像(例如，从多个预规定的环境的数字照片和/或这样的照片的后处理版本获得)的数字数据库。此外，图像生成系统可以在特定的沉浸式视图中显示与系统可标识的任何对象相关联的附加信息。例如，与视图100中的标识的对象相关的元数据可以被数字地叠加到视图100上，例如，元数据被放置为与相应对象相邻。元数据可以包括例如驻留在建筑物处的企业的名称、商店时间、相关联的网站、付费广告等。

例如，图3示出叠加在沉浸式视图300上的与建筑物120相邻的数字标牌310。数字标牌310示出了例如驻留在建筑物120中的企业名称(“第一银行”，也在图2中在元件220处示例性地示出)、以及关于营业时间和相关联的网站的信息。

尽管数字标牌310可以容易地设置为与位于查看视点的直接视线(LOS)内的建筑物120相邻，但是标识和放置与不在视场内的实体相对应的数字标牌是更具挑战性的。例如，注意，图2中的建筑物230(示例性标记为“Bob的干洗店”)没有被显示在图1中的沉浸式视图100中，因为其视图被建筑物110阻挡。在这种情况下，建筑物230的视图被指定为被建筑物110“遮挡”。因此，建筑物110作为在查看有利点290与建筑物230之间的直接视线中的(静态)遮挡物的存在阻碍“Bob的干洗店”的数字标牌在沉浸式视图100中被容易地放置为邻近于建筑物230。

备选地，诸如建筑物235等建筑物也可以不被显示沉浸式视图100中，因为这样的建筑物位于由查看参数定义的视角α之外。在这两种情况下(即，当实体的视图被遮挡时，或者当实体位于由查看参数定义的视角之外)时，即使这样的实体可以位于查看者的附近，实体也不会被显示在沉浸式视图100中。

因此，期望提供用于标识未被显示在沉浸式视图中的感兴趣实体、并且在沉浸式视图中为这样的实体生成和显示数字标牌的技术。

图4示出了根据本公开的技术所生成的说明性的沉浸式视图400。在图4中，数字标牌410包括针对建筑物230的信息(例如，“Bob的干洗店”)，其最初不在查看者在沉浸式视图100中的视线内。在所示的示例性实施例中，数字标牌410进一步说明性地包括到建筑物230的方向。在示例性实施例中，在数字标牌410中提供的方向可以参考自与沉浸式视图400中的标牌410相对应的位置(例如，“向左走50米”)。在备选的示例性实施例中，方向可以备选地参考自查看有利点来参考，例如如图2中标记的有利点290(例如，“向前走10米，然后向左转并且行走50米”)。在示例性实施例中，数字标牌410可以包括指向视场外实体的方向的箭头411。

通过标识和显示未在沉浸式视图中显示的实体的数字标牌，本公开的技术有利地增强了提供和/或其他感兴趣对象(在本文中也称为“优选实体”)的范围，其可以被指示给在查看位置附近的查看者。在备选的示例性实施例中，进一步注意，对于没有位于查看位置紧邻附近的优选实体，也可以叠加视场外数字标牌。例如，如果用户向图像生成系统输入特定服务提供商(例如，书店)的名称，则系统可以显示与提供类似类型服务的优选实体相对应的数字标牌(例如，在线书店的网址)，该些服务不需要驻留在查看者紧邻附近。这样的备选的示例性实施例被认为在本公开的范围内。

图5示出了根据本公开的图像生成系统的示例性实施例500。注意，图5仅为了说明的目的而被示出，并不表示将本公开的范围限于本文中描述的用于生成沉浸式视图的任何特定实施方式或特征的组合。例如，在备选的示例性实施例中，系统可以仅包括图5所示的功能块的子集。

此外，图5并不意图建议诸如图4所示的视场外实体的数字标牌必须由计算系统根据本公开的技术自动生成。在备选的示例性实施例中，诸如图4中的410等数字标牌可以被(例如，优选实体的赞助商)手动地创建并且被输入到数据库中，，并且在用户与图像生成系统交互的时间之前进一步被手动放置在特定的沉浸式视图中。然后，实施图像生成系统的计算机可以在用户请求生成沉浸式视图的同时或之前将手动定位的数字标牌数字地叠加到数字沉浸式视图上。这样的备选的示例性实施例被认为在本公开的范围内。

在图5中，在框510，确定查看者视角的查看参数510a。在示例性实施例中，查看参数510a足以规定用于显示的环境的独特的沉浸式视图，例如沉浸式视图100。查看参数510a可以在地理或拓扑参考范围内标识查看位置，并且可以包括例如用户位置的地理坐标，诸如纬度和经度、GPS坐标、街道地址、具有独特地理位置的企业的名称或标识符等。查看参数510a还可以包括查看者的视线指向的方向、查看角度、高度角等。如果查看者站立在相对于周围景观的升高或降低的高度上等，则查看参数510a还可以包括查看者的竖直高度，例如查看海拔。

在示例性实施例中，参数510a可以由用户部分地输入到系统，例如通过在搜索栏中键入地址等。在备选的示例性实施例中，系统可以从例如运行系统的硬件的GPS子系统、蜂窝基站等自动导出至少一些查看参数510a。在其中本技术被并入例如移动设备的示例性实施例中，可以利用陀螺仪或者移动设备上的其他方向确定子系统来提供关于查看参数的信息(例如查看取向)。这样的备选的示例性实施例被认为在本公开的范围内。

在框520，可以基于查看参数510a来标识一个或多个优选实体520a。特别地，查看参数510a可以规定查看位置，并且一个或多个优选实体520a可以对应于在查看位置附近的实体。备选地，一个或多个优选实体520a可以对应于这样的实体：其不一定在查看位置附近但是与在查看参数510a中规定的实体的某些功能属性有关，例如，作为与在查看参数510a中规定的餐厅提供相似类型的食物的餐厅等。

在示例性实施例中，优选实体可以对应于期望将(例如包含与这样的优选实体相关的信息的)相应数字标牌放置在沉浸式视图530a中的任何实体。在示例性实施例中，这样的优选实体的身份可以例如由用户规定、由系统分配、或者从用户输入和系统处理两者导出。

例如，在其中优选实体由用户指定的说明性场景中，用户可以输入期望位置的地址，例如企业、住宅、公园、地标等，并且这样的期望位置可以对应于优选实体。或者，图像生成系统可以存储位于查看位置的大致附近的(例如，如在框510处所确定的)预定位置，该预定位置可能与用户相关。例如，系统分配的优选实体可以包括感兴趣的地标，诸如银行、公园、娱乐场所和商店。这样的实体可以基于例如在系统初始化时配置的用户规定的偏好。在示例性实施例中，系统标识查看附近的与用户最初指定的企业相似或以其他方式相关的企业。

系统分配的优选实体还可以包括可能在规定的查看位置处的与用户相关的优选本地或其他企业。在示例性实施例中，作为优选实体的企业的分配可以由广告模型来驱动，例如，企业可以支付广告费用以被标识为对某些用户(例如，具有规定的匹配偏好的用户或者在某个区域的地理附近的用户等)或者系统的所有用户优选实体。这样的备选的示例性实施例被认为在本公开的范围内。

进一步基于在框510处确定的查看者视角的参数510a，在框525，与查看位置附近相关联的平面布局525a被加载到例如存储器中用于处理。平面布局525a可以对应于例如与查看位置的地理环境相关联的水平和/或竖直布局、位置和/或其他几何数据。平面布局525a通常将规定针对布局中存在的实体的相应的高度信息，并且因此可以用于确定观察者的视线中对所选择的实体的静态遮挡物的存在。平面布局525a还可以规定与布局中存在的实体相关联的标识元数据，例如企业名称、企业类型、街道地址等。

注意，平面布局525a通常可以包括任何类型的环境，例如室内或室外、城市或郊区或农村、单层(例如，房屋中的房间)或多层(例如，多层室内或室外购物中心的一层、地下)等。这样的备选的示例性实施例被认为在本公开的范围内。

图8示出了与上文中参考图1和图2描述的说明性沉浸式视图相对应的平面布局的示例800。注意，图8仅为了说明的目的而被示出，并不意图将本公开的范围限于可以容纳的任何特定类型的风景或环境。为了说明的目的，除非另有说明，否则图8中标记为“8xx”的实体可以对应于图1中标记为“1xx”的对象。

在图8中，布局800包括多个实体810、820、830、860。每个实体可以对应于例如布局800中的静态感兴趣对象，并且每个对象可以占据或可以不占据一些平面空间和/或竖直高度。实体的示例可以包括：例如本地企业、公园、道路、用户指定的感兴趣位置、诸如树等固定对象等。每个实体还可以与规定该实体的物理尺寸(例如，高度、宽度、周长、半径等)的几何数据相关联。注意，在备选的示例性实施例(未示出)中，一些实体不需要占据任何竖直高度，例如，实体可以与图2中的人行横道250分开关联。此外，实体还可以包括与不占据任何空间的对象相关联的信息，例如，为了参考目的，将平面布局800中的点的指定为对应于“旧金山市”。

例如，在图8中，对应于图1中的建筑物110的实体810被指示为具有100m×80m的相关联的表面面积和150m的竖直高度。类似地，实体820和830可以具有如图8所示的相关联的几何尺寸。注意，实体860的表面面积被表示为具有2m的半径和10m的竖直高度。实体860可以对应于例如布局800中存在的树，并且如下文中参考图6和图7进一步描述的，这样的实体的存在通常在布局800中可以被注意到，以帮助确定静态遮挡物的存在。

注意，图8中的几何数据的规范格式仅为了说明的目的而被示出，并不意图限制本公开的范围。例如，在备选的示例性实施例中，平面布局可以采用备选方式来规定诸如树860或建筑物810等实体的几何尺寸，例如具有备选的尺寸规格(例如，圆形与直线)、备选的构成形状、更精细或更粗糙的空间粒度、和/或备选的数字表示，而不是如图8所示。这样的备选的示例性实施例被认为在本公开的范围内。

注意，实体810可以对应于图1中的建筑物110。然而，应当理解，实体810不需要对应于建筑物110的全部，并且可以仅对应于例如其子部分或一些楼层。其他实体(未示出)也可以被映射到由建筑物110占据的空间区域，例如具有其他乘客的其他楼层等。为了区分多层建筑中的多个实体，几何数据通常可以规定与每个实体相关联的水平和竖直(例如，竖直海拔)位置和空间范围(例如，办公室的落地高度)信息。

图9示出了对应于诸如多层购物中心等多层建筑物内的环境的多级平面布局900的替代示例。在图9中，查看位置说明性地位于建筑物的二楼，由二楼平面布局902中的位置标记990标记。平面布局900还包括三楼的平面布局904。示出了实体910-960，其各自对应于平面布局902、904中的例如摊位或商店空间等。实体910-960中的每个可以具有相关联的几何数据(图9中未示出)，如类似地参考图8中的实体810-830描述的。

在示例性实施例中，平面布局902、904还可以包含表示在2楼和3楼上的实体之间的相对竖直间隔和水平对准的相关联的信息(图9中未示出)。应当理解，封装所有这样的单层和多层楼层和/或街道和/或其他环境的平面布局被认为在本公开的范围内。

再次参考图5，在框530，将与查看参数510a相对应的沉浸式视图的数字图像530a加载到存储器中。数字图像530a在本文中也可以被表示为“未注释的沉浸式视图”，与如下文中进一步描述的由框550生成的例如(带注释的)沉浸式视图550a区分开。

在示例性实施例中，数字图像530a可以对应于例如针对平面布局525a上的多个参考点和/或视角(未示出)中的每个存储或生成的多个图像之一。在示例性实施例中，对应于参考点的这样的多个图像可以共同构成从该参考点的角度来看的风景的360度全景视图。这样的多个图像可以在线地或离线地从预配置的数据库获取。基于例如规定所确定的查看位置和查看取向的查看参数510，可以从存储的多个图像中取回正确的图像530a。

再次参考图5，框540生成要被叠加到未注释的沉浸式视图530a上的数字标牌540a。在示例性实施例中，对应于查看位置(例如，在参数510a中规定的)和优选实体520a的平面布局525a中的位置被单独地确定。此外，可以确定平面布局525a中被沉浸式视图530a覆盖的视场。

例如，参考图1和图8，在框540处可以确定说明性的沉浸式视图100，以对应于图8中的平面布局800的视场808(例如，黑色粗线中的区域)。

在框550，基于520a、525a、530a中的信息，生成数字标牌540a。在示例性实施例中，数字标牌540a可以合并和/或显示例如对应于优选实体520a的数据和/或元数据。数字标牌540a还可以包括特定于优选实体520a参考沉浸式视图530a的位置的数据或信息。例如，数字标牌540a可以指示查看者从当前查看位置到达优选实体520a的方向。

注意，如下文中参考图6和7进一步描述的，这样的方向可以例如使用平面布局525a的知识来生成。备选地，可以使用其他技术(例如，从手动评论和注释特定沉浸式视图530a)来生成要被包括在数字标牌540a中的方向或其他信息。在示例性实施例中，生成的方向可以解释优选实体520a在沉浸式视图530a中被遮挡的情况。这样的方向可以规定例如必须绕过或以其他方式绕开一个或多个遮挡物以到达优选实体520a。用于确定从查看位置到遮挡实体的方向的技术在下文中参考图6和图7进一步描述。然而，注意，这些技术仅为了说明的目的而被描述，并不意图将本发明的范围限于必须采用这样的技术的示例性实施例。

在框550，将数字标牌540a叠加在沉浸式视图530a上，以生成带注释的沉浸式视图550a。在示例性实施例中，为了生成沉浸式视图550a，框550可以确定放置所生成的数字标牌540a的数字图像530a的最佳区域。例如，在优选实体520a处于视线中的情况下，可以将相应的数字标牌540a放置为在沉浸式视图550a中以直接邻近于优选实体520a的图像。或者，在优选实体520a被遮挡或者在视场外的情况下，可以将相应的数字标牌540a放置在沉浸式视图550a的区域中，该区域指示从查看位置到达优选实体520a的方向。

数字标牌540a的放置的其他考虑可以包括在沉浸式视图550a中适当大小的“空白”或“非关键”空间的可用性，这样的空间例如对应于开阔的天空、建筑物的墙壁、空的广告牌、用于卡车广告的卡车侧面的广告牌等。这样的空间可以(例如，使用应用于沉浸式视图530a的图像识别和模式匹配技术，和/或利用如下文中进一步描述的对象尺寸信息)被自动地确定。或者，用于数字标牌540a放置的空间可以(例如通过众包，或者基于来自广告商、供应商、图像生成系统设计者等的输入)被手动地确定。

注意，尽管为了说明的目的，框540和550在图5中被分开示出，但是应当理解，在备选的示例性实施例中，框540和550通常可以被集成到一个功能块中。例如，数字标牌540a可以包括到优选实体420的方向，该方向取决于数字标牌540a最终放置在沉浸式视图550a中的位置，并且这种功能性相互关系因此可以在由图像生成系统针对框540和550共同执行的块的计算中被考虑。这样的备选示例性实施例被认为在本公开的范围内。

图6示出了图5中的框540的示例性实施例540.1。注意，图6仅用于说明性目的，并不意图将本公开的范围限于本文中所示的框540的任何具体实施方式。

在图6中，在框610处，确定从(例如，如由参数510a规定的)查看者角度优选实体是否在视线(LOS)中。在示例性实施例中，从平面布局525a获得的几何数据可以用于确定优选实体520a是否在查看者的视线中。注意，为了说明的目的，下面将参考图7进一步描述框610的示例性实施例610.1。

如果优选实体处于LOS中，则系统进行到框625。如果不是，则系统进行到框620。

在框625，如果优选实体在LOS内，则在沉浸式视图530a中确定“画布区域”。画布区域可以对应于沉浸式视图530a中与优选实体520a相关联的数字标牌540a将被叠加的位置。在示例性实施例中，当优选实体在LOS中时，可以将画布区域选择为例如在沉浸式视图525a中直接邻近于优选实体。

在框625之后，在框655，生成数字标牌540a的示例性实施例540.1a。注意，数字标牌540a可以包括例如与优选实体520a相关联的元数据。

在框620，如果优选实体520a不在LOS内，则在沉浸式视图530a中确定“画布区域”。注意，当优选实体520a不在LOS中时，画布区域可以被选择为例如在沉浸式视图530a的“空”区域(例如，与视图530a中的现有实体不交叠的任何区域)、或者如之前在上文中参考图5所述的任何其他空白或非临界空间中。

在示例性实施例中，可以使用(例如诸如参考框620、625所描述的)某些技术来确定用于放置数字标牌的沉浸式视图中的最佳画布区域。例如，沉浸式视图530a可以进一步与描述沉浸式视图530a中存在的对象的属性(例如，形状、分离距离等)的三维(3D)数据相关联。这样的3D数据可以生成自各种来源，例如激光雷达、基于视觉的几何图形、街道印迹等。因此，可以规定3D信息以标识在沉浸式视图中的“动态”遮挡物的存在，例如，当查看者实际上物理地存在于查看者位置并且查看规定场景时，沉浸式视图中出现的不被期望存在的遮挡物。

例如，参考上文中的图3，在观察者位置与建筑物120之间的视线中没有任何静态遮挡物的情况下，框625可以标识被示出用于放置数字标牌310的区域。然而，参考图10，在沉浸式视图1000中，可以存在诸如大型卡车(在图10中说明性地表示为空白矩形1010)等从街道202左转到街道204的动态遮挡物。动态遮挡物1010可以由于其动态性质而不存在于平面布局中，并且遮挡物1010可以进一步发生以在沉浸式视图中与对应于建筑物120的区域、以及在图3中示出为放置数字标牌310的区域交叠。

在这种情况下，框625可以采取若干步骤中的任何步骤来解决这种情况。在第一种情况下，如果确定动态遮挡物遮挡沉浸式视图的显著部分，则数字标牌可以根本不显示在沉浸式视图中。动态遮挡物遮挡沉浸式视图的显著部分的确定可以例如通过以下方法做出：使用在现实生活场景的摄影拍摄期间获得的数据(例如，距离激光雷达、基于视觉的几何形状、街道足迹等的分离距离的数据，其中相机与遮挡对象之间的小的分离距离将指示遮挡物可能占据视图的显著部分)、或者根据通过在上传到系统之前对沉浸式视图的后期审阅的手动注释。

在第二种情况下，如果确定动态遮挡物(诸如图10中的遮挡物1010)与以其他方式将被选择用于放置数字标牌的区域交叠，则可以将数字标牌放置在备选画布区域。例如，建筑物120的数字标牌可以被放置为例如比图3中针对数字标牌310当前示出的略高或更高，以避免与动态遮挡物交叠。应当理解，用于确定这样的区域交叠的技术可以解释例如在沉浸式视图1000中(例如，如在沉浸式视图的摄影拍摄期间获得的)表征动态遮挡物1010的相机的空间范围、位置和/或距离的3D信息。这样的备选的示例性实施例被认为在本公开的范围内。

在第三种情况下，即使存在动态遮挡物，仍然可以将数字标牌放置为邻近于相应实体。特别地，数字标牌可以直接放置在动态遮挡物顶部。

在示例性实施例中，动态遮挡物的存在可以在沉浸式视图的摄影拍摄期间使用3D数据(例如，在从例如激光雷达、基于视觉的几何、街道足迹等多种来源生成的分离距离、几何形状等上)来确定，或者通过手动或计算机视觉/图案匹配技术在沉浸式视图的后期处理期间确定。动态遮挡物的标识还可以通过与平面布局525a的比较和/或相关来进行，例如，以标识存在于沉浸式视图中但是不存在于相应的平面布局中的对象。这样的备选的示例性实施例被认为在本公开的范围内。

在示例性实施例中，画布区域可以备选地或附加地(例如由优选实体的赞助者)手动地规定。例如，对应于图2中的建筑物230的“第一银行”的所有者的代表、或者对应于图2中的建筑物230的“Bob的干洗店”的代表可以直接向图像系统规定其相关联的数字标牌应该放置在图3或图4所示的沉浸式视图中的位置。在示例性实施例中，数字标牌的某些参数(例如，数字标牌在沉浸式视图内的放置、相对于其他数字标牌的放置、数字标牌的尺寸等)因此可以被手动规定。这样的备选的示例性实施例被认为在本公开的范围内。

在框630，将沉浸式视图530a与平面布局525a中的相应视场相关。这个位置可以通过例如考虑查看参数510a(例如，规定在平面布局520a中的查看位置和视角)来确定。例如，如图8所示，视场808可以对应于如上文中参考图5所述的说明性的沉浸式视图100。

在框640，确定从沉浸式视图530a中的画布区域或查看位置到非LOS优选实体520a的方向。在示例性实施例中，方向可以包括查看者最初从规定的查看位置开始要行进的距离、要采取的转向(例如，向右或向左)、所需要的时间等。

在框650，为非LOS优选实体生成数字标牌540a的示例性实施例540.1a。在示例性实施例中，数字标牌可以包括与优选实体相关联的元数据、和/或(例如，如在框640处所确定的)到优选实体520a的方向。

图7示出了图6中框610的示例性实施例610.1。注意，图7仅出于说明的目的而被示出，并不意图将本公开的范围限于用于检测实体是否在查看者的LOS内的任何特定技术。

在图7中，在框705，确定优选实体520a是否在沉浸式视图530a的视场内。在示例性实施例中，可以通过在平面布局525a中将由沉浸式视图530a限定的视场与优选实体520a的位置相比较来执行该确定。如果优选实体520a在视场内，则系统可以进行到框710。否则，在框715，可以确定优选实体520a不在LOS内。

例如，参考图9，具有平面布局900的购物中心的二楼的室内沉浸式视图(未示出)可以对应于视场908。注意，在图9中，视场908可以对应于由黑色粗线所界定的二楼902的区域，其中虚线段908a、908b指示视场908完全位于二楼，并且通过三楼904的“透明”布局被有效地看到。在这种情况下，如果优选实体520a对应于例如在三楼904的货摊950，则可以确定实体950位于三楼，而视场908被限制到二楼。因此，优选实体520a被确定为位于在由沉浸式视图限定的二楼平面布局902上的视场908之外。

在示例性实施例中，对于诸如参考图9所描述的多级结构，视场可以被自动限定为包括不超过与单个楼层相关联的区域，例如，假设在多层建筑中分隔两层楼的楼层/天花板是不透明的。在备选的示例性实施例中，多级结构中的LOS状态的确定可以备选地或结合使用“直线计算”技术，例如按下文中参考框720-725所描述的。这样的备选的示例性实施例被认为在本公开的范围内。

返回到图7，在框710，在平面布局520a中计算从查看位置(例如，如在参数510a中规定的)到优选实体530a的直线。

例如，对于上文中描述的图8所示的说明性平面布局800，可以在查看位置290与说明性优选实体830之间绘制直线801。备选地，对于上文中描述的图9所示的说明性平面布局900，可以在查看位置990与说明性优选实体950之间绘制直线901。

在框720，基于平面布局520a来确定直线是否与任何阻挡实体相交。在示例性实施例中，可以利用关联于与直线710a相交的实体的几何数据(例如，竖直高度数据)来确定这样的实体是否构成“阻挡实体”。

例如，对于图8所示的说明性平面布局800，直线801与实体810和实体860相交。实体810的竖直高度为150米并且实体860的竖直高度为10米的事实可以用于建立两个阻挡实体的存在。

备选地，对于图9所示的说明性平面布局900，在第二层902与第三层904之间的直线901在点905处与“第三层”实体906相交。因此，阻挡实体的存在被建立。

如果在框720处确定存在一个或多个阻挡实体，则系统进行到框725，在框725，确定不存在LOS。或者，如果确定不存在阻挡实体，则系统进行到框730，在框830，确定存在LOS。

应当理解，本公开的技术可以在适用于图像生成系统的任何硬件或软件平台上实施。在示例性实施例中，图像生成系统可以在构成移动设备的一个或多个集成电路上实施，例如，智能电话、GPS导航单元或其他类型的个人数字助理。在备选的示例性实施例中，图像生成系统可以在台式计算机上或者在由计算设备通过有线或无线网络可访问的一个或多个服务器计算机上实施。例如，沉浸式视图的生成和存储以及数字标牌的生成和叠加都可以由服务器计算机基于用户通过因特网连接提供的输入来执行。这样的备选的示例性实施例被认为在本公开的范围内。

注意，本文所示的数字标牌通常可以在沉浸式视图中显示与实体相关联的任何类型的信息，例如元数据和/或其他特征。在某些示例性实施例中，数字标牌可以包括例如到当前示出的实体的更详细或特定方向的链接(或者如果在某些情况下数字标牌被配置为不显示方向，则是到简单方向的链接)、网站、到与实体相关联的附加或备选的沉浸式视图的一个或多个链接等。例如，图3中的数字标牌310或图4中的410可以包括链接(例如，与名称“第一银行”相关联的超链接)，由此如果该链接被选择，则用户可以将与建筑物或企业的内部视图或其他视图相对应的沉浸式视图取回到显示器上。应当理解，例如在存在静态或动态遮挡物的情况下生成数字标牌时，所取回到的一个或多个沉浸式视图还可以结合本公开的技术。这样的备选的示例性实施例被认为在本公开的范围内。

图11示出了根据本公开的装置1100的示例性实施例。注意，图11仅为了说明的目的而被示出，并不意图限制本公开的范围。

在图11中，装置1100包括存储器1100，其存储与包括查看位置在内的查看参数相对应的沉浸式视图、以及与未被显示在沉浸式视图中的优选实体相关联的数据。存储器1110还存储对应于查看位置的平面布局。装置1100还包括数字标牌生成块1120，数字标牌生成块1120被配置为：基于平面布局，确定查看位置与优选实体之间的阻挡实体的存在；以及生成包括与优选实体相关联的数据的数字标牌，数字标牌还包括以下指示，即优选实体没有在阻挡实体的存在被确定的情况下未被显示在沉浸式视图中。装置1100还包括被配置为将数字标牌叠加到沉浸式视图上以生成带注释的沉浸式视图的叠加块1130。

图12示出了根据本公开的计算设备1200的示例性实施例。注意，图12仅为了说明的目的而被示出，并不意图限制本公开的范围。

在图12中，计算设备1200包括处理器1210和存储器1220，存储器1220包括指令，该指令由处理器可执行以：从存储器中取回与包括查看位置在内的查看参数相对应的沉浸式视图、以及与未被显示在沉浸式试图中的优选实体相关联的数据；从存储器中取回与查看位置相对应的平面布局；基于平面布局，确定查看位置与优选实体之间的阻挡实体的存在；以及生成包括与优选实体相关联的数据的数字标牌，数字标牌还包括以下指示，即优选实体没有在阻挡实体的存在被确定的情况下未被显示在沉浸式视图中；以及将数字标牌叠加到沉浸式视图上以生成带注释式的沉浸式视图。

图13示出了根据本公开的方法的示例性实施例1300。注意，图13仅为了说明的目的而被示出，并不意图限制本公开的范围。

在图13中，在框1310，取回与包括查看位置在内的查看参数相对应的沉浸式视图、以及与未被显示在沉浸式视图中的优选实体相关联的数据。

在框1320，取回与查看位置相对应的平面布局。

在框1330，基于平面布局，确定查看位置与优选实体之间的阻挡实体的存在。

在框1340，生成数字标牌，数字标牌包括与优选实体相关联的数据，数字标牌还包括以下指示，即优选实体没有在阻挡实体的存在被确定的情况下未被显示在沉浸式视图中。

在框1350，将数字标牌叠加到沉浸式视图上以生成带注释的沉浸式视图。

在本说明书和权利要求书中，应当理解，当元件被称为“连接到”或“耦合到”另一元件时，其可以直接连接或耦合到另一元件或者可以存在中间元件。相反，当元件被称为“直接连接”或“直接耦合到”另一元件时，不存在中间元件。此外，当元件被称为“电耦合”到另一元件时，其表示在这些元件之间存在低电阻的路径，而当元件被简称为“耦合”到另一元件时，则在这样的元件之间可以存在或者可以不存在低电阻路径。

本文中描述的功能可以至少部分地由一个或多个硬件和/或软件逻辑比较来执行。例如而非限制，可以使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序特定标准产品(ASSP)、系统级芯片系统(SOC)、复杂可编程逻辑器件(CPLD)等。

尽管本发明易于进行各种修改和备选构造，但是其某些示出的实施例在附图中示出并且在上面已经详细描述。然而，应当理解，不意图将本发明限制为所公开的具体形式，相反，本发明旨在覆盖落入本发明的精神和范围内的所有修改、替代构造和等同物。

Claims (10)

1.一种装置，包括：

存储器，所述存储器存储与查看参数相对应的沉浸式视图以及与未被显示在所述沉浸式视图中的优选实体相关联的数据，所述查看参数包括查看位置，所述存储器还存储与所述查看位置相对应的平面布局；

数字标牌生成块，所述数字标牌生成块被配置为：

基于所述平面布局，确定所述查看位置与所述优选实体之间的阻挡实体的存在；以及

生成数字标牌，所述数字标牌包括与所述优选实体相关联的数据，所述数字标牌还包括如下指示，即，所述优选实体在阻挡实体的所述存在被确定的情况下未被显示在所述沉浸式视图中；

所述装置还包括叠加块，所述叠加块被配置为将所述数字标牌叠加到所述沉浸式视图上，以生成带注释的沉浸式视图。

2.根据权利要求1所述的装置，所述查看参数包括视场，所述优选实体位于所述视场之外。

3.根据权利要求2所述的装置，所述平面布局包括由多个实体中的每个实体占据的区域和竖直高度，所述多个实体包括所述优选实体。

4.根据权利要求3所述的装置，所述数字标牌生成块还被配置为：通过确定所述查看位置与所述优选实体之间的直线是否与所述多个实体中的至少一个实体相交，来确定所述阻挡实体的所述存在。

5.根据权利要求3所述的装置，所述多个实体包括街道上的建筑物和建筑物内部的部分。

6.一种方法，包括：

取回与查看参数相对应的沉浸式视图以及与未被显示在所述沉浸式视图中的优选实体相关联的数据，所述查看参数包括查看位置；

取回与所述查看位置相对应的平面布局；

基于所述平面布局，确定所述查看位置与所述优选实体之间的阻挡实体的存在；

生成数字标牌，所述数字标牌包括与所述优选实体相关联的数据，所述数字标牌还包括如下指示，即，所述优选实体在阻挡实体的所述存在被确定的情况下未被显示在所述沉浸式视图中；以及

将所述数字标牌叠加到所述沉浸式视图上，以生成带注释的沉浸式视图。

7.根据权利要求6所述的方法，还包括：在数字显示器上显示带注释的所述沉浸式视图。

8.根据权利要求7所述的方法，所述平面布局包括由多个实体中的每个实体占据的区域和竖直高度，所述多个实体包括所述优选实体。

9.根据权利要求8所述的方法，确定所述阻挡实体的所述存在包括：确定所述查看位置与所述优选实体之间的直线是否与所述多个实体中的至少一个实体相交。

10.一种计算设备，包括处理器和存储器，所述存储器具有指令，所述指令由所述处理器可执行以：

从所述存储器中取回与查看参数相对应的沉浸式视图以及与未被显示在所述沉浸式视图中的优选实体相关联的数据，所述查看参数包括查看位置；

从所述存储器中取回与所述查看位置相对应的平面布局；

基于所述平面布局，确定所述查看位置与所述优选实体之间的阻挡实体的存在；以及

生成数字标牌，所述数字标牌包括与所述优选实体相关联的数据，所述数字标牌还包括如下指示，即，所述优选实体在阻挡实体的所述存在被确定的情况下未被显示在所述沉浸式视图中；以及

将所述数字标牌叠加到所述沉浸式视图上，以生成带注释的沉浸式视图。