CN113483771B - 实景地图的生成方法、装置及系统 - Google Patents

Abstract

本公开提供了一种实景地图的生成方法、装置及系统，图像处理和数据处理技术领域，具体涉及智能交通和大数据技术，可以应用于自动驾驶和自主泊车等领域。方法包括：对获取到的全景图进行识别，得到全景图中的每一兴趣点的目标框，其中，目标框用于框选兴趣点，且目标框具有位置属性，根据各目标框的位置属性，确定各目标框相对于全景图的相对位置信息，并根据各目标框相对于全景图的相对位置信息将各目标框嵌入至预设球模型中，得到全景球模型，对全景球模型进行渲染，得到实景地图，提高了实景地图的可靠性和实用性的技术效果，且提高了生成实景地图的效率的技术效果。

Description

实景地图的生成方法、装置及系统

技术领域

本公开涉及图像处理和数据处理技术领域，具体涉及智能交通和大数据技术，尤其涉及一种实景地图的生成方法、装置及系统，可以应用于自动驾驶和自主泊车等领域。

背景技术

随着电子地图技术的发展，电子地图包括支持360度实景展示的实景地图，即实景地图为可以看到360度真实街景的电子地图。

在相关技术中，通常采用的实景地图的生成方法包括：由采集车搭载点云设备，采集车在行驶时，由点云设备采集点云数据，点云数据包括每一采样点的坐标，由点云设备将采集的点云数据发送给服务器，由服务器根据点云数据进行聚合和分析等数据处理，在预设球模型中载入数据处理后得到的信息，从而绘制得到实景地图。

然而，采用上述方法，一方面，用于支持得到实景地图的硬件设备的成本偏高，另一方面，聚合和分析等数据处理的难度较大，误差偏高。

发明内容

本公开提供了一种用于降低成本的实景地图的生成方法、装置及系统。

根据本公开的第一方面，提供了一种实景地图的生成方法，包括：

对获取到的全景图进行识别，得到所述全景图中的每一兴趣点的目标框，其中，所述目标框用于框选兴趣点，且所述目标框具有位置属性；

根据各所述目标框的位置属性，确定各所述目标框相对于所述全景图的相对位置信息，并根据各所述目标框相对于所述全景图的相对位置信息，将各所述目标框嵌入至预设球模型中，得到全景球模型；

对所述全景球模型进行渲染，得到实景地图。

根据本公开的第二方面，提供了一种实景地图的生成装置，包括：

识别单元，用于对获取到的全景图进行识别，得到所述全景图中的每一兴趣点的目标框，其中，所述目标框用于框选兴趣点，且所述目标框具有位置属性；

确定单元，用于根据各所述目标框的位置属性，确定各所述目标框相对于所述全景图的相对位置信息；

嵌入单元，用于根据各所述目标框相对于所述全景图的相对位置信息，将各所述目标框嵌入至预设球模型中，得到全景球模型；

渲染单元，用于对所述全景球模型进行渲染，得到实景地图。…

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本公开的第六方面，提供了一种实景地图的生成系统，包括：图像采集装置、以及如第二方面所述的装置。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开实施例的切图处理效果示意图；

图4是根据本公开实施例的目标框的示意图；

图5是根据本公开实施例的相对角度的示意图；

图6是根据本公开实施例的嵌入参数的示意图；

图7是根据本公开第三实施例的示意图；

图8是可以实现本公开实施例的实景地图的生成方法的场景图；

图9是根据本公开第四实施例的示意图；

图10是根据本公开第五实施例的示意图；

图11是用来实现本公开实施例的实景地图的生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

电子地图是人们生活工作中必不可少的生活工具，随着交通的发达和旅游业的发展，为了获得更好的地图体验，越来越多的人选择使用实景地图。

在实景地图中，人们可以用360度视角漫游在虚拟的城市街道上，观赏街头景象把电子地图所拥有的优越位置查询能力和全景所提供的虚拟现实体验结合起来，给人们平常的生活、出行等提供非常大的便利。

在相关技术中，通常采用两种方法生成实景地图，一种方法为位置估计法，另一种方法为点云估计法。

其中，采用位置估计法生成实景地图主要包括：获取兴趣点(Point of Interest，POI)的位置信息(如兴趣点在世界坐标系中的坐标)，并根据兴趣点的位置信息绘制实景地图。

然而，上述方法没有考虑兴趣点的周边建筑物的高度，在实景地图中的兴趣点很可能被遮挡，造成实景地图中的兴趣点不可见，从而导致实景地图的可靠性偏低的技术问题。

其中，采用点云估计法生成实景地图主要包括：由采集车搭载点云设备，采集车在行驶时，由点云设备采集点云数据，点云数据包括每一采样点的坐标，由点云设备将采集的点云数据发送给服务器，由服务器根据点云数据进行聚合和分析等数据处理，在预设球模型中载入数据处理后得到的信息，从而绘制得到实景地图。

然而，上述方法需要基于采集车搭载点云设备实现，因此，需要较高成本的硬件支持，且需要通过聚合和分析等数据处理实现，因此，用于数据处理的成本和资源偏高，且由于点云数据的量相对较大，容易造成较大误差，且存在因复杂的数据处理过程而造成的生成实景地图的效率偏低的技术问题。

为了解决上述技术问题中的至少一种，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：根据全景图中的兴趣点的目标框的位置，确定目标框相对于全景图像的相对位置信息，并基于该相对位置信息将目标框嵌入至预设球模型，得到全景球模型，以便对全景球模型渲染得到实景地图。

基于上述发明构思，本公开提供一种实景地图的生成方法、装置及系统，应用于图像处理和数据处理技术领域，具体涉及智能交通和大数据技术，可以应用于自动驾驶和自主泊车等领域，以达到节约资源，提高实景地图的可靠性，满足用户需求。

图1是根据本公开第一实施例的示意图，如图1所示，本公开实施例的实景地图的生成方法，包括：

S101：对获取到的全景图进行识别，得到全景图中的每一兴趣点的目标框。

其中，目标框用于框选兴趣点，且目标框具有位置属性。

兴趣点可以理解为地理信息系统中的对象，如兴趣点可以为房子、商铺、邮筒、以及公交站等。

示例性地，本实施例的执行主体可以为实景地图的生成装置(下文简称生成装置)，生成装置可以为服务器(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等)，也可以为路侧设备，也可以为终端设备，也可以为处理器，还可以为芯片，等等，本实施例不做限定。

其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器，服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信；或者，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。

关于获取全景图，可以采用下述示例实现：

一个示例中，生成装置可以与图像采集装置连接，并接收由图像采集装置发送的全景图。

另一个示例中，生成装置可以提供载入全景图的工具，用户可以通过该载入全景图的工具将全景图传输至生成装置。

其中，载入全景图的工具可以为用于与外接设备连接的接口，如用于与其他存储设备连接的接口，通过该接口获取外接设备传输的全景图；载入全景图的工具也可以为显示装置，如生成装置可以在显示装置上输出具有输入载入全景图功能的界面，用户可以通过该界面将全景图导入至生成装置。

应该说明地是，上述示例只是用于示范性地说明，本实施例可以采用的获取全景图的实施例，而不能理解为对获取全景图的方式的限定。

在一些实施例中，可以采用光学字符识别(Optical Character Recognition，OCR)技术对全景图进行识别，得到全景图中每一兴趣点的目标框。

在另一些实施例中，也可以预先训练用于识别全景图中的各目标框的识别模型，并基于训练得到的识别模型对全景图进行识别，从而得到全景图中每一兴趣点的目标框。

同理，上述示例只是用于示范性地说明，本实施例可以采用的识别全景图的实施例，而不能理解为对识别全景图的方式的限定。

S102：根据各目标框的位置属性，确定各目标框相对于全景图的相对位置信息，并根据各目标框相对于全景图的相对位置信息将各目标框嵌入至预设球模型中，得到全景球模型。

其中，预设球模型与全景球模型为相对概念，预设球模型是指没有嵌入各目标框之前的球模型，全景球模型是指在预设球模型中，嵌入各目标框之后的球模型。

在本实施例中，引入了球模型，并根据各目标框相对于全景图的相对位置信息，将各目标框嵌入至预设球模型中，以得到包括各目标框的全景球模型。

S103：对全景球模型进行渲染，得到实景地图。

基于上述分析可知，本公开实施例提供了一种实景地图的生成方法，包括：对获取到的全景图进行识别，得到全景图中的每一兴趣点的目标框，其中，目标框用于框选兴趣点，且目标框具有位置属性，根据各目标框的位置属性，确定各目标框相对于全景图的相对位置信息，并根据各目标框相对于全景图的相对位置信息将各目标框嵌入至预设球模型中，得到全景球模型，对全景球模型进行渲染，得到实景地图，在本实施例中，引入了：确定各目标框相对于全景图的相对位置信息，并根据各目标框相对于全景图的相对位置信息，将各目标框嵌入至预设球模型中，得到全景球模型，以便基于对全景球模型的渲染，生成实景地图的技术特征，一方面，避免了相关技术中实景地图中的兴趣点可能被遮挡，造成的实景地图的可靠性偏低的技术问题，提高了实景地图的可靠性和实用性的技术效果；另一方面，避免了相关技术中因采用相应设备(如采集车和点云设备)，造成的成本偏高的技术问题，实现了节约资源和成本的技术效果；再一方面，避免了相关技术中基于复杂的数据处理生成实景地图，造成的实景地图的准确性和效率偏低的技术问题，实现了提高实景地图的可靠性和准确性，且提高了生成实景地图的效率的技术效果。

图2是根据本公开第二实施例的示意图，如图2所示，本公开实施例的实景地图的生成方法，包括：

S201：对获取到的全景图进行切图处理，得到多个子图像，并对每一子图像分别进行识别，得到每一子图像中的每一兴趣点的目标框。

其中，目标框用于框选兴趣点，且目标框具有位置属性。

示例性地，关于本实施例的执行主体、全景图的获取、以及对每一子图像的识别的实现原理，可以参见第一实施例，此处不再赘述，

其中，切图处理可以理解为将全景图划分为多个子图像。例如，可以基于预设角度，对全景图进行切图处理，得到多个等分的子图像。

优选地，对切图处理得到的子图像进行平铺处理，以使得被识别的子图像为平铺图像，以便于生成装置对各子图像的识别，从而提高识别的准确性和可靠性，且降低识别成本。

示例性地，结合图3可知，可以以60°为预设角度，对图3中左侧的全景图进行切图处理，得到如图3中右侧所示的6个等分的子图像，该6个子图像为平铺的图像。

其中，图3中所示的X、Y以及Z表示全景图的坐标轴。

当然，生成装置也可以以90°为预设角度，对全景图进行切图处理，得到4个等分的子图像，等等，此处不再一一列举。

示例性地，生成装置对如图3中所示的6个子图像中的阴影子图像进行识别时，可以得到如图4中所示的目标框。

生成装置识别得到的阴影子图像的兴趣点包括3个，分别为如图4中所示的“XX大厦”、“XX文具”、“XX餐饮”，相应地，用于框选每一兴趣点的框即为目标框。

在图4中，1024px(pixel)为1024像素，也即，在本实施例中，图像的像素为1024*1024。相应地，目标框的位置属性可以目标框的像素位置。

值得说明地是，在本实施例中，通过对全景图进行切图处理，得到多个子图像，可以便于生成装置的识别，降低了识别干扰，使得生成装置的识别具有较高的灵活性和准确性的技术效果。

S202：针对每一目标框，确定目标框所属的子图像，并确定目标框相对于目标框所属的子图像的图像相对角度。

在一些实施例中，可以先确定目标框所属的子图像在全景图的所属位置信息，而后根据所属位置信息和目标框的坐标，确定图像相对角度，以通过相对位置转换确定图像相对角度，从而实现确定图像相对角度的灵活性和可靠性的技术效果。

在一些实施例中，所属位置信息包括：目标框所属的子图像相对于全景图的水平方向的视角、目标框所属的子图像相对于全景图的垂直方向的视角；目标框的坐标包括：目标框的对角点的坐标。

根据所属位置信息和目标框的坐标，确定图像相对角度，包括如下步骤：

第一步骤：根据目标框的对角点的坐标，确定目标框的中心点坐标。

示例性地，结合图5所示，目标框的左上角点和右下角点为对角点，左上角点的坐标为minX，右下角点的坐标为minY，则可以通过maxX和maxY计算得到目标框的中心点坐标。

例如，中心点的横坐标＝(maxX-minX)/2，中心点的纵坐标＝(maxY-minY)/2。结合图5，中心点为M，中心点M的坐标为(x，y)，且x＝(maxX-minX)/2，y＝(maxY-minY)/2。

第二步骤：根据中心点坐标、以及目标框所属的子图像相对于全景图的水平方向的视角，确定目标框相对于目标框所属子图像的水平相对角度。

结合图5，水平相对角度β可以通过式1确定，式1：

β＝arctan(H/L)*180/π

其中，L＝(1024/2)*tan((90-fovX/2)*π/180)，fovX为目标框所属的子图像相对于全景图的水平方向的视角。

其中，H＝(minX+maxX)/2-(1024/2)。

第三步骤：根据中心点坐标、以及目标框所属的子图像相对于全景图的垂直方向的视角，确定目标框相对于目标框所属子图像的垂直相对角度，其中，图像相对坐标包括水平相对角度和垂直相对角度。

结合图5，垂直相对角度α可以通过式2确定，式2：

α＝arctan(F/G)*180/π

其中，G＝(1024/2)*tan((90-fovY/2)*π/180)，fovY为目标框所属的子图像相对于全景图的垂直方向的视角。

其中，F＝(minY+maxY)/2-(1024/2)。

如图5所示，目标框所属的子图像相对于全景图的水平方向的视角可以理解为：目标框所属的子图像相对于全景图的水平中心线的视角；目标框所属的子图像相对于全景图的垂直方向的视角可以理解为：目标框所属的子图像相对于全景图的垂直中心线的视角。

基于上述方式确定图像相对角度，充分考虑了子图像与全景图在位置上的关联关系，可以使得图像相对角度具有较高的准确性和可靠性的技术效果。

S203：根据图像相对角度和目标框的坐标，确定目标框相对于全景图的相对位置信息。

结合上述分析，图像相对角度包括水平相对角度，相应地，目标框相对于全景图的相对位置信息包括：目标框相对于全景图的水平方向的相对角度；图像相对角度包括垂直相对角度，相应地，目标框相对于全景图的相对位置信息包括：目标框相对于全景图的垂直方向的相对角度。

值得说明地是，在本实施例中，通过结合图像相对角度和目标框的坐标，确定目标框相对于全景图的相对位置信息，相当于结合目标框与子图像之间的关联关系、以及子图像与全景图之间的关联关系，确定相对于全景图而言，目标框相对于全景图的相对位置信息，可以通过紧密的关联关系，提高确定出的目标框相对于全景图的相对位置信息的准确性和可靠性的技术效果。

S204：确定全景图相对于预设球模型的偏移位置，并根据偏移位置和各目标框相对于全景图的相对位置信息，将各目标框嵌入至预设球模型中，得到全景球模型。

其中，可以以世界坐标系(或者称为大地坐标系)设置预设球模型。由于图像采集装置的原因，可能使得全景图与世界坐标系之间存在偏差，而在本实施例中，通过先确定该偏差(即偏移位置)，并基于该偏差和目标框相对于全景图的相对位置信息，得到全景球模型，可以实现纠偏的效果，从而提高全景球模型的准确性和可靠性的技术效果。

在一些实施例中，可以根据偏移位置和各目标框相对于全景图的相对位置信息，确定将各目标框嵌入至预设球模型的嵌入参数，并根据各目标框对应的嵌入参数将各目标框嵌入至预设球模型，得到全景球模型。

在一些实施例中，偏移位置包括：全景图相对于预设球模型的夹角、以及形成全景图时的俯仰角，根据偏移位置和各目标框相对于全景图的相对位置信息，确定将各目标框嵌入至预设球模型的嵌入参数，包括如下步骤：

第一步骤：针对每一目标框，根据全景图相对于预设球模型的夹角、以及目标框相对于全景图的相对位置信息，确定将目标框嵌入至预设球模型的水平角度。

第二步骤：根据俯仰角、以及目标框相对于全景图的相对位置信息，确定将目标框嵌入至预设球模型的垂直角度。

其中，嵌入参数包括嵌入至预设球模型的水平角度和嵌入至预设球模型的垂直角度。

具体地，结合上述示例，若预设球模型以世界坐标系为基础设置，则可以将预设球模型的正北方向为基础，确定全景图相对于预设球模型的夹角。俯仰角可以理解为图像采集装置采集全景图时的俯仰角。

通过结合全景图相对于预设球模型的夹角、以及俯仰角，确定嵌入参数，可以使得嵌入参数具有较高的可靠性，进而当基于嵌入参数将目标框嵌入至预设球模型时，可以提高全景球模型的准确性和可靠性，进而实现提高全景地图的准确性和可靠性的技术效果。

示例性地，将目标框嵌入至预设球模型的水平角度b＝目标框相对于全景图的水平方向的相对角度+全景图相对于预设球模型的夹角；将目标框嵌入至预设球模型的垂直角度a＝目标框相对于全景图的水平方向的相对角度+俯仰角，示意图可以参阅图6。

S205：对全景球模型进行渲染，得到实景地图。

图7是根据本公开第三实施例的示意图，如图7所示，本公开实施例的实景地图的生成方法，包括：

S701：接收导航请求，导航请求中包括始发地和目的地。

值得说明地是，本实施例的执行主体可以与第一实施例的执行主体相同，也可以与第一实施例的执行主体不同。也即，可以基于生成实景地图的执行主体，执行基于实景地图的导航；也可以由生成实景地图的执行主体生成实景地图之后，由用于导航的执行主体基于实景地图完成导航，本实施例不做限定。

S702：根据始发地和目的地，在实景地图中生成导航路径，导航路径用于表征从始发地至目的地的行驶路线。

其中，实景地图是基于上述第一实施例或第二实施例生成的。

示例性地，可以在实景地图中确定始发地和目的地，并规划得到：从始发地开始，至目的地结束的行驶路线。

S703：输出具有导航路径的实景地图。

结合上述分析，输出具有导航路径的实景地图的方式包括两种，一种为在执行主体上显示具有导航路径的实景地图，另一种为执行主体将具有导航路径的实景地图发送给发送导航请求的终端设备。

值得说明地是，基于上述分析可知，本实施例提供的实景地图具有较高的准确性和可靠性，因此，当基于具有较高准确性和可靠性的实景地图生成导航路径时，可以使得导航路径具有较高的准确性和可靠性，进而可以实现导航的准确性和可靠性。

现结合图8所示的应用场景，以生成全景地图与应用全景地图的执行主体为不相同的执行主体为例进行示范性地说明。

如图8所示，道路801的至少一侧设置有图像采集装置802，图像采集装置802用于采集全景图，并将全景图传输给云服务器803。

云服务器803执行本实施例提供的实景地图的生成方法，生成实景地图，并将实景地图传输给设置于道路801的至少一侧的路侧设备804。

行驶于道路801的车辆805可以接入至路侧设备804，并可以向路侧设备804发送导航请求。

路侧设备804根据导航请求，在实景地图中生成导航路径，并向车辆805发送具有导航路径的实景地图。

车辆805基于具有导航路径的实景地图实现导航。

值得说明地是，上述示例只是用于示范性地说明，本实施例可能适用的应用场景，以及可能涉及的执行主体，而不能理解为对本实施例的应用场景和执行主体的限定。

例如，一个示例中，可以由路侧设备生成实景地图；另一个示例中，车辆可以接入至云服务器，向云服务器发送导航请求，并接收由云服务器反馈的具有导航路径的实景地图；再一个示例中，车辆可以接入至云服务器，云服务器将实景地图下发至车辆，车辆可以基于实景地图，输出具有导航路径的实景地图，等等，此处不再一一列举。

图9是根据本公开第四实施例的示意图，如图9所示，本公开实施例的实景地图的生成装置900，包括：

识别单元901，用于对获取到的全景图进行识别，得到全景图中的每一兴趣点的目标框，其中，目标框用于框选兴趣点，且目标框具有位置属性。

确定单元902，用于根据各目标框的位置属性，确定各目标框相对于全景图的相对位置信息。

嵌入单元903，用于根据各目标框相对于全景图的相对位置信息，将各目标框嵌入至预设球模型中，得到全景球模型。

渲染单元904，用于对全景球模型进行渲染，得到实景地图。

图10是根据本公开第五实施例的示意图，如图10所示，本公开实施例的实景地图的生成装置1000，包括：

识别单元1001，用于对获取到的全景图进行识别，得到全景图中的每一兴趣点的目标框，其中，目标框用于框选兴趣点，且目标框具有位置属性。

结合图10可知，在一些实施例中，识别单元1001包括：

切图子单元10011，用于对全景图进行切图处理，得到多个子图像。

识别子单元10012，用于对每一子图像分别进行识别，得到每一子图像中的每一兴趣点的目标框。

确定单元1002，用于根据各目标框的位置属性，确定各目标框相对于全景图的相对位置信息。

结合图10可知，在一些实施例中，全景图包括多个子图像，目标框的位置属性包括目标框的坐标，确定单元1002包括：

第一确定子单元10021，用于针对每一目标框，确定目标框所属的子图像。

第二确定子单元10022，用于确定目标框相对于目标框所属的子图像的图像相对角度。

在一些实施例中，第二确定子单元10022用于，确定目标框所属的子图像在全景图的所属位置信息，并根据所属位置信息和目标框的坐标，确定图像相对角度。

在一些实施例中，所属位置信息包括：目标框所属的子图像相对于全景图的水平方向的视角、目标框所属的子图像相对于全景图的垂直方向的视角；目标框的坐标包括：目标框的对角点的坐标；第二确定子单元10022用于，根据目标框的对角点的坐标，确定目标框的中心点坐标，根据中心点坐标、以及目标框所属的子图像相对于全景图的水平方向的视角，确定目标框相对于目标框所属子图像的水平相对角度，根据中心点坐标、以及目标框所属的子图像相对于全景图的垂直方向的视角，确定目标框相对于目标框所属子图像的垂直相对角度，其中，图像相对角度包括水平相对角度和垂直相对角度。

第三确定子单元10023，用于根据图像相对角度和目标框的坐标，确定目标框相对于全景图的相对位置信息。

嵌入单元1003，用于根据各目标框相对于全景图的相对位置信息，将各目标框嵌入至预设球模型中，得到全景球模型。

结合图10可知，在一些实施例中，嵌入单元1003，包括：

第四确定子单元10031，用于确定全景图相对于预设球模型的偏移位置。

嵌入子单元10032，用于根据偏移位置和各目标框相对于全景图的相对位置信息，将各目标框嵌入至预设球模型中，得到全景球模型。

在一些实施例中，嵌入子单元10032用于，根据偏移位置和各目标框相对于全景图的相对位置信息，确定将各目标框嵌入至预设球模型的嵌入参数，并根据各目标框对应的嵌入参数将各目标框嵌入至预设球模型，得到全景球模型。

在一些实施例中，全景图相对于预设球模型的夹角、以及形成全景图时的俯仰角；嵌入子单元10032用于，针对每一目标框，根据全景图相对于预设球模型的夹角、以及目标框相对于全景图的相对位置信息，确定将目标框嵌入至预设球模型的水平角度，并根据俯仰角、以及目标框相对于全景图的相对位置信息，确定将目标框嵌入至预设球模型的垂直角度，其中，嵌入参数包括嵌入至预设球模型的水平角度和嵌入至预设球模型的垂直角度。

渲染单元1004，用于对全景球模型进行渲染，得到实景地图。

接收单元1005，用于接收导航请求，导航请求中包括始发地和目的地。

生成单元1006，用于根据始发地和目的地，在实景地图中生成导航路径，导航路径用于表征从始发地至目的地的行驶路线。

输出单元1007，用于输出具有导航路径的实景地图。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如实景地图的生成方法。例如，在一些实施例中，实景地图的生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的实景地图的生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行实景地图的生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本公开实施例的另一个方面，本公开实施例还提供了一种实景地图的生成系统，包括：图像采集装置、以及如上任一实施例所述的实景地图的装置。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种实景地图的生成方法，包括：

对获取到的全景图进行识别，得到所述全景图中的每一兴趣点的目标框，其中，所述目标框用于框选兴趣点，且所述目标框具有位置属性；

根据各所述目标框的位置属性，确定各所述目标框相对于所述全景图的相对位置信息，并根据各所述目标框相对于所述全景图的相对位置信息，将各所述目标框嵌入至预设球模型中，得到全景球模型；

对所述全景球模型进行渲染，得到实景地图；

若所述全景图与所述预设球模型对应的坐标系之间有偏差，则根据各所述目标框相对于所述全景图的相对位置信息，将所述目标框嵌入至预设球模型中，得到全景球模型，包括：

确定所述全景图相对于所述预设球模型的偏移位置；所述偏移位置包括：所述全景图相对于所述预设球模型的夹角以及形成所述全景图时的俯仰角；

根据所述偏移位置和各所述目标框相对于所述全景图的相对位置信息，将各所述目标框嵌入至所述预设球模型中，得到所述全景球模型。

2.根据权利要求1所述的方法，其中，所述全景图包括多个子图像，所述目标框的位置属性包括所述目标框的坐标；根据各所述目标框的位置属性，确定各所述目标框相对于所述全景图的相对位置信息，包括：

针对每一所述目标框，确定所述目标框所属的子图像，并确定所述目标框相对于所述目标框所属的子图像的图像相对角度；

根据所述图像相对角度和所述目标框的坐标，确定所述目标框相对于所述全景图的相对位置信息。

3.根据权利要求2所述的方法，其中，确定所述目标框相对于所述目标框所属的子图像的图像相对角度，包括：

确定所述目标框所属的子图像在所述全景图的所属位置信息，并根据所述所属位置信息和所述目标框的坐标，确定所述图像相对角度。

4.根据权利要求3所述的方法，其中，所述所属位置信息包括：所述目标框所属的子图像相对于所述全景图的水平方向的视角、所述目标框所属的子图像相对于所述全景图的垂直方向的视角；所述目标框的坐标包括：所述目标框的对角点的坐标；根据所述所属位置信息和所述目标框的坐标，确定所述图像相对角度，包括：

根据所述目标框的对角点的坐标，确定所述目标框的中心点坐标；

根据所述中心点坐标、以及所述目标框所属的子图像相对于所述全景图的水平方向的视角，确定所述目标框相对于所述目标框所属子图像的水平相对角度；

根据中心点坐标、以及所述目标框所属的子图像相对于所述全景图的垂直方向的视角，确定所述目标框相对于所述目标框所属子图像的垂直相对角度，其中，所述图像相对角度包括所述水平相对角度和所述垂直相对角度。

5.根据权利要求1所述的方法，其中，根据所述偏移位置和各所述目标框相对于所述全景图的相对位置信息，将各所述目标框嵌入至所述预设球模型中，得到所述全景球模型，包括：

根据所述偏移位置和各所述目标框相对于所述全景图的相对位置信息，确定将各所述目标框嵌入至所述预设球模型的嵌入参数；

根据各所述目标框对应的嵌入参数将各所述目标框嵌入至所述预设球模型，得到所述全景球模型。

6.根据权利要求5所述的方法，其中；根据所述偏移位置和各所述目标框相对于所述全景图的相对位置信息，确定将各所述目标框嵌入至所述预设球模型的嵌入参数，包括：

针对每一所述目标框，根据所述全景图相对于所述预设球模型的夹角、以及所述目标框相对于所述全景图的相对位置信息，确定将所述目标框嵌入至所述预设球模型的水平角度；

根据所述俯仰角、以及所述目标框相对于所述全景图的相对位置信息，确定将所述目标框嵌入至所述预设球模型的垂直角度，其中，所述嵌入参数包括嵌入至所述预设球模型的水平角度和嵌入至所述预设球模型的垂直角度。

7.根据权利要求1至6中任一项所述的方法，其中，对获取到的全景图进行识别，得到所述全景图中的每一兴趣点的目标框，包括：

对所述全景图进行切图处理，得到多个子图像，并对每一所述子图像分别进行识别，得到每一所述子图像中的每一兴趣点的目标框。

8.根据权利要求1至6中任一项所述的方法，还包括：

接收导航请求，所述导航请求中包括始发地和目的地；

根据所述始发地和所述目的地，在所述实景地图中生成导航路径，所述导航路径用于表征从所述始发地至所述目的地的行驶路线；

输出具有导航路径的实景地图。

9.一种实景地图的生成装置，包括：

识别单元，用于对获取到的全景图进行识别，得到所述全景图中的每一兴趣点的目标框，其中，所述目标框用于框选兴趣点，且所述目标框具有位置属性；

确定单元，用于根据各所述目标框的位置属性，确定各所述目标框相对于所述全景图的相对位置信息；

嵌入单元，用于根据各所述目标框相对于所述全景图的相对位置信息，将各所述目标框嵌入至预设球模型中，得到全景球模型；

渲染单元，用于对所述全景球模型进行渲染，得到实景地图；

所述嵌入单元，包括：

第四确定子单元，用于若所述全景图与所述预设球模型对应的坐标系之间有偏差，则确定所述全景图相对于所述预设球模型的偏移位置；所述偏移位置包括：所述全景图相对于所述预设球模型的夹角以及形成所述全景图时的俯仰角；

嵌入子单元，用于根据所述偏移位置和各所述目标框相对于所述全景图的相对位置信息，将各所述目标框嵌入至所述预设球模型中，得到所述全景球模型。

10.根据权利要求9所述的装置，其中，所述全景图包括多个子图像，所述目标框的位置属性包括所述目标框的坐标；所述确定单元，包括：

第一确定子单元，用于针对每一所述目标框，确定所述目标框所属的子图像；

第二确定子单元，用于确定所述目标框相对于所述目标框所属的子图像的图像相对角度；

第三确定子单元，用于根据所述图像相对角度和所述目标框的坐标，确定所述目标框相对于所述全景图的相对位置信息。

11.根据权利要求10所述的装置，其中，所述第二确定子单元用于，确定所述目标框所属的子图像在所述全景图的所属位置信息，并根据所述所属位置信息和所述目标框的坐标，确定所述图像相对角度。

12.根据权利要求11所述的装置，其中，所述所属位置信息包括：所述目标框所属的子图像相对于所述全景图的水平方向的视角、所述目标框所属的子图像相对于所述全景图的垂直方向的视角；所述目标框的坐标包括：所述目标框的对角点的坐标；所述第二确定子单元用于，根据所述目标框的对角点的坐标，确定所述目标框的中心点坐标，根据所述中心点坐标、以及所述目标框所属的子图像相对于所述全景图的水平方向的视角，确定所述目标框相对于所述目标框所属子图像的水平相对角度，根据中心点坐标、以及所述目标框所属的子图像相对于所述全景图的垂直方向的视角，确定所述目标框相对于所述目标框所属子图像的垂直相对角度，其中，所述图像相对角度包括所述水平相对角度和所述垂直相对角度。

13.根据权利要求9所述的装置，其中，所述嵌入子单元用于，根据所述偏移位置和各所述目标框相对于所述全景图的相对位置信息，确定将各所述目标框嵌入至所述预设球模型的嵌入参数，并根据各所述目标框对应的嵌入参数将各所述目标框嵌入至所述预设球模型，得到所述全景球模型。

14.根据权利要求13所述的装置，其中，所述嵌入子单元用于，针对每一所述目标框，根据所述全景图相对于所述预设球模型的夹角、以及所述目标框相对于所述全景图的相对位置信息，确定将所述目标框嵌入至所述预设球模型的水平角度，并根据所述俯仰角、以及所述目标框相对于所述全景图的相对位置信息，确定将所述目标框嵌入至所述预设球模型的垂直角度，其中，所述嵌入参数包括嵌入至所述预设球模型的水平角度和嵌入至所述预设球模型的垂直角度。

15.根据权利要求9至14中任一项所述的装置，其中，所述识别单元，包括：

切图子单元，用于对所述全景图进行切图处理，得到多个子图像；

识别子单元，用于对每一所述子图像分别进行识别，得到每一所述子图像中的每一兴趣点的目标框。

16.根据权利要求9至14中任一项所述的装置，还包括：

接收单元，用于接收导航请求，所述导航请求中包括始发地和目的地；

生成单元，用于根据所述始发地和所述目的地，在所述实景地图中生成导航路径，所述导航路径用于表征从所述始发地至所述目的地的行驶路线；

输出单元，用于输出具有导航路径的实景地图。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至8中任一项所述的方法。

20.一种实景地图的生成系统，包括：图像采集装置、以及如权利要求9至16中任一项所述的装置。