CN117870716A - 地图兴趣点的显示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种地图兴趣点的显示方法、装置、电子设备及存储介质，该方法包括：获取车辆在当前环境所采集的传感器数据集，其中，传感器数据集中包括多帧的传感器数据；对传感器数据集进行特征提取获得传感器数据集对应的目标特征，并根据目标特征确定车辆的姿态信息；根据姿态信息和传感器数据集进行地图构建，获得目标地图；在目标地图中提取兴趣点，并确定兴趣点在目标地图中的位置信息；根据位置信息确定兴趣点的显示信息，并将显示信息发送至头显设备中，以使头显设备根据显示信息对兴趣点进行显示。本申请能够解决车内乘客因汽车座舱的环境约束，无法便捷知悉途径的周围建筑物信息的问题，提高兴趣点的显示便捷性和显示速度。

Description

地图兴趣点的显示方法、装置、电子设备及存储介质

技术领域

本申请涉及电子地图领域，更具体地，涉及一种地图兴趣点的显示方法、装置、电子设备及存储介质。

背景技术

随着科技的快速发展，增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)等在各领域中广泛应用，在汽车技术领域中不可避免会使用到电子地图，因此兴趣点在电子地图中的显示、更新方法也得到了越来越多的关注。目前针对汽车行驶过程中，周围建筑信息说明只能通过汽车车机系统上导航系统显示的兴趣点信息说明或者通过人眼向外望捕捉周围建筑或路标显示的信息理解相关建筑的名字信息，以此导致车内乘客尤其是后排用户因汽车座舱的环境约束，无法及时知悉途径的周围建筑物信息，因此，如何及时显示兴趣点成为亟待解决的问题。

发明内容

有鉴于此，本申请实施例提出了一种地图兴趣点的显示方法、装置、电子设备及存储介质，以改善上述问题。

根据本申请实施例的第一个方面，提供了一种地图兴趣点的显示方法，所述方法包括：获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据；对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息；根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图；在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息；根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

根据本申请实施例的第二个方面，提供了一种地图兴趣点的显示装置，所述装置包括：传感数据获取模块，用于获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据；姿态信息确定模块，用于对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息；目标地图确定模块，用于根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图；位置信息确定模块，用于在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息；兴趣点显示模块，用于根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

根据本申请实施例的第三个方面，提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述地图兴趣点的显示方法。

根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上所述地图兴趣点的显示方法。

在本申请的方案中，通过对获取到的车辆在当前环境所采集的传感数据集进行特征提取来确定传感器数据集对应的目标特征，以此能够根据目标特征来确定车辆的姿态信息，进而根据车辆的姿态信息和传感器数据集来进行地图构建得到目标地图，以此能够在目标地图中进行兴趣点提取得到兴趣点在目标地图中的位置信息，进而能够根据兴趣点在目标地图中的位置信息来确定兴趣点的显示信息，以此车辆能够将确定的兴趣点的显示信息发送至头显设备中，头显设备基于接收到的显示信息对兴趣点进行显示。本申请的方案实现了将虚拟现实、及时地图构建技术和兴趣点提取技术结合在一起，使的用户能够通过头显设备及时感知兴趣点并与兴趣点进行实时互动，为用户提供了更丰富和沉浸的体验，并且能够解决车内乘客因汽车座舱的环境约束，无法便捷知悉途径的周围建筑物信息的问题，提高兴趣点的显示便捷性和显示速度。

应当理解的是，以上的一般描述和后文细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请一实施例示出的地图兴趣点的显示方法的应用场景。

图2是根据本申请一实施例示出的地图兴趣点的显示方法的流程示意图。

图3是根据本申请另一实施例示出的地图兴趣点的显示方法的流程示意图。

图4是根据本申请一实施例示出的步骤330的具体步骤的流程示意图。

图5是根据本申请又一实施例示出的地图兴趣点的显示方法的流程示意图。

图6是根据本申请一实施例示出的步骤470的具体步骤的流程示意图。

图7是根据本申请还一实施例示出的地图兴趣点的显示方法的流程示意图。

图8是根据本申请一实施例示出的地图兴趣点的显示装置的框图。

图9是根据本申请一实施例示出的电子设备的硬件结构图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限值本发明构思的范围，而是通过特定实施例为本领域计算书人员说明本发明的概念。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1是根据本申请一实施例示出的地图兴趣点的显示方法的应用场景，在本场景中包括车辆110和头显设备120，车辆110的控制他获取车辆110在当前环境所采集的传感器数据集，然后将传感器数据集发送至车辆110的信息娱乐系统中，有信息娱乐系统对接收到的传感器数据集进行特征提取获得传感器数据集对应的目标特征，并根据目标特征确定车辆110的姿态信息，然后根据车辆110的姿态信息和传感器数据集进行地图构建，获得目标地图，以此能够在目标地图中提取兴趣点，并确定兴趣点在目标地图中的位置信息，最后根据兴趣点在目标地图中的位置信息确定兴趣点的显示信息，并将显示信息发送至头显设备120中，以使头显设备120根据显示信息对兴趣点进行显示。

请参阅图2，图2示出了本申请一实施例提供的地图兴趣点的显示方法，在具体的实施例中，该地图兴趣点的显示方法可以应用于如图8所示的地图兴趣点的显示装置600以及配置有地图兴趣点的显示装置600的电子设备700(图9)。下面将说明本实施例的具体流程，当然，可以理解的，该方法可以由具备计算处理能力的云服务器执行。下面将针对图2所示的流程进行详细的阐述，所述地图兴趣点的显示方法具体可以包括以下步骤：

步骤210，获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据。

作为一种方式，可预先在车辆上安装所需的传感器，以此便于可直接获取传感器在当前环境所采集的传感器数据集。可选的，传感器可以是激光雷达传感器、图像传感器(例如摄像头)等。可选的，多帧的传感器数据可以是连续的多帧传感器数据。

可选的，针对不同类型的传感器可设置于车辆的不同位置，以此便于传感器采集环境数据，并且在不同角度的不同类型的传感器所采集的数据更加适合。可选的，激光雷达传感器可设置于车辆的车顶处，以此获取较好的环境覆盖范围，使得采集的激光雷达传感数据集更加广泛；图像采集传感器可设置于车辆的前部或车辆的侧面，以此捕捉环境图像得到图像数据集。

可选的，在使用传感器采集车辆在当前环境对应的传感器数据集之前，需要对传感器进行校准，例如，针对图像传感器在使用之前可以对图像传感器进行标定以此确定图像传感器的内参和外参；针对激光雷达传感器，对激光雷达传感器进行校准以此对激光雷达传感器进行角度补偿、畸变校正和惯性测量单元的误差校正等，以此保传感器数据集的准确性。

步骤220，对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息。

作为一种方式，在获取了传感器数据集后，可将传感器数据集输入至神经网络中，由神经网络对输入的传感器数据集进行特征提取，输出目标特征，以此确而定目标特征。其中，神经网络可以是用于进行特征提取的神经网络，该神经网络可以是由循环神经网络、全连接神经网络、卷积神经网络以及反馈神经网络等，可根据实际需要来设置神经网络的类型，在此不做具体限定。可选的，在应用该神经网络之前，可先对神经网络进行训练，以此保证神经网络对目标特征进行识别和提取的准确性，进而保证目标特征的准确性。

可选的，可预先设置关注的特征，用户可根据需求设置关注的特征，例如，若用户关注车辆所在当前环境的建筑，则可将几何信息设置为关注的特征，以此神经网络可根据设置的几何信息来进行特征提取得到目标特征。

作为一种方式，在确定了传感器数据集中各传感器数据对应的目标特征后，可根据特征跟踪的方法确定传感器数据集中连续多帧的传感器数据对应的目标特征的图像位置信息，以此能够估计传感器的运动轨迹和相邻帧传感器数据之间的目标特征的匹配信息(即目标特征的移动距离等)，以此能够根据特征点的匹配信息和传感器的运动轨迹进行姿态估计来确定车辆的姿态信息。

可选的，在确定了目标特征的匹配信息后，可根据匹配信息中目标特征的图像位置信息和移动距离来将目标特征进行二维到二维的转换，以此来确定传感器的姿态信息，或者可以根据目标特征点三维到二维的转换来确定传感器的位姿信息，也可以是通过直接发来进行位姿估计，确定传感器的位姿信息。

可选的，在确定了传感器的位姿信息后，可获取传感器与车辆之间的位置关系，然后根据该位置关系和传感器的位姿关系确定车辆的位姿信息。

步骤230，根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图。

作为一种方式，在确定了车辆的姿态信息后，可根据车辆的姿态信息和传感器数据集根据即时定位或地图构建技术(simultaneous localization and mapping，SLAM)来进行地图构建。可选的，在使用SLAM进行地图构建之前，可以预先选择SLAM框架，以此便于运行所选择的SLAM来进行地图构建。其中，可根据车辆的传感器以及头显装置来确定可以兼容运行的SLAM框架，以此确保SLAM框架能够处理传感器所采集的传感数据对应的数据类型和数据格式，并且能够将确定的地图显示于头显设备中。可选的，常用的SLAM框架包括ORB-SLAM、LSD-SLAM、RTAB-Map和Cartographer，在本实施例中，可选择Cartographer作为本申请的SLAM框架，使得适用于各种应用场景，包括室内导航、机器人探索、地图构建等。同时其能够有效地融合多种传感器数据，如激光雷达、相机、惯性测量单元(IMU)等。通过SLAM框架能够利用多个传感器的信息，以及提供更准确的环境建模和定位结果。并且，Cartographer采用先进的优化算法，能够实现高度精确的定位和建图，同时使用回环检测和后端优化等技术，可以纠正误差并提高地图的一致性和精度；Cartographer还具有良好的实时性能，能够在实时应用中提供快速而稳定的定位和建图。它经过优化和并行化处理，能够在较短的时间内生成高质量的地图，并在运行时实时更新地图和定位信息；Cartographer具有清晰的应用程序编程接口(Application Programming Interface，API)和文档，便于使用和集成到现当前系统中，并且提供了丰富的配置选项和参数，可以根据具体需求进行调整和优化，保证了确定的目标地图的准确性。

可选的，可通过三角化的方法来确定目标特征对应的三维信息，然后根据目标特征的三维信息进行地图构建，以此获取目标地图。其中，目标地图可以是三维地图。

可选的，在根据车辆的姿态信息和传感器数据集进行地图构建时，可先确定目标特征对应的三维信息，然后获取车辆的车载地图数据，在车载地图数据中确定与目标特征对应的三维信息之间的距离小于距离阈值的三维点，以此在车载地图数据中添加目标特征对应的三维信息，以此获得目标地图。

步骤240，在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息。

兴趣点(Polnt of Information，POI)泛指互联网电子地图中的点类数据，可包括名称、地址、坐标、类别四个属性。可选的，兴趣点可以是指用户关注的地址点或由地图客户端基于用户的使用记录所确定的用户常用地址，兴趣点也可以是商铺在地图中的位置的点等，可根据实际需要来设置兴趣点，在此不做具体限定。

作为一种方式，可先获取车辆的导航信息，以此根据车辆的导航信息在目标地图中提取兴趣点。可选的，可以是对目标地图中的建筑物信息进行提取兴趣点，也可以是对目标地图中的地标或特定位置进行提取兴趣点。

可选的，在目标地图中提取了兴趣点后，可在目标地图中兴趣点的三维坐标信息确定的兴趣点的位置信息。

步骤250，根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

作为一种方式，在确定了兴趣点的位置信息后，可以获取用户预先设置的兴趣点的显示形式，以此能够根据兴趣点的显示形式和兴趣点的位置信息来生成兴趣点的显示信息，以此确定兴趣点的显示信息。

可选的，头显设备可以是虚拟现实眼镜等头戴式显示器，头显设备与车辆通信连接，以此能够使得头显设备及时接收到车辆所发送的兴趣点的显示信息，进而头显设备能够根据显示信息来对兴趣点进行显示。可选的，显示信息中可包括兴趣点的显示类型以及具体显示参数，其中，显示类型可以指示兴趣点进行二维点显示或三维几何模型显示等，显示参数可以包括兴趣点的大小、颜色、字体等。

可选的，在头显设备中根据显示信息显示兴趣点时，可根据头显设备的位姿信息调整目标地图的显示比例尺、旋转角度、缩放级别等参数，以此提高用户的体验和兴趣点的可视化效果。

在本申请的实施例中，通过对获取到的车辆在当前环境所采集的传感数据集进行特征提取来确定传感器数据集对应的目标特征，以此能够根据目标特征来确定车辆的姿态信息，进而根据车辆的姿态信息和传感器数据集来进行地图构建得到目标地图，以此能够在目标地图中进行兴趣点提取得到兴趣点在目标地图中的位置信息，进而能够根据兴趣点在目标地图中的位置信息来确定兴趣点的显示信息，以此车辆能够将确定的兴趣点的显示信息发送至头显设备中，头显设备基于接收到的显示信息对兴趣点进行显示，实现了将虚拟现实、及时地图构建技术和兴趣点提取技术结合在一起，使的用户能够通过头显设备及时感知兴趣点并与兴趣点进行实时互动，为用户提供了更丰富和沉浸的体验，并且能够解决车内乘客因汽车座舱的环境约束，无法便捷知悉途径的周围建筑物信息的问题，提高兴趣点的显示便捷性和显示速度。

请参阅图3，图3示出了本申请一实施例提供的地图兴趣点的显示方法。在本实施例中，所述传感器数据集包括图像数据集，下面将针对图3所示的流程进行详细的阐述，所述地图兴趣点的显示方法具体可以包括以下步骤：

步骤310，获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据。

步骤320，对所述图像数据集进行特征提取，获得所述图像数据集对应的目标图像特征。

作为一种方式，在对图像数据集进行特征提取之前，可先对图像数据集进行预处理，可以是对图像数据集进行去除噪声、过滤异常值，并进行传感器数据融合等操作，以此对图像数据集进行预处理。

可选的，可对图像数据集进行数据校准、数据对齐、噪声过滤、异常值检测和修复、数据格式转换和数据降采样等操作来对图像数据集进行预处理。其中，对图像数据集进行数据校准可以是在采集图像数据集之前通过对图像传感器进行内外参数标定，以此获得图像传感器准确的畸变校正。

对图像数据集进行数据对齐可以是在使用多个传感器的情况下，将多个传感器所采集的图像数据根据采集的时间戳来进行时间同步，以此确保多个图像传感器所采集的图像数据在时间上保持一致，可选的，时间戳同步可以通过硬件同步或通过使用时间戳标定和校准算法来实现。

由于传感器数据通常会包含噪声，对于准确的SLAM定位和地图构建来说，可以进行噪声过滤，对图像数据集进行噪声过滤可以是滑动窗口平均、高斯滤波、中值滤波等方法来进行，针对不同的传感器类型和特点，可选择合适的噪声过滤算法来进行噪声类别，以此降低噪声对传感数据集的影响，进而提高确定的目标地图的准确性。可选的，若传感器数据集为点云数据集，则可根据点云数据的特征以及噪声的类型和强度来确定点云数据的噪声过滤方法，例如，使用高斯滤波通过使用高斯核函数来平滑点云数据，减小噪声的影响；通过调整高斯核的大小，可以平衡去噪和保留细节之间的权衡。

由于传感器数据可能存在异常值，例如传感器错误、漂移或遮挡导致的不一致导致的传感器数据异常，可对图像数据集进行异常值检测和修复来减少异常值。对图像数据进行异常值检测和修复可以是通过颜色空间阈值方法、纹理分析、形状分析、统计法、密度法和距离法等方法来实现，可选的，不同类型的传感器数据集的异常值检测方法不同，可根据传感器数据集的数据类型来设置对应的异常值检测方法，可选的，可通过删除异常值，将其从数据中剔除、用邻近值进行插值，用邻近点的值来替代异常值以及通过颜色校正或位置校正来修复异常值等方法来实现异常值修复。

为了保证目标地图的准确性，对图像数据集进行数据格式转化可以是将图像数据集转换为适合SLAM系统的格式，例如，可根据使用的SLAM框架和算法，将图像数据集数据转换为图像序列的特定格式，可选的，激光雷达传感数据可以转换为点云格式，IMU传感数据可以转换为IMU测量序列格式。

由于传感器所采集的数据量较大，可以对图像数据集进行数据降采样，以此减少数据量，加壳处理速度，可通过随机采样、体素滤波等方法实现降采样。

作为一种方式，可通过识别神经网络来对图像数据集进行特征提取，其中，识别神经网络用于识别目标图像特征的神经网络。为了保证识别结果的准确性，即目标图像特征的准确性，需要预先将识别神经网络进行训练。具体的，预先构建样本集合，该样本集合包括多个样本图像和样本图像的标签信息，其中，样本图像的标签信息用于指示该样本图像的目标图像特征在样本图像中的位置信息。

在训练过程中，将各样本图像输入至识别神经网络中，进行图像特征的提取，输出对应于各样本图像所对应目标图像特征，得到识别结果。

之后基于样本图像的标签信息和各样本图像对应的样本识别结果计算损失函数的损失值，如果该损失值不收敛，则反向识别神经网络的参数，并通过调整参数后的识别神经网络再次针对各样本图像输出样本识别结果，并再次计算损失函数的损失值，直至该损失值收敛。

步骤330，基于特征跟踪方法确定所述目标图像特征在所述图像数据集中的图像位置信息，并根据所述图像位置信息确定采集所述图像数据集的传感器的位姿信息。

作为一种方式，在确定目标图像特征后，可基于特征跟踪方法确定目标图像特征在图像数据集中的各图像数据的图像位置信息，可以理解的是，该图像位置信息是二维信息，然后可通过SLAM算法中的二维到二维的位姿估计来确定采集图像数据集的传感器的位姿信息。可选的，可先通过对极约束法求解出本质矩阵，然后对本质矩阵进行奇异值分解(SVD)，以此求得传感器的旋转矩阵和平移矩阵，进而将旋转矩阵和平移矩阵确定为采集图像数据集的传感器的位姿信息。

在一些实施例中，如图4所示，所述步骤330包括：

步骤331，对所述图像数据集进行特征提取获得所述图像数据集对应的目标图像特征，并确定所述目标图像特征在所述图像数据集包括的多帧的图像数据中的像素点。

作为一种方式，由于在同一传感器所采集的多帧图像中同一物体的亮度不变，其对应的目标图像特征的亮度不变，进而可根据光流法跟踪目标图像特征在多帧的图像中的像素点，并根据像素点在相邻帧图像数据中的位置变化较小的原理来确定采集图像数据集的传感器的位姿信息。

步骤332，基于特征跟踪方法确定相邻的图像数据中所述目标特征对应的像素点之间的像素距离，所述像素距离为所述像素点在相邻的图像数据中的移动距离。

作为一种方式，由于相邻的图像数据中目标图像特征对应的像素点的运动是连续的，可通过确定相邻的图像数据中目标图像特征对应的像素点的移动距离来确定采集所述图像数据集的传感器的位姿信息。

步骤333，根据所述像素距离确定采集所述图像数据集的传感器的位姿信息。

作为一种方式，在确定了像素距离，可通过对像素距离进行泰勒展开以此确定像素点在图像坐标系中的不同方向上的移动速度，然后以目标图像特征为中心，将预测范围内的其他像素点也进行特征根据确定相邻的图像数据中像素点的像素距离，以此确定关于像素点在图像坐标系中的不同方向上的移动速度的超定方程组，然后根据线性最小二乘求解得到目标特征点的位姿变化，然后，基于SLAM中的三维重建方法根据目标特征点的位姿变化确定传感器的位姿信息。

请继续参阅图3，步骤340，获取所述车辆与所述传感器之间的位置关系，并根据所述位置关系和所述传感器的位姿信息确定所述车辆的位姿信息。

作为一种方式，在确定了传感器的位姿信息后，获取对传感器进行标定时所确定标定参数，该标定参数中包括了车辆与传感器之间的位置关系，该位置关系可以是传感器的外参，以此能够根据车辆与传感器之间的位置关系和传感器的位姿信息来确定车辆的位姿信息。

步骤350，根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图。

步骤360，在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息。

步骤370，根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

其中，步骤310和步骤350-步骤370的具体步骤描述可参阅步骤210和步骤230-步骤250，在此不再进行赘述。

在本实施例中，通过对图像数据进行特征提取确定目标图像特征，以此能够利用特征跟踪法确定目标图像特征在图像数据中的图像位置信息，进而能够根据图像位置信息确定传感器的位姿信息，最后根据车辆与传感器之间的位置关系来确定车辆的位姿信息，以此能够根据车辆的位姿信息来进行地图构建，以此能够实现实时根据采集的传感器数据信息进行SLAM地图构建，保证了目标地图的实时性，提高兴趣点的准确性。

请参阅图5，图5示出了本申请一实施例提供的地图兴趣点的显示方法。下面将针对图5所示的流程进行详细的阐述，所述地图兴趣点的显示方法具体可以包括以下步骤：

步骤410，获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据。

步骤420，对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息。

步骤430，根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图。

步骤440，在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息。

步骤450，获取所述车辆的导航路径。

作为一种方式，可通过在车辆的车载导航系统中来获取车辆的导航路径，也可以是在于车辆通信连接的导航设备中来获取车辆的导航路径。可选的，该导航路径可以是在用户输入目的地后，根据目的地的位置和车辆的当前位置所生成的路径，在生成多条路径后，基于用户的路径选择操作来确定导航路径。

步骤460，根据所述导航路径和所述位置信息确定所述兴趣点的显示位置。

作为一种方式，在获取了导航路径后，根据兴趣点的位置信息在导航路径中确定兴趣点的显示位置。例如，在获取了导航路径中，兴趣点的位置信息为B，则在导航路径确定B对应的位置，并根据导航路径中的B位置和车辆的当前位置信息来确定B位置与车辆当前位置之间的相对距离，以此根据该相对距离来确定兴趣点的显示位置。

步骤470，获取所述兴趣点的显示方式，并根据所述显示方式和所述显示位置确定所述兴趣点的显示信息。

作为一种方式，可预先设置兴趣点的显示方式，并将兴趣点的显示方式存储于车辆处理器或与车辆通信连接的电子设备中，以此可直接在电子设备中获取兴趣点的显示方式。可选的，显示方式可包括三维显示和二维显示，可根据用户的设置来获取兴趣点的显示方式。

可选的，在确定兴趣点的显示方式后，可根据兴趣点的显示形式确定兴趣点的显示参数，以此能够根据显示参数和兴趣点的显示位置来确定兴趣点的显示信息。

在一些实施例中，如图6所示，所述步骤470包括：

步骤471，若所述显示方式为三维模型显示，则确定所述兴趣点的目标显示类型。

作为一种方式，可通过将兴趣点表示为三维模型或三维对象，以此能够在头显设备中的虚拟场景中进行渲染和呈现。可选的，可预先设置不同类型兴趣点各自对应的显示类型，在确定兴趣点的显示方式为三维模型显示后，先确定兴趣点的类型，以此根据兴趣点的类型来确定兴趣点的目标显示类型。例如，若兴趣点的类型为商场，则确定兴趣点的目标显示类型为立体商场显示。

步骤472，基于显示类型和三维模型之间的映射关系，确定所述目标显示类型对应的目标三维模型。

作为一种方式，可预先设置多个显示类型与多个三维模型之间的映射关系，以此能够在确定兴趣点的目标显示类型后，基于该映射关系确定目标显示类型对应的目标三维模型。例如，若确定目标显示类型为地标显示，则基于该映射关系确定目标三维模型为地标三维模型；若确定目标显示类型为建筑显示，则基于该映射关系确定目标三维模型为几何建筑三维模型，其中，不同建筑类型对应有不同的几何建筑三维模型。

步骤473，根据所述显示位置和所述目标三维模型确定所述兴趣点的显示信息。

作为一种方式，在确定兴趣点的目标三维模型后，可根据目标三维模型的渲染信息、视觉参数信息以及兴趣点的显示位置来确定兴趣点的显示信息。其中，渲染信息包兴趣点的渲染颜色、渲染深度、渲染透明度等，视觉参数信息包括目标三维模型显示的光晕、光柱、光线效果等。

可选的，显示信息还包括目标三维模型的显示比例和大小，可根据地图对应的缩放比例来确定目标三维模型的显示比例和大小，可选的，还可根据头显设备中的虚拟场景来确定目标三维模型的显示比例和大小，以此确保用户能够在头显设备中清楚地看到并识别兴趣点。

在另一些实施例中，所述步骤470还包括：若所述显示方式为标记显示，则确定所述兴趣点的属性信息；根据所述属性信息确定所述兴趣点的目标标记；根据所述目标标记和所述显示位置确定所述兴趣点的显示信息。

作为一种方式，标记显示为在目标地图中将兴趣点以二维信息或三维信息的形式进行显示，能够提高显示信息的确定，并且能够在头显设备中快速将兴趣点进行显示。其中，标记显示可以是在目标地图中或头显设备的虚拟场景/增强显示场景中添加标记或标签，以此对兴趣点进行显示。

可选的，兴趣点的属性信息可以包括兴趣点的名称、描述、坐标信息以及兴趣点的描述信息等。

作为一种方式，在确定兴趣点的属性信息后，可将属性信息添加兴趣点的参考标记中来确定兴趣点的目标标记，其中，参考标记为不携带任何信息的二维纹理或三维纹理，可将兴趣点的属性信息添加至参考标记中来生成携带有兴趣点的属性信息的目标标记。

作为一种方式，在确定兴趣点的目标标记后，可根据兴趣点的显示位置和兴趣点的目标标记来生成显示信息，其中，显示信息包括了目标标记的大小和比例，显示位置可以是目标标记在目标地图或头显设备的虚拟现实场景/增强显示场景中的位置。

可选的，在头显设备根据显示信息对兴趣点进行显示之间，可根据头显设备的性能和显示要求，使用合适的图形优化技术来提高兴趣点的可视化效果，可他通过多边形减少、LOD(层次细节)管理、纹理压缩等技术来实现，以此确保在头显设备能够显示大量的兴趣点。

请继续参阅图5，步骤480，将所述显示信息发送至所述头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

其中，步骤410-步骤440和步骤480的具体步骤描述可参阅步骤210-步骤250，在此不再进行赘述。

在本实施例中，可通过在车辆的导航路径中和兴趣点的位置信息来确定兴趣点的显示位置，进而能够根据获取的兴趣点的显示方式和显示位置来确定兴趣点的显示信息，以此能够将显示信息发送至头显设备中，以此保证了兴趣点的在头显设备中的显示，提高用户体验感。

请参阅图7，图7示出了本申请一实施例提供的地图兴趣点的显示方法。下面将针对图7所示的流程进行详细的阐述，所述地图兴趣点的显示方法具体可以包括以下步骤：

步骤510，获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据。

步骤520，对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息。

步骤530，根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图。

步骤540，在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息。

步骤550，根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

其中，步骤510-步骤550的具体步骤描述可参阅步骤210-步骤250，在此不再进行赘述。

步骤560，响应于针对所述兴趣点的选择操作确定目标兴趣点。

作为一种方式，用户可以通过点击、拖拽或长按等操作来选择兴趣点，以此车辆能够响应于兴趣点的选择操作来确定目标兴趣点。可选的，用户还可通过手柄或手势控制来选择选择、点击或操纵兴趣点，其中，可通过头显设备的控制器或手部追踪功能来实现。

步骤570，获取所述目标兴趣点在所述目标地图中的目标位置信息。

作为一种方式，在确定目标兴趣点后，可直接在目标地图中确定目标兴趣点在目标地图中的目标位置信息。可选的，还可以是在头显设备中先确定虚拟地图中目标兴趣点的位置，然后将虚拟地图中目标兴趣点的位置发送至车辆，车辆根据虚拟地图与目标地图之间的关系来确定目标兴趣点在目标地图中的目标位置信息。

步骤580，根据所述目标位置信息进行路径规划获得所述车辆的目标路径，以使所述车辆根据所述目标路径行驶至所述目标兴趣点。

作为一种方式，在确定目标兴趣点的目标位置信息后，车辆的导航系统可根据目标位置信息和车辆的当前位置信息进行路径规划，以此来确定车辆的目标路径，进而，在车辆的车机大屏或与车辆通信连接的电子设备中显示该目标路径，以此驾驶员能够根据目标路径进行行驶，以此能够使得车辆行驶至目标兴趣点。

在本实施例中，通过响应兴趣点的选择操作来确定目标兴趣点，以此能够根据目标兴趣点在目标地图中的目标位置信息来进行路径规划，得到目标路径，使得车辆能够根据目标路径进行行驶，并行驶至目标兴趣点，以此保证用户能够实现对兴趣点的交互，以此提高用户体验感。

图8是根据本申请一实施例示出的地图兴趣点的显示装置的框图，如图8所示，该地图兴趣点的显示装置600包括：传感数据获取模块610、姿态信息确定模块620、目标地图确定模块630、位置信息确定模块640和兴趣点显示模块650。

传感数据获取模块610，用于获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据；姿态信息确定模块620，用于对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息；

目标地图确定模块630，用于根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图；位置信息确定模块640，用于在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息；兴趣点显示模块650，用于根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

在一些实施例中，所述传感器数据集包括图像数据集，所述传感数据获取模块610包括：特征提取子模块，用于对所述图像数据集进行特征提取，获得所述图像数据集对应的目标图像特征；第一位姿信息确定子模块，用于基于特征跟踪方法确定所述目标图像特征在所述图像数据集中的图像位置信息，并根据所述图像位置信息确定采集所述图像数据集的传感器的位姿信息；第二位姿信息确定子模块，用于获取所述车辆与所述传感器之间的位置关系，并根据所述位置关系和所述传感器的位姿信息确定所述车辆的位姿信息。

在一些实施例中，所述第一位姿信息确定子模块包括：像素点确定单元，用于对所述图像数据集进行特征提取获得所述图像数据集对应的目标图像特征，并确定所述目标图像特征在所述图像数据集包括的多帧的图像数据中的像素点；像素距离确定单元，用于基于特征跟踪方法确定相邻的图像数据中所述目标特征对应的像素点之间的像素距离，所述像素距离为所述像素点在相邻的图像数据中的移动距离；位姿确定单元，用于根据所述像素距离确定采集所述图像数据集的传感器的位姿信息。

在一些实施例中，所述兴趣点显示模块650包括：导航路径确定子模块，用于获取所述车辆的导航路径；显示位置确定子模块，用于根据所述导航路径和所述位置信息确定所述兴趣点的显示位置；显示信息确定子模块，用于获取所述兴趣点的显示方式，并根据所述显示方式和所述显示位置确定所述兴趣点的显示信息；兴趣点显示子模块，用于将所述显示信息发送至所述头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

在一些实施例中，所述显示信息确定子模块包括：目标显示类型确定单元，用于若所述显示方式为三维模型显示，则确定所述兴趣点的目标显示类型；目标三维模型确定单元，用于基于显示类型和三维模型之间的映射关系，确定所述目标显示类型对应的目标三维模型；显示信息第一确定单元，用于根据所述显示位置和所述目标三维模型确定所述兴趣点的显示信息。

在一些实施例中，所述显示信息确定子模块还包括：属性信息确定单元，用于所述显示方式为标记显示，则确定所述兴趣点的属性信息；目标标记确定单元，用于根据所述属性信息确定所述兴趣点的目标标记；显示信息第二确定单元，用于根据所述目标标记和所述显示位置确定所述兴趣点的显示信息。

在一些实施例中，所述地图兴趣点的显示装置600还包括：目标兴趣点确定模块，用于响应于针对所述兴趣点的选择操作确定目标兴趣点；目标位置信息确定模块，用于获取所述目标兴趣点在所述目标地图中的目标位置信息；路径规划模块，用于根据所述目标位置信息进行路径规划获得所述车辆的目标路径，以使所述车辆根据所述目标路径行驶至所述目标兴趣点。

根据本申请实施例的一个方面，还提供了一种电子设备，如图9所示，该车辆700包括处理器710以及一个或多个存储器720，一个或多个存储器720用于存储被处理器710执行的程序指令，处理器710执行程序指令时实施上述的地图兴趣点的显示方法。

进一步地，处理器710可以包括一个或者多个处理核。处理器710运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。

根据本申请的一个方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种地图兴趣点的显示方法，其特征在于，所述方法包括：

获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据；

对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息；

根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图；

在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息；

根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

2.根据权利要求1所述的方法，其特征在于，所述传感器数据集包括图像数据集，所述对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息，包括：

对所述图像数据集进行特征提取，获得所述图像数据集对应的目标图像特征；

基于特征跟踪方法确定所述目标图像特征在所述图像数据集中的图像位置信息，并根据所述图像位置信息确定采集所述图像数据集的传感器的位姿信息；

获取所述车辆与所述传感器之间的位置关系，并根据所述位置关系和所述传感器的位姿信息确定所述车辆的位姿信息。

3.根据权利要求2所述的方法，其特征在于，所述基于特征跟踪方法根据确定所述目标图像特征在连续帧在所述图像数据集中的图像位置信息，并根据所述图像位置信息确定采集所述图像数据集的传感器的位姿信息，包括：

对所述图像数据集进行特征提取获得所述图像数据集对应的目标图像特征，并确定所述目标图像特征在所述图像数据集包括的多帧的图像数据中的像素点；

基于特征跟踪方法确定相邻的图像数据中所述目标特征对应的像素点之间的像素距离，所述像素距离为所述像素点在相邻的图像数据中的移动距离；

根据所述像素距离确定采集所述图像数据集的传感器的位姿信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示，包括：

获取所述车辆的导航路径；

根据所述导航路径和所述位置信息确定所述兴趣点的显示位置；

获取所述兴趣点的显示方式，并根据所述显示方式和所述显示位置确定所述兴趣点的显示信息；

将所述显示信息发送至所述头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

5.根据权利要求4所述的方法，其特征在于，所述根据所述显示方式和所述显示位置确定所述兴趣点的显示信息，包括：

若所述显示方式为三维模型显示，则确定所述兴趣点的目标显示类型；

基于显示类型和三维模型之间的映射关系，确定所述目标显示类型对应的目标三维模型；

根据所述显示位置和所述目标三维模型确定所述兴趣点的显示信息。

6.根据权利要求4所示的方法，其特征在于，所述根据所述显示方式和所述显示位置确定所述兴趣点的显示信息，包括：

若所述显示方式为标记显示，则确定所述兴趣点的属性信息；

根据所述属性信息确定所述兴趣点的目标标记；

根据所述目标标记和所述显示位置确定所述兴趣点的显示信息。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示之后，所述方法还包括：

响应于针对所述兴趣点的选择操作确定目标兴趣点；

获取所述目标兴趣点在所述目标地图中的目标位置信息；

根据所述目标位置信息进行路径规划获得所述车辆的目标路径，以使所述车辆根据所述目标路径行驶至所述目标兴趣点。

8.一种地图兴趣点的显示装置，其特征在于，所述装置包括：

传感数据获取模块，用于获取车辆在当前环境所采集的传感器数据集，其中，所述传感器数据集中包括多帧的传感器数据；

姿态信息确定模块，用于对所述传感器数据集进行特征提取获得所述传感器数据集对应的目标特征，并根据所述目标特征确定所述车辆的姿态信息；

目标地图确定模块，用于根据所述姿态信息和所述传感器数据集进行地图构建，获得目标地图；

位置信息确定模块，用于在所述目标地图中提取兴趣点，并确定所述兴趣点在所述目标地图中的位置信息；

兴趣点显示模块，用于根据所述位置信息确定所述兴趣点的显示信息，并将所述显示信息发送至头显设备中，以使所述头显设备根据所述显示信息对所述兴趣点进行显示。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。