CN111738906A - 室内路网生成方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种室内路网生成方法、装置、存储介质及电子设备，以提供一种新的路网提取方式，减少路网提取过程中的各项成本，实现自动化的路网提取过程，提高路网提取的效率。该室内路网生成方法包括：获取室内场景的多张场景图像，所述多张场景图像是覆盖所述室内场景中的所有通道的二维图像；根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点；将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点；根据所述每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网。

Description

室内路网生成方法、装置、存储介质及电子设备

技术领域

本公开涉及路网技术领域，具体地，涉及一种室内路网生成方法、装置、存储介质及电子设备。

背景技术

路网(road network)指的是在一定区域内，由各种道路组成的相互联络、交织成网状分布的网络。在分析区域道路情况、生成导航地图等场景，通常需要进行路网提取，然后依据提取到的路网进行后续分析和处理。

相关技术中，路网提取可以基于激光雷达和其他传感器采集的数据，也可以基于遥感图像，或者还可以基于室内建筑分布图进行。但是，在室内路网提取场景下，上述三种路网提取方式均有弊端。具体的，基于激光雷达和其他传感器的方式，由于激光雷达和其他传感器较昂贵，因此路网提取成本较高，无法广泛应用。基于遥感图像的方式，由于遥感图像无法获取到室内场景，因此无法适用于室内路网提取场景。基于室内建筑分布图的方式，需要根据室内建筑分布图进行人工路网绘制，因此需要投入大量的人力和时间，路网提取效率不高。

发明内容

本公开的目的是提供一种室内路网生成方法、装置、存储介质及电子设备，以提供一种新的路网提取方式，解决相关技术中存在的问题。

为了实现上述目的，第一方面，本公开提供一种室内路网生成方法，所述方法包括：

获取室内场景的多张场景图像，所述多张场景图像是覆盖所述室内场景中的所有通道的二维图像；

根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点；

将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

根据所述每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网。

可选地，所述根据每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网，包括：

将所述每张场景图像对应的拍摄位姿的二维数据点进行连接，得到所述室内场景的可通行路径；

对所述可通行路径添加预设宽度，得到所述室内场景对应的路网。

可选地，所述多张场景图像还覆盖所述室内场景中的标志物，且所述标志物对应的场景图像标注有所述标志物的POI信息，所述方法还包括：

根据所述场景图像对应的拍摄位姿的三维数据点，确定拍摄所述场景图像时拍摄终端的朝向信息，所述朝向信息用于表征朝向所述路网边缘内侧或朝向所述路网边缘外侧；

在所述路网中，沿所述朝向信息对应的方向，确定距离所述拍摄位姿对应的二维数据点预设距离的目标二维数据点；

对所述目标二维数据点标注所述场景图像对应的所述POI信息。

可选地，所述多张场景图像还覆盖所述室内场景中的标志物，且对应于所述标志物的场景图像标注有所述标志物的POI信息，所述方法还包括：

针对所述多张场景图像中的每张场景图像，建立所述场景图像与所述场景图像对应的拍摄位姿的三维数据点之间的映射关系；

根据所述映射关系，在所述每张场景图像对应的拍摄位姿的三维数据点中，确定与标注有所述POI信息的场景图像对应的拍摄位姿的目标三维数据点；

在所述路网中，确定所述目标三维数据点对应的二维数据点；

对所述目标三维数据点对应的二维数据点标注对应的所述POI信息。

可选地，所述方法还包括：

确定所述多张场景图像中的动态对象，所述动态对象是指在所述多张场景图像中的坐标位置发生变化的对象；

通过掩膜对所述场景图像进行像素点过滤，以去除所述场景图像中所述动态对象对应的像素点；

所述根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点，包括：

根据进行像素点过滤后的所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。

可选地，所述将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点，包括：

在所述每张场景图像对应的拍摄位姿的三维数据点中，随机确定预设个数的三维数据点，并根据所述预设个数的三维数据点，确定二维平面；

分别确定所有三维数据点中除所述预设个数的三维数据点外的其他三维数据点到所述二维平面的距离；

若所述其他三维数据点到所述二维平面的距离满足预设条件，则将所述拍摄位姿对应的三维数据点投影到所述二维平面。

可选地，所述方法还包括：

若所述其他三维数据点到所述二维平面的距离不满足预设条件，则重新随机确定预设个数的三维数据点，并根据重新确定的预设个数的三维数据点，确定新的二维平面，直到所述其他三维数据点到所述二维平面的距离满足预设条件。

第二方面，本公开还提供一种室内路网生成装置，所述装置包括：

获取模块，被配置为获取室内场景的多张场景图像，所述多张场景图像是覆盖所述室内场景中的所有通道的二维图像；

确定模块，被配置为根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点；

转换模块，被配置为将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

生成模块，被配置为根据所述每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网。

第三方面，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。

第四方面，本公开还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。

通过上述技术方案，可以获取室内场景的多张二维场景图像，然后根据多张二维场景图像生成室内场景对应的路网，无需昂贵的采集设备，即可实现室内路网提取，在减少路网提取成本的同时，可以实现路网提取方法的广泛应用。并且，通过本公开的室内路网生成方式，可以实现自动化的路网提取，减少路网提取过程中的人力投入和时间投入，从而提高路网提取的效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开一示例性实施例示出的一种室内路网生成方法的流程图；

图2是根据本公开一示例性实施例示出的一种室内路网生成方法中室内场景的通道示意图；

图3是根据本公开一示例性实施例示出的一种室内路网生成方法中拍摄位姿的三维数据点得到的三维路网示意图；

图4是根据图3所示的三维路网示意图生成的二维路网示意图；

图5是根据本公开另一示例性实施例示出的一种室内路网生成方法的流程图；

图6是根据本公开一示例性实施例示出的一种室内路网生成装置的框图；

图7是根据本公开一示例性实施例示出的一种电子设备的框图；

图8是根据本公开另一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

正如背景技术所言，相关技术中的路网提取可以基于激光雷达和其他传感器采集的数据、基于遥感图像或者基于室内建筑分布图进行。但是，发明人研究发现，在室内路网提取场景下，上述三种路网提取方式均有弊端。具体的，基于激光雷达和其他传感器的方式，由于激光雷达和其他传感器较昂贵，因此路网提取成本较高，无法广泛适用。基于遥感图像的方式，由于遥感图像无法获取到室内场景，因此无法适用于室内路网提取场景。基于室内建筑分布图的方式，需要根据室内建筑分布图进行人工路网绘制，需要投入大量的人力和时间，路网提取效率不高。

有鉴于此，本公开实施例提供一种室内路网生成方法、装置、存储介质及电子设备，以提供一种新的路网提取方式，减少路网提取过程中的各项成本，实现自动化的路网提取过程，提高路网提取的效率。

图1是根据本公开一示例性实施例示出的一种室内路网提取方法的流程图。参照图1，该室内路网提取方法可以包括如下步骤：

步骤101，获取室内场景的多张场景图像，该多张场景图像是覆盖室内场景中的所有通道的二维图像。

步骤102，根据多张场景图像进行三维重建，得到多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。

步骤103，将每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点。

步骤104，根据每张场景图像对应的拍摄位姿的二维数据点，生成室内场景对应的路网。

通过上述方式，可以获取室内场景的多张二维场景图像，然后根据多张二维场景图像生成室内场景对应的路网，无需昂贵的采集设备，即可实现室内路网提取，在减少路网提取成本的同时，可以实现路网提取方法的广泛应用。并且，通过本公开的室内路网生成方式，可以实现自动化的路网提取，减少路网提取过程中的人力投入和时间投入，从而提高路网提取的效率。

为了使得本领域技术人员更加理解本公开实施例中的室内路网生成方法，下面对上述各步骤进行详细举例说明。

示例地，本公开实施例中的室内路网提取方法可以应用于服务器或具有图片采集功能(比如拍照功能或摄像功能)的移动终端。其中，如果应用于移动终端，则步骤101可以是移动终端通过摄像头拍摄覆盖室内场景所有通道的多张场景图像，或者可以是移动终端通过摄像头拍摄覆盖室内场景所有通道的视频，然后将该视频包括的帧图像确定为该室内场景的多张场景图像，等等，本公开实施例对此不作限定。如果应用于服务器，则步骤101可以接收移动终端发送的室内场景的多张场景图像。其中，移动终端发送的室内场景的多张场景图像可以是移动终端拍摄的图像，或者可以是移动终端拍摄的视频包括的帧图像，等等，本公开实施例对此不作限定。

示例地，对于同一室内场景，可以获取覆盖该室内场景所有通道的多张场景图像，比如室内室包括如图2所示的A通道、B通道、C通道和D通道，因此在步骤101中，可以获取覆盖A通道、B通道、C通道和D通道的多张场景图像，比如，针对A通道、B通道、C通道和D通道，分别获取至少一张场景图像，即该至少一张场景图像中分别包括一个通道。又比如，针对A通道和B通道，获取至少一张场景图像，并针对C通道和D通道，获取至少一张场景图像，即该至少一张场景图像中同时包括两个通道，以减少获取场景图像的数量。或者，如果室内场景的面积较小，还可以针对A通道、B通道、C通道和D通道，获取至少一张场景图像，即该至少一张场景图像中同时包括四个通道，以减少获取场景图像的数量，等等，本公开实施例对此不作限定，只要该场景图像覆盖室内场景中的所有通道即可。

应当理解的是，在获取场景图像的过程中，无需昂贵的采集设备，通过具有图像采集功能的移动终端即可获取用于后续路网提取的二维场景图像，可以减少路网提取过程中的成本，从而实现路网提取方法的广泛应用。

在获取到室内场景的多张场景图像后，可以根据多张场景图像进行三维重建，得到多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。应当理解的是，三维重建输出的结果可以包括图像对应的拍摄位姿，因此根据多张场景图像进行三维重建，可以直接得到多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。其中，三维重建比如可以是通过计算机视觉算法中的多视几何、最小二乘优化等方法，重建出室内场景对应的三维点云结构，等等，该过程与相关技术类似，这里不再赘述。

示例地，多种场景图像中，室内场景中的每个通道可以对应有至少一张场景图像，因此根据多张场景图像进行三维重建可以是：先根据室内场景中的每个通道对应的至少一张场景图像进行三维重建，然后根据三维重建后的结果，确定每个通道对应的至少一张场景图像分别对应的拍摄位姿的三维数据点，从而得到每张场景图像对应的拍摄位姿的三维数据点。

在可能的方式中，为了减少图像中动态物体对三维重建结果的影响，提高三维重建结果的准确性，从而提高路网生成结果的准确性，还可以确定多张场景图像中的动态对象，该动态对象是指在多张场景图像中的坐标位置发生变化的对象。然后通过掩膜对场景图像进行像素点过滤，以去除场景图像中动态对象对应的像素点。相应地，根据多张场景图像进行三维重建，得到多张场景图像中每张场景图像对应的拍摄位姿的三维数据点可以是：根据进行像素点过滤后的多张场景图像进行三维重建，得到多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。

示例地，在获取到室内场景的多张场景图像后，可以分别提取多张场景图像中的语义特征(比如，墙面、地面、行人等)。然后，可以分别将多张场景图像中的同一语义特征进行比对，以确定多张场景图像中的同一语义特征是否发生位置坐标的变化，从而确定多张场景图像中的动态对象。比如在三张场景图像中均提取到同一行人特征，那么可以将该三张场景图像中的该行人特征进行比对，以确定该行人特征在三张场景图像中是否发生坐标位置的变化。若该行人特征在三张场景图像中发生坐标位置的变化，则将该三张场景图像中的该行人确定为动态对象。

示例地，在图像处理中可以通过掩膜对图像上某些区域作屏蔽，使其不参加后续处理。因此，在本公开实施例中，为了减少图像中动态物体对三维重建结果的影响，可以通过掩膜对场景图像进行像素点过滤，以去除场景图像中动态对象对应的像素点。比如，可以将动态对象对应的像素点的像素值设定为0，等等，本公开实施例对此不作限定。

在对多张场景图像进行过滤后，可以根据过滤后的多张场景图像进行三维重建，得到多张场景图像中每张场景图像对应的拍摄位姿的三维数据点，以减少动态对象对三维重建的影响，从而提高三维重建结果的准确性，进而提高路网生成结果的准确性。

应当理解的是，通过三维重建得到的是场景图像的拍摄位姿的三维数据点，而路网信息是可通行的二维拓扑结构，因此还需要将每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点。

在可能的方式中，将每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点可以是：在每张场景图像对应的拍摄位姿的三维数据点中，随机确定预设个数的三维数据点，并根据该预设个数的三维数据点，确定二维平面。然后，分别确定所有三维数据点中除预设个数的三维数据点外的其他三维数据点到该二维平面的距离。若其他三维数据点到该二维平面的距离满足预设条件，则将拍摄位姿对应的三维数据点投影到该二维平面。

也即是说，在本公开实施例中，可以通过将拍摄位姿对应的三维数据点投影到同一二维平面的方式，将拍摄位姿对应的三维数据点转换为二维数据点。当然，也可以通过其他转换方式，得到拍摄位姿的二维数据点，本公开实施例对此不作限定。

示例地，在通过投影方式得到拍摄位姿的二维数据点的方式中，预设个数可以是根据实际情况设定的，本公开实施例对此不作限定。应当理解的是，由于不在同一直线的至少3个点可以确定1个平面，因此预设个数可以大于或等于3。比如，将预设个数确定为3，那么可以在拍摄位姿对应的所有三维数据点中随机确定3个三维数据点，然后根据该3个三维数据点确定一个初始的二维平面。

在确定初始的二维平面后，可以分别确定所有三维数据点中除预设个数的三维数据点外的其他三维数据点到该二维平面的距离。若其他三维数据点到该二维平面的距离满足预设条件，则可以将拍摄位姿对应的三维数据点投影到该二维平面。

示例地，预设条件可以是其他三维数据点到该二维平面的距离均小于一距离阈值，或者可以是其他三维数据点中预设比例的三维数据点(比如80％的三维数据点)到该二维平面的距离均小于一距离阈值，等等，本公开实施例对于预设条件的具体内容不作限定。若其他三维数据点到该二维平面的距离满足预设条件，则说明该二维平面可以覆盖大多数或者全部三维数据点，因此可以将拍摄位姿对应的三维数据点投影到该二维平面。

在其他可能的方式中，若其他三维数据点到二维平面的距离不满足预设条件，则可以重新随机确定预设个数的三维数据点，并根据重新确定的预设个数的三维数据点，确定新的二维平面，直到其他三维数据点到二维平面的距离满足预设条件。

例如，拍摄位姿的所有三维数据点分别为P1、P2、P3、P4和P5，预设个数为3。在此种情况下，可以先随机确定3个三维数据点P2、P3和P5，并根据该3个三维数据点确定初始的二维平面。然后，可以分别确定其他三维数据点P1和P4到该二维平面的距离，若其他三维数据点P1和P4到该二维平面的距离不满足预设条件，则可以重新随机确定3个三维数据点，比如，可以重新随机确定三维数据点P1、P3和P5，然后根据该三维数据点P1、P3和P5，确定新的二维平面，再分别确定其他三维数据点P2和P4到新的二维平面的距离，并判断其他三维数据点P2和P4到新的二维平面的距离是否满足预设条件，以此类推，直到其他三维数据点到二维平面的距离满足预设条件。

通过上述方式，可以通过循环尝试的方式，确定覆盖大多数或者所有三维数据点的二维平面，从而在将场景图像对应的拍摄位姿的三维数据点投影到该二维平面后，得到与实际情况更相符的二维数据点，进而在根据该二维数据点生成室内场景的路网后，可以减少路网结果与实际场景之间的误差，得到更加准确的路网结果。

在可能的方式中，可以在获取室内场景的多张场景图像时，确定每张场景图像的拍摄位姿在重力方向上的距离差值小于预设距离阈值。其中，预设距离阈值可以根据实际情况设定，本公开实施例对此不作限定。

通过此种方式，多张场景图像中每张场景图像的拍摄位姿在重力方向上的距离差值小于预设距离阈值，即每张场景图像的拍摄位姿在重力方向上的距离差值较小，因此，每张场景图像对应的拍摄位姿的三维数据点中沿重力方向的坐标数值的差异可以忽略，从而根据三维数据点其他两个方向的坐标数值，可以更加方便地将三维数据点转换为同一二维平面上的二维数据点。

当然，在不考虑计算复杂度的场景下，也可以不限定每张场景图像的拍摄位姿在重力方向上的距离差值小于预设距离阈值，在实际应用中，可以根据不同的需求进行选择，本公开实施例对此不作限定。

在通过上述方式将每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点之后，可以根据每张场景图像对应的拍摄位姿的二维数据点，生成室内场景对应的路网。在可能的方式中，可以将每张场景图像对应的拍摄位姿的二维数据点进行连接，得到室内场景的可通行路径，然后对该可通行路径添加预设宽度，得到室内场景对应的路网。

应当理解的是，由于获取的场景图像覆盖室内场景的所有通道，因此场景图像的拍摄轨迹可以表征室内场景的通道路径信息，从而将每张场景图像的拍摄位姿的二维数据点进行连接，可以得到室内场景的可通行路径，然后再对该可通行路径添加预设宽度，即可得到该室内场景的路网。

其中，预设宽度可以根据实际情况进行设定，比如，可以先确定室内场景中实际道路长度与可通行路径的比值，然后根据该比值和实际道路宽度，确定预设宽度，使得预设宽度和实际道路宽度之间的比例、与可通行路径和实际道路长度之间的比例一致。当然，也可以通过其他方式确定预设宽度，本公开实施例对此不作限定。

示例地，场景图像可以标注有采集时间，那么将拍摄位姿的二维数据点进行连接可以是：根据每张场景图像的采集时间的先后顺序，依次将每张场景图像对应的拍摄位姿的二维数据点进行连接，得到室内场景的连通路径(即可通行路径)。然后，可以再对该连通路径添加预设宽度，即可得到该室内场景的路网。

通过上述方式，可以获取室内场景的多张二维场景图像，然后根据多张二维场景图像生成室内场景对应的路网，无需昂贵的采集设备，即可实现室内路网提取，在减少路网提取成本的同时，可以实现路网提取方法的广泛应用。并且，通过本公开的室内路网生成方式，可以实现自动化的路网提取，减少路网提取过程中的人力投入和时间投入，从而提高路网提取的效率。

在实际应用中，室内场景中可能不止包括各种通道，可能还包括各种店铺、招牌等标志物，如果可以在路网中将这些标志物进行对应的标注，则可以将该路网直接作为导航路径信息，引导用户到达各个标志物所在的位置，从而实现路网导航目的。

因此，在可能的方式中，多张场景图像还可以覆盖室内场景中的标志物，且标志物对应的场景图像可以标注有标志物的POI信息，相应地，在生成路网之后，还可以根据场景图像对应的拍摄位姿的三维数据点，确定拍摄场景图像时拍摄终端的朝向信息，该朝向可以用于表征朝向所述路网边缘内侧或朝向所述路网边缘外侧。然后可以在路网中，沿朝向信息对应的方向，确定距离拍摄位姿对应的数据点预设距离的目标二维数据点，并对该目标二维数据点标注场景图像对应的POI信息。

示例地，室内场景中的标志物可以是室内场景中的店铺、招牌等，标志物的POI信息是可以是标志物的名称、类别等，比如对于名称为“第一咖啡店”的店铺，其POI信息可以是该店铺的名称“第一咖啡店”，也可以是该店铺的类别“咖啡店”，等等，本公开实施例对此不作限定。应当理解的是，在获取场景图像时，可以对场景图像进行检测。当检测到场景图像包括标志物时，可以确定该标志物的POI信息。因此，在本公开实施例中，在获取到包括标志物的场景图像时，包括标志物的场景图像可以标注有POI信息，从而在后续过程中，可以在路网中进行对应POI信息的标注。

在实际应用中，拍摄终端(即获取场景图像的、具有图像采集功能的移动终端)可能是面朝标志物、且距离该标志物一定距离进行拍摄，以获取标志物对应的场景图像。因此，在本公开实施例中，可以先根据场景图像对应的拍摄位姿的三维数据点，确定拍摄场景图像时拍摄终端的朝向信息。其中，由于标志物的POI信息通常是标注在路网的边缘，因此，在本公开实施例中，朝向信息可以是用于表征朝向路网内侧边缘或朝向路网外侧边缘。示例地，可以先将所有三维数据点进行连接，得到如图3所示的三维路网示意图(图3中标示有三维(x，y，z)坐标系)。然后在该三维路网示意图中，可以分别确定每个三维数据点是朝向三维路网的内侧，还是朝向三维路网的外侧。

进一步，在根据二维数据点生成的路网中，针对标志物对应的场景图像所对应的二维数据点，可以分别沿每个二维数据点对应的三维数据点的朝向信息所对应的方向(即朝向路网内侧或朝向路网外侧)，确定距离该二维数据点预设距离的目标二维数据点，以确定标志物在二维路网中的对应位置。

其中，预设距离可以根据实际情况设定，比如可以根据得到的二维路网长度与实际道路长度之间的比值、以及拍摄终端与实际标志物之间的实际距离，确定该预设距离，等等，本公开实施例对此不作限定。通过此种方式，目标二维数据点可以表征二维路网中对应标志物的位置，因此可以对该目标数据点标注该标志物的POI信息。例如，在上述举例中，三维路网示意图如图3所示，在通过上述方式的处理后，可以得到如图4所示的标注POI信息的二维路网示意图。其中，图4中的数字(比如6657922)表示标志物的POI信息。通过此种方式，无需人工标注POI信息，可以在生成路网后实现POI信息的自动标注，减少路网提取过程中的人力投入。

在另一种可能的方式中，多张场景图像覆盖室内场景中的标志物，且对应于标志物的场景图像标注有该标志物的POI信息。相应地，还可以针对多张场景图像中的每张场景图像，建立场景图像与场景图像对应的拍摄位姿的三维数据点之间的映射关系。然后，可以根据该映射关系，在每张场景图像对应的拍摄位姿的三维数据点中，确定与标注有POI信息的场景图像对应的拍摄位姿的目标三维数据点。接着，可以在路网中，确定目标三维数据点对应的二维数据点。最后，可以对目标三维数据点对应的二维数据点标注对应的POI信息。

应当理解的是，在本公开实施例中，标注有POI信息的场景图像可以有对应的三维数据点，而该三维数据点可以有对应的二维数据点，因此在标注POI信息的过程中可以先根据三维重建中的映射关系，确定标志有POI信息的场景图像对应的拍摄位姿的目标三维数据点，然后在路网中确定该目标三维数据点对应的二维数据点，即确定路网中POI信息对应的标志物的位置，然后对该二维数据点标注对应的POI信息。

通过上述方式，由于是根据标注有POI信息的场景图像、对应的三维数据点以及对应的二维数据点之间的唯一对应关系，确定路网中标志物的位置，进而对标志物进行POI信息的标注，因此可以使得路网中POI信息更加符合实际场景，提升POI信息标注的结果准确性，从而更好的实现根据路网进行导航的目的。

下面通过另一示例性实施例对本公开提供的室内路网生成方法进行说明。参照图5，该室内路网生成方法包括：

步骤501，获取室内场景的多张场景图像。其中，该多张场景图像是覆盖室内场景中的所有通道和所有标志物的二维图像，且标志物对应的场景图像标注有标志物的POI信息。另外，该多张场景图像中每张场景图像的拍摄位姿在重力方向上的距离差值小于预设距离阈值。

步骤502，确定多张场景图像中的动态对象。其中，动态对象是指在多张场景图像中的坐标位置发生变化的对象。

步骤503，通过掩膜对场景图像进行像素点过滤，以去除场景图像中动态对象对应的像素点。

步骤504，根据进行像素点过滤后的多张场景图像进行三维重建，得到多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。

步骤505，在每张场景图像对应的拍摄位姿的三维数据点中，随机确定预设个数的三维数据点，并根据预设个数的三维数据点，确定二维平面。

步骤506，分别确定所有三维数据点中除预设个数的三维数据点外的其他三维数据点到二维平面的距离。

步骤507，判断其他三维数据点到二维平面的距离是否满足预设条件，如果满足预设条件，则进入步骤508，否则进入步骤505。

步骤508，将拍摄位姿对应的三维数据点投影到二维平面。

步骤509，将二维平面上每张场景图像对应的拍摄位姿的二维数据点进行连接，得到室内场景的可通行路径，并对可通行路径添加预设宽度，得到室内场景对应的路网。

步骤510，针对多张场景图像中的每张场景图像，建立场景图像与所述场景图像对应的拍摄位姿的三维数据点之间的映射关系。

步骤511，根据映射关系，在每张场景图像对应的拍摄位姿的三维数据点中，确定与标注有POI信息的场景图像对应的拍摄位姿的目标三维数据点。

步骤512，在路网中，确定目标三维数据点对应的二维数据点，并对目标三维数据点对应的二维数据点标注对应的POI信息。

上述各步骤的具体实施方式已在上文进行详细举例说明，这里不再赘述。另外应当理解的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受上文所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，上文所描述的实施例属于优选实施例，所涉及的步骤并不一定是本公开所必须的。

通过上述方式，可以获取室内场景的多张二维场景图像，然后根据多张二维场景图像生成室内场景对应的路网，无需昂贵的采集设备，即可实现室内路网提取，在减少路网提取成本的同时，可以实现路网提取方法的广泛应用。并且，通过本公开的室内路网生成方式，可以实现自动化的路网提取以及自动化的POI信息标注，减少路网提取过程中的人力投入和时间投入，从而提高路网提取的效率。

基于同一发明构思，本公开实施例还提供一种室内路网生成装置。该装置可以通过软件、硬件或者两者结合的方式成为电子设备(比如服务器或者具有图像采集功能的移动终端)的部分或全部。参照图6，该室内路网生成装置600可以包括：

获取模块601，被配置为获取室内场景的多张场景图像，所述多张场景图像是覆盖所述室内场景中的所有通道的二维图像；

确定模块602，被配置为根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点；

转换模块603，被配置为将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

生成模块604，被配置为根据所述每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网。

可选地，所述生成模块604被配置为：

将所述每张场景图像对应的拍摄位姿的二维数据点进行连接，得到所述室内场景的可通行路径；

对所述可通行路径添加预设宽度，得到所述室内场景对应的路网。

可选地，所述多张场景图像还覆盖所述室内场景中的标志物，且所述标志物对应的场景图像标注有所述标志物的POI信息，所述装置600还包括：

第一确定模块，被配置为根据所述场景图像对应的拍摄位姿的三维数据点，确定拍摄所述场景图像时拍摄终端的朝向信息，所述朝向信息用于表征朝向所述路网边缘内侧或朝向所述路网边缘外侧；

第二确定模块，被配置为在所述路网中，沿所述朝向信息对应的方向，确定距离所述拍摄位姿对应的二维数据点预设距离的目标二维数据点；

第一标注模块，被配置为对所述目标二维数据点标注所述场景图像对应的所述POI信息。

可选地，所述多张场景图像还覆盖所述室内场景中的标志物，且对应于所述标志物的场景图像标注有所述标志物的POI信息，所述装置600还包括：

建立模块，被配置为针对所述多张场景图像中的每张场景图像，建立所述场景图像与所述场景图像对应的拍摄位姿的三维数据点之间的映射关系；

第三确定模块，被配置为根据所述映射关系，在所述每张场景图像对应的拍摄位姿的三维数据点中，确定与标注有所述POI信息的场景图像对应的拍摄位姿的目标三维数据点；

第四确定模块，被配置为在所述路网中，确定所述目标三维数据点对应的二维数据点；

第二标注模块，被配置为对所述目标三维数据点对应的二维数据点标注对应的所述POI信息。

可选地，所述装置600还包括：

第五确定模块，被配置为确定所述多张场景图像中的动态对象，所述动态对象是指在所述多张场景图像中的坐标位置发生变化的对象；

过滤模块，被配置为通过掩膜对所述场景图像进行像素点过滤，以去除所述场景图像中所述动态对象对应的像素点；

所述确定模块602被配置为：

根据进行像素点过滤后的所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。

可选地，所述转换模块603被配置为：

在所述每张场景图像对应的拍摄位姿的三维数据点中，随机确定预设个数的三维数据点，并根据所述预设个数的三维数据点，确定二维平面；

分别确定所有三维数据点中除所述预设个数的三维数据点外的其他三维数据点到所述二维平面的距离；

当所述其他三维数据点到所述二维平面的距离满足预设条件时，将所述拍摄位姿对应的三维数据点投影到所述二维平面。

可选地，所述装置600还包括：

重新确定模块，被配置为当所述其他三维数据点到所述二维平面的距离不满足预设条件时，重新随机确定预设个数的三维数据点，并根据重新确定的预设个数的三维数据点，确定新的二维平面，直到所述其他三维数据点到所述二维平面的距离满足预设条件。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

通过上述任一室内路网生成装置，可以获取室内场景的多张二维场景图像，然后根据多张二维场景图像生成室内场景对应的路网，无需昂贵的采集设备，即可实现室内路网提取，在减少路网提取成本的同时，可以实现路网提取方法的广泛应用。并且，通过本公开的室内路网生成方式，可以实现自动化的路网提取以及自动化的POI信息标注，减少路网提取过程中的人力投入和时间投入，从而提高路网提取的效率。

基于同一发明构思，本公开实施例还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述任一室内路网生成方法的步骤。

在可能的方式中，该电子设备的框图可以如图7所示。参照图7，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的室内路网生成方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如场景图像对应的拍摄位姿的三维数据点等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的室内路网生成方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的室内路网生成方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的室内路网生成方法。

在另一种可能的方式中，该电子设备的框图还可以如图8所示。参照图8，电子设备800可以被提供为一服务器，可以包括处理器822，其数量可以为一个或多个，以及存储器832，用于存储可由处理器822执行的计算机程序。存储器832中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器822可以被配置为执行该计算机程序，以执行上述的室内路网生成方法。

另外，电子设备800还可以包括电源组件826和通信组件850，该电源组件826可以被配置为执行电子设备800的电源管理，该通信组件850可以被配置为实现电子设备800的通信，例如，有线或无线通信。此外，该电子设备800还可以包括输入/输出(I/O)接口858。电子设备800可以操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的室内路网生成方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器832，上述程序指令可由电子设备800的处理器822执行以完成上述的室内路网生成方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的室内路网生成方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种室内路网生成方法，其特征在于，所述方法包括：

获取室内场景的多张场景图像，所述多张场景图像是覆盖所述室内场景中的所有通道的二维图像；

根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点；

将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

根据所述每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网。

2.根据权利要求1所述的方法，其特征在于，所述根据每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网，包括：

将所述每张场景图像对应的拍摄位姿的二维数据点进行连接，得到所述室内场景的可通行路径；

对所述可通行路径添加预设宽度，得到所述室内场景对应的路网。

3.根据权利要求1所述的方法，其特征在于，所述多张场景图像还覆盖所述室内场景中的标志物，且所述标志物对应的场景图像标注有所述标志物的POI信息，所述方法还包括：

根据所述场景图像对应的拍摄位姿的三维数据点，确定拍摄所述场景图像时拍摄终端的朝向信息，所述朝向信息用于表征朝向所述路网边缘内侧或朝向所述路网边缘外侧；

在所述路网中，沿所述朝向信息对应的方向，确定距离所述拍摄位姿对应的二维数据点预设距离的目标二维数据点；

对所述目标二维数据点标注所述场景图像对应的所述POI信息。

4.根据权利要求1所述的方法，其特征在于，所述多张场景图像还覆盖所述室内场景中的标志物，且对应于所述标志物的场景图像标注有所述标志物的POI信息，所述方法还包括：

针对所述多张场景图像中的每张场景图像，建立所述场景图像与所述场景图像对应的拍摄位姿的三维数据点之间的映射关系；

根据所述映射关系，在所述每张场景图像对应的拍摄位姿的三维数据点中，确定与标注有所述POI信息的场景图像对应的拍摄位姿的目标三维数据点；

在所述路网中，确定所述目标三维数据点对应的二维数据点；

对所述目标三维数据点对应的二维数据点标注对应的所述POI信息。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

确定所述多张场景图像中的动态对象，所述动态对象是指在所述多张场景图像中的坐标位置发生变化的对象；

通过掩膜对所述场景图像进行像素点过滤，以去除所述场景图像中所述动态对象对应的像素点；

所述根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点，包括：

根据进行像素点过滤后的所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点。

6.根据权利要求1-4任一所述的方法，其特征在于，所述将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点，包括：

在所述每张场景图像对应的拍摄位姿的三维数据点中，随机确定预设个数的三维数据点，并根据所述预设个数的三维数据点，确定二维平面；

分别确定所有三维数据点中除所述预设个数的三维数据点外的其他三维数据点到所述二维平面的距离；

若所述其他三维数据点到所述二维平面的距离满足预设条件，则将所述拍摄位姿对应的三维数据点投影到所述二维平面。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述其他三维数据点到所述二维平面的距离不满足预设条件，则重新随机确定预设个数的三维数据点，并根据重新确定的预设个数的三维数据点，确定新的二维平面，直到所述其他三维数据点到所述二维平面的距离满足预设条件。

8.一种室内路网生成装置，其特征在于，所述装置包括：

获取模块，被配置为获取室内场景的多张场景图像，所述多张场景图像是覆盖所述室内场景中的所有通道的二维图像；

确定模块，被配置为根据所述多张场景图像进行三维重建，得到所述多张场景图像中每张场景图像对应的拍摄位姿的三维数据点；

转换模块，被配置为将所述每张场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

生成模块，被配置为根据所述每张场景图像对应的拍摄位姿的二维数据点，生成所述室内场景对应的路网。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

Images